【ITニュース解説】A Telegram Scraper in 20 Lines of Python (No API Keys, No Login)

システムエンジニアを目指す皆さんにとって、インターネット上から情報を効率的に集める技術「スクレイピング」は非常に興味深いテーマかもしれません。今回は、人気メッセージングアプリであるTelegramの公開チャンネルから、APIキーやログインなしに情報を取得する方法について解説する。

通常、Telegramの情報をプログラムで取得しようとすると、Telegramが提供するAPI（Application Programming Interface）を利用するのが一般的だ。このAPIを使うためには、まず開発者ポータルでアプリケーションを登録し、API IDとAPIハッシュと呼ばれる認証情報を取得する必要がある。さらに、自分の電話番号を使ってログインし、本人確認を行うといった手間がかかる。また、Telegramの通信プロトコルはMTProtoというHTTPとは異なる特殊なものであり、これを扱うためのライブラリ（例えばTelethon）の使い方を学ぶ必要もある。公開されているチャンネルの情報を「ただ監視する」だけでこれだけの手続きや学習が必要になるのは、少し大げさに感じるかもしれない。

しかし、この記事ではもっとシンプルで「賢くない」けれど実用的な方法を提案している。それは、Telegramの公開チャンネルには https://t.me/s/<チャンネル名> のような形式でアクセスできる「Webプレビューページ」が存在し、このページがプレーンなHTML形式でコンテンツを提供しているという点を利用するものだ。このURLにアクセスすると、ブラウザで見るのと同じように、そのチャンネルの最新の投稿内容がHTMLとして表示される。

このHTMLは、特別なAPIキーやログイン手続きが一切不要で、通常のウェブページと同じようにプログラムから取得できる。例えばPythonであれば、requestsライブラリを使ってこのURLにHTTPリクエストを送信するだけで、ページのHTMLコードを簡単に手に入れることができる。

記事で紹介されているスクレイピングコードは、たったの約20行のPythonコードで構成されている。その核となるのは、取得したHTMLの中から必要な情報（投稿のIDやテキスト）を「正規表現」というパターンマッチングの技術を使って探し出す部分だ。

まず、requests.get()関数を使って指定されたチャンネルのWebプレビューページのHTMLを取得する。この際、?before=<ID>というパラメータをURLに追加することで、特定の投稿IDよりも古い投稿を表示させ、過去の履歴を遡って取得することも可能だ。

次に、取得したHTMLコードの中から、正規表現を使って個々の投稿ブロックを探し出す。各投稿ブロックには data-post="<名前>-<ID>" のような形式の属性が含まれており、ここから投稿の一意のIDを抽出する。そして、投稿の本文は .tgme_widget_message_text というクラス名を持つHTML要素の中にあるため、HTMLを分割し、その中からテキスト部分を抜き出す。

抜き出したテキストには、まだ<br>タグなどのHTMLタグが残っている場合があるので、strip_htmlという補助関数を使って、これらの不要なタグを除去し、整形されたきれいなテキストだけを取り出す処理も行われる。この関数も正規表現を使って、<br>タグを改行文字に置き換えたり、その他のHTMLタグを全て取り除いたりするシンプルなものだ。

この「20行のスクレイピングコード」で得られるのは、最新の約20件の投稿（テキスト、タイムスタンプ、閲覧数、転送数、メディアリンクなど）だ。そして、?before=<ID>パラメータを工夫することで、公開されているWebプレビューの範囲内であれば、チャンネルの履歴全体を遡って取得することも、リアルタイムに近い形で新しい投稿を監視することも可能となる。

しかし、このシンプルで強力な方法にも限界がある。まず、この方法はあくまで公開されているWebプレビューページを利用しているため、プライベートチャンネルの情報にはアクセスできない。また、非常に高速で大量のチャンネルからリアルタイム（秒以下の遅延）で情報を取得する必要がある場合、この方法は適していない。その場合は、やはりTelegramのAPI（MTProtoプロトコル）を直接利用する方が効率的だ。さらに、大規模にメディアファイルをダウンロードし続ける用途には不向きである。Webプレビューページに表示されるメディアリンクは一時的なものであることが多く、長期間保存するためには自分でダウンロードして管理する必要がある。

それでも、多くのモニタリング、アラート、調査、市場分析といった用途では、このWebプレビューからの情報取得で十分なケースがほとんどだ。むしろ、そのシンプルさゆえに、素早く簡単に情報を収集できるメリットは大きいと言える。

記事の最後に「誰も教えてくれないこと」として言及されているのは、スクレイピングコード自体はシンプルでも、それを実用的な「システム」として運用するにはさらに多くの課題があるという点だ。例えば、一度取得した投稿のIDをプログラムが再起動しても失わないように保存する仕組み（データ永続化）、同じ投稿が複数回取得されてしまうのを防ぐ重複排除の仕組み、購読者数の変化を単なる数字としてではなく時間の経過ととも追跡する「時系列データ」として扱う方法、あるいはスパムやフェイクニュースのような悪意のある投稿を自動的に検知してフィルタリングする仕組みなどだ。

これらは単にデータを集めるだけでなく、集めたデータをどう管理し、どう活用するかという「コレクションレイヤー」における重要な設計判断であり、システムエンジニアとしてデータを扱う上で必ず直面する課題だ。これらの課題に対する解決策を考え、実装していくことこそが、真の意味で実用的なシステムを構築する上で不可欠な要素となる。たった20行のスクレイピングコードは出発点に過ぎず、その先にはデータを賢く扱い、価値を生み出すための奥深いシステム設計の世界が広がっている。