【ITニュース解説】Building a Modular Search Engine: The Struggles I’m Still Facing

ウェブ検索エンジンをゼロから構築することは、想像以上に困難で、深い学びを伴う挑戦である。ある開発者がこの壮大なプロジェクトに着手した際、当初は比較的簡単だと考えていたが、実際に取り組む中で数々の壁に直面し、その難しさを痛感した。この経験は、システムエンジニアを目指す皆さんにとって、複雑なシステム開発の現実を理解する貴重な機会となるだろう。

開発者が目指したのは、各機能が独立して動作する「モジュラー（部品ごとの独立した）設計」の検索エンジンであった。主要な部品として、ウェブページを巡回して情報を集める「クローラー」、集めた情報から必要なデータを取り出す「パーサー」、検索するための目次や索引を作成する「インデクサー」、ユーザーからの検索リクエストを処理する「検索API」、そしてユーザーが直接操作する「フロントエンド」と、これらのデータを管理する「データベース」が設計された。しかし、この一見クリーンに見える設計は、現実の複雑さの前で大きな課題に直面することになる。

まず、「クローラー」の開発では、ウェブサイトのルールブックであるrobots.txtの複雑な解釈に苦戦した。特定のページへのアクセスを制限するルールを正しく理解し、遵守するのは予想以上に難しかったのだ。また、同じサイトを無限に巡回してしまうループ現象や、クローラーからのアクセスをブロックするサイトへの対処、さらには短期間に大量のアクセスをしないよう制限する「レートリミット」への対応も必要であった。開発者は、クローラーが直面する例外的な状況が非常に多く、これらを適切に処理することの難しさを痛感し、企業がクローラー維持に巨額を投じる理由を理解したという。

次に、「パーサー」では、より高速で複数の処理を同時に進める能力を持つGo言語を採用した。しかし、Go言語でのHTML解析はPythonに比べて扱いづらく、基本的な機能しか提供されないライブラリに苦労した。さらに、ウェブ上に存在する壊れたHTML、つまり文法的に正しくないHTMLを処理する現実は悪夢であり、PythonとGoという異なる言語間での作業切り替えも疲労を増大させた。

そして、「インデクサー」の開発では、検索結果の目次となる「転置インデックス」を効率的に保存する技術的な課題に直面した。また、検索の対象となる単語を適切に処理する「トークン化」は、日本語のような多様な言語を考慮すると、さらに複雑になることも明らかになった。PostgreSQLデータベースでの検索では、すべてのデータを毎回確認する「フルテーブルスキャン」を避けるための効率的なクエリ設計が求められたが、これは一筋縄ではいかない。この過程で開発者は、Elasticsearchなどの既存の優れた検索エンジンが、いかに多くの技術的課題を解決してきたかを再認識したという。

「検索API」では、検索結果の関連度をいかに正確に判断するかが大きな課題となった。TF-IDFやBM25といった関連度計算手法を理解し、適用することは難しく、現時点では検索結果がランダムに表示されることもあった。また、検索結果を複数のページに分けて表示する「ページネーション」においても、リフレッシュしても結果が一貫している状態を保つための工夫が必要であった。非同期処理と同期処理が混在するコードの管理や、ウェブサイト間でのデータ通信に関するセキュリティルール（CORS）への対応、データベースへの問い合わせ中に他の処理が停止してしまう問題など、数々の現実的な問題に直面した。

「フロントエンド」は、ユーザーが検索キーワードを入力し、結果を表示する部分であり、Vue.jsという技術を使って開発された。この部分は比較的スムーズに進んだものの、バックエンドの未熟さがそのままユーザーに伝わってしまうため、開発者自身のモチベーションを低下させる要因にもなったという。

データベースにはPostgreSQLを採用したが、何がデータベースに保存され、何がメモリ上のインデックスとして処理されるべきかの判断に苦労した。また、スキーマ（データベースの設計図）を何度も作り直す必要に迫られ、PostgreSQLの全文検索機能と自作のGo言語製インデクサーを連携させることも複雑な課題であった。

この一連の苦闘を通じて、開発者はいくつかの重要な教訓を得た。検索エンジンの構築は想像を絶するほど困難であること、早い段階での最適化は開発の勢いを失わせる可能性があること、ウェブの世界がいかに混沌としていて多くのウェブサイトが完璧でないこと、そしてElasticsearchやSolrといった既存の優れた技術を活用することの重要性である。現在も、インデックス作成の速度とメモリ消費のバランス、検索結果の関連度を向上させる方法、そして各部品間のスムーズな連携など、多くの課題が残されている。時にはモチベーションを失いかけることもあるが、この経験を通じて検索エンジンの内部構造を深く理解できたことは、何よりも大きな収穫であった。短期間でGoogleのような検索エンジンを作ることは現実的ではないが、この学習体験自体には大きな価値があるのだ。