【ITニュース解説】My AI-Built Site's Internal Links Were Unmanageable — So I Mapped the Whole Graph Before Touching Anything

最近、ウェブサイトの構築にAIが活用されるケースが急速に増えている。AIはコンテンツやコードの生成を効率化し、開発を大幅に加速させる。しかし、AIにサイト構築を任せる中で、多くの人が気づかない重大な問題が表面化している。それは、サイト全体の「内部リンク」の管理だ。

AIは個別のページを生成する際には非常に優れている。関連リンク、パンくずリスト、ナビゲーションメニューなど、それぞれのページはそれ自体が適切に構成されているように見える。しかし、AIは通常、個々のページしか見ておらず、サイト全体の情報構造や各ページの役割を俯瞰的に把握することまではできない。そのため、数百ものページがAIによって個別に生成されると、次第にサイト全体の内部リンク構造はバラバラになり、収集がつかなくなる。

具体的には、次のような問題が発生する。まず、同じような内容のページが複数生成され、それぞれが異なるキーワードで検索上位を目指そうと競合してしまう。これにより、本来一つの強力なページに集まるべきリンクの評価が分散し、どのページも中途半端な評価しか得られなくなる。次に、他のどのページからもリンクされていない「孤立ページ」が生まれることがある。これらのページは検索エンジンからもユーザーからも見つけにくく、存在しないも同然の状態になってしまう。さらに、どこにもリンクを張っていない「デッドエンド（行き止まり）ページ」も発生する。これらのページは、せっかくユーザーが訪れても次のアクションへ繋がらず、そのページの持つ価値や検索エンジンからの評価（リンクエクイティ）を無駄にしてしまう。結果として、サイト管理者は「どのページを強化すべきか」「どこからリンクを張るべきか」といった基本的な問いにも答えられなくなり、サイト全体のパフォーマンスが低下してしまうのだ。

このような問題を解決するには、サイト全体の内部リンク構造を可視化し、把握することが不可欠だ。しかし、既存のツールではこのニーズを十分に満たせないことが多かった。市販のSEOクローラーはリンクに関するレポートを出してくれるが、それは集計された結果であり、すべてのリンクの出発点から到着点までを示す「生のグラフデータ」ではない。これでは、変更前後のリンク構造を比較したり、検索エンジンのデータと連携させたりすることが難しい。また、自作のシンプルなスクリプトでリンクを抽出すると、ヘッダーやフッターのようなサイト共通のナビゲーションリンクと、ページ内容に深く関連する「意味のある」コンテンツ内のリンクを区別できないという問題がある。例えば、サイトのロゴやグローバルナビゲーションはすべてのページに表示されるため、それらを普通のリンクと区別しないと、「すべてのページがすべてのページにリンクしている」という誤った情報が得られてしまい、本当に重要なリンク関係が見えなくなってしまう。

そこで、ある開発者はこの課題を解決するため、特定のツールを開発した。このツール「internal-links-export」は、サイトをクロールしてすべての内部リンクを抽出し、その情報を詳細にエクスポートできる。このツールの画期的な点は、サイト全体で共通して表示されるナビゲーション要素（通称「クローム」）と、個々のコンテンツ内にある意味のあるリンクを自動で区別できることだ。具体的には、クロールしたページの90%以上からリンクされているターゲットを「クローム」とみなし、それ以外のリンクをコンテンツリンクとして扱うという、データに基づいたルールを採用している。これにより、「すべてのページがすべてにリンクしている」というノイズを取り除き、本当に重要なコンテンツ間の関係性だけを抽出できるようになった。最終的には、このリンク情報はHTMLレポートとして可視化されるだけでなく、CSVやGEXF、GraphMLといった形式でも出力され、他のツールとの連携や詳細な分析が可能になる。

実際にこのツールを自身のAI構築サイト（231ページ）で試したところ、予想通り、孤立ページ、同じトピックで競合する複数ページ、そして多くのページからリンクされている均一なハブページといった問題点が明らかになった。さらに、数千ページ規模の大規模なECサイトでこのツールをテストしたところ、URLパスからは読み取れないサイトの実質的な情報構造、つまり、どの商品ページがどのカテゴリに属しているかといった「デファクトタクソノミー（事実上の分類体系）」まで、リンク構造から自動的に復元できることが判明した。これは、サイトの真の情報アーキテクチャが、明示的なカテゴリ構造が存在しない場合でも、その内部リンクの中に隠されていることを意味する。

このツールが提供する診断機能の中で、特に重要な視点が3つある。一つは「In-degree distribution（被リンク分布）」で、どのページが多くのリンクを集めてサイトの「ハブ」になっているか、逆にどのページがリンク不足で「孤立」しているかを一目で確認できる。これで、埋もれている孤立ページをすぐに見つけ出せる。二つ目は「Category group graph（カテゴリグループグラフ）」で、特定のカテゴリページと、それに属する個々のページ、そして各ページからカテゴリページへのリンク（バックリンク）の有無を可視化する。これにより、不足しているバックリンクを見つけて追加するだけで、簡単にサイトのリンク構造を改善できる。三つ目は「Cross-cluster flows（クラスタ間フロー）」で、本来関連性の低いトピックのグループ（クラスタ）間で意図せずリンクが張られてしまっている箇所や、逆に本来関連すべきなのに全くリンクがない箇所を特定し、サイトの情報構造の歪みを把握できる。

これらのグラフデータが手元にあれば、具体的な内部リンクの整理計画を立てられる。まずは、抽出したページのリンク情報と、Google Search Console（検索エンジンからのアクセス状況を把握するツール）のデータを結合する。これにより、各ページが「実際に検索トラフィックを獲得しているか」「存在はするものの埋もれているか」「他のページと競合しているか」といった現状を明確にできる。次に、同じトピックでリンクが分散している「結合候補」のページを特定する。弱い方のページを強い方に統合し、統合元ページは統合先へリダイレクト設定を行い、統合元へのすべてのリンクを統合先のページへ修正する。エクスポートされたリンクリストがあれば、この作業は機械的に行える。さらに、現在ランキング上位にある強力なページに対し、その周辺の関連ページから具体的なコンテンツリンクを増やすよう調整する。単にリンク数を増やすのではなく、関連性の高いページからの質の高いリンクに重点を置くのだ。そして、何よりも重要なのが、これまでは見落とされがちだった基礎的な修正だ。すべての孤立ページに対し、最低でも一つは関連する「トピックハブ」からのコンテンツリンクを追加する。また、デッドエンドになっているページには、関連する他のページへのリンクを追加する。これらの修正は地味だが、サイト全体の健全性を高める上で非常に効果的だ。

一連の変更を適用した後には、再度サイトをクロールし、最新のリンク情報と変更前のリンク情報を比較する。エクスポートされたCSVデータなどがあれば、変更の前後でリンク構造がどう変化したかを「差分」として確認できる。この差分分析は、内部リンクの改善が意図通りに行われ、リンクがより少なく、より強力なページに集中するようになったかを確認する「情報アーキテクチャの回帰テスト」として機能する。レポートの見た目だけでなく、実際に比較可能なデータとして手元に残すことが、サイト改善の精度を上げる上で非常に重要となる。

そして興味深いことに、内部リンクの混乱の元凶であったAIは、この整理作業においても再び活用できる。サイト全体のリンク構造をエッジリスト（どのページからどのページへリンクが張られているかを示すデータ）としてエクスポートし、Search Consoleのデータと共に大規模言語モデル（LLM）に与えることで、LLMに統合候補となるページや、リンクの修正案を提案させることが可能になるのだ。これは、AIがページ単位の局所的な情報しか見ていなかったために起きた問題が、今度はサイト全体の「グローバルな状態」をコンテキストとして与えることで、AIがその解決策を導き出す手助けができるという逆説的な状況を示している。

サイト構築や運用において、AIは強力な味方となるが、その一方で、サイト全体の構造といった「大局的な視点」は人間が管理する必要がある。内部リンクの可視化と体系的な改善は、AIが生成したサイトの潜在能力を最大限に引き出し、ユーザーにとっても検索エンジンにとっても使いやすい、高品質なサイトを構築するための重要なステップとなるだろう。