【ITニュース解説】Links instead of repetition

データシステムを構築する上で、非常に重要な基本的な考え方がある。それは、「繰り返しを避け、代わりにリンクを使う」という原則だ。この原則は、さまざまな形で現れるが、常に「間接化によって冗長性を排除する」という同じ目的を果たしている。つまり、同じデータを何度も持たずに、そのデータがどこにあるかを示す印（リンク）を持つことで、効率的で管理しやすいシステムを作ることを目指すのだ。

この原則がどのように実現されているか、具体的な四つのパターンを見ていこう。

一つ目は、「辞書エンコーディング」である。これは、最も分かりやすい例かもしれない。データの中に同じ値が何度も登場する場合、その値を直接繰り返し保存する代わりに、ユニークな値だけを集めたリスト、つまり「辞書」を作成する。そして、元のデータの場所には、その辞書の中のどの値を使うかを示す番号や参照を保存するのだ。 例えば、「フルーツ」というデータのリストが、["apple", "banana", "apple", "cherry", "banana", "apple"] のように並んでいるとする。この場合、「apple」や「banana」が複数回登場している。これを辞書エンコーディングで処理すると、まずユニークな値の辞書として {0: "apple", 1: "banana", 2: "cherry"} のように作る。そして、元のフルーツのリストは、[0, 1, 0, 2, 1, 0] のように、辞書への参照だけで表現できる。 この方法のメリットは明らかで、保存するデータの量を大幅に減らすことができる。さらに、それぞれのユニークな値（例えば「apple」）が辞書の中に一つだけ存在するため、その値に関する情報は常に一箇所で管理されることになり、データの「単一の真実の源泉」が確立される。これは、データの一貫性を保つ上でも非常に重要になる。

二つ目は、「データベース正規化」だ。これは、辞書エンコーディングと同じ原則を、データベース、特にリレーショナルデータベースと呼ばれる種類のデータ構造に適用したものだ。 例えば、顧客が複数の商品を注文するECサイトのデータベースを考えてみよう。もし、注文ごとに顧客の名前、メールアドレス、住所といった顧客情報をすべて記録していたら、同じ顧客が何度も注文するたびにその情報が繰り返されることになる。これは非常に無駄が多く、非効率だ。 データベース正規化では、このような状況を避けるために、顧客に関する情報は「顧客テーブル」に、商品に関する情報は「商品テーブル」に、それぞれ一度だけ保存する。そして、注文に関する情報を持つ「注文テーブル」には、顧客テーブルの顧客IDや商品テーブルの商品IDだけを保存し、これらのIDを介して各テーブルを「リンク」させる。 元のデータが [注文ID, 顧客名, 顧客メールアドレス, 商品名, 数量] のように一列に並んでいるとすると、正規化後には、顧客テーブル [顧客ID, 氏名, メールアドレス]、商品テーブル [商品ID, 商品名, 価格]、注文テーブル [注文ID, 顧客ID, 商品ID, 数量] のようになる。 これにより、ストレージの効率が向上するだけでなく、データの一貫性が大幅に高まる。もし顧客のメールアドレスが変わった場合、更新するべき場所は顧客テーブルの中の一箇所だけで済む。もしデータが重複していたら、変更漏れによって不整合なデータが発生する可能性があったが、正規化によってそれが防がれるのだ。

三つ目は、「文字列インターニング」である。これは、プログラムが実行されているメモリ空間で、同じ内容を持つ文字列が複数作られないようにするための技術だ。 プログラムでは、「"hello"」のような同じ文字列リテラルがコードの様々な場所で使われることがよくある。文字列インターニングが適用されている環境では、プログラムの実行時に、「"hello"」という文字列が初めて使われたときにメモリ上に一つの文字列オブジェクトが作成される。その後、コードの別の場所で同じ「"hello"」という文字列が使われようとしても、新しいオブジェクトは作られず、すでに存在する「"hello"」のオブジェクトへの「参照」が返されるのだ。 これにより、メモリの使用量を削減できるというメリットがある。同じ内容の文字列オブジェクトが何百、何千と存在する必要がなくなるからだ。さらに、文字列の比較処理も高速化される場合がある。内容が完全に同じ文字列は、メモリ上の同じ場所を指すことになるので、文字列の内容を一つずつ比較する代わりに、単にそれらが指しているメモリのアドレスが同じかどうかを比較するだけで済むようになるためだ。JavaやPythonといった多くのプログラミング言語で、この概念が採用されている。

四つ目は、「ジャーマン文字列」という、少し特殊な文字列の最適化技術だ。これは、文字列の一般的な操作、特に比較やフィルタリングといった処理を高速化するために考案されたものだ。 このアプローチでは、文字列全体のデータのうち、最初の数文字（例えば4文字）を、文字列の情報を管理するヘッダー部分に直接格納する。そして、残りの文字列データは、ヘッダーから別のメモリ領域へのポインタ（参照）を介してアクセスするようにする。 例えば、「"PostgreSQL is awesome"」という文字列があったとする。ジャーマン文字列の構造では、ヘッダー部分に [文字列全体の長さ][プレフィックス: "Post"] という情報が直接格納され、残りの「"greSQL is awesome"」という部分は、ヘッダー内のポインタが指す別の場所にある。 この工夫の鍵は、ほとんどの文字列操作、特に比較の際に、文字列の先頭部分だけを見れば十分なことが多いという点にある。二つの文字列を比較するとき、最初の数文字が異なっていれば、それ以降を調べる必要はない。ジャーマン文字列では、この最初の数文字（プレフィックス）がヘッダーに直接あるため、ポインタを辿って実際の文字列データにアクセスする手間が省け、非常に高速に比較を行うことができるのだ。 しかし、この技術が常に最適であるとは限らない。すべての文字列にプレフィックスを格納するための追加のオーバーヘッド（管理情報）が発生するため、文字列の数が非常に多い場合や、辞書エンコーディングが適しているような、値の種類が少ない（低カーディナリティの）文字列の列では、辞書エンコーディングの方がはるかにメモリを節約できる場合もある。

これらのパターンが示すように、データが繰り返されている場所を見つけたときに、「そのデータをそのまま何度も持つのではなく、そのデータへのリンクを置けないか？」と自問してみることは非常に有効である。この発想は、システムのストレージ効率を高め、データの整合性を保証し、最終的にはシステムの保守性を向上させる、より洗練され、効率的で、管理しやすい解決策へと導いてくれるだろう。