【ITニュース解説】What to know about encodings and character sets to work with text (2011)

コンピュータがテキストを扱う仕組みは、システムエンジニアを目指す上で非常に重要だ。人間は文字を使って文章を理解するが、コンピュータは文字そのものを直接理解することはできない。コンピュータが扱えるのは、0と1の数字の並び、つまりバイナリデータだけだ。そのため、人間が使う文字をコンピュータが扱える数字に変換し、また数字を文字に戻すためのルールが必要になる。このルールが「文字セット」と「エンコーディング」という概念で構成されている。

まず、文字セット（Character Set）とは、どの文字にどの数字（コードポイントと呼ばれる）を割り当てるかを定めた表や目録のようなものだ。初期の文字セットの代表的なものに「ASCII（American Standard Code for Information Interchange）」がある。ASCIIは、AからZの英大文字・小文字、数字、記号などを128種類の文字に1から128までの数字を割り当てた。これにより、英語圏のテキストは問題なくコンピュータで扱えるようになった。しかし、日本語、中国語、アラビア語など、世界には非常に多くの文字が存在するため、128種類では全く足りなかった。

多言語に対応するため、各国や地域で独自の文字セットが作られた。例えば、日本語ではシフトJISやEUC-JPといった文字セットが生まれた。それぞれの文字セットが同じ文字に対して異なる数字を割り当てたり、特定の文字を持っていなかったりしたため、異なる文字セットで作成されたテキストファイルを開くと、意味不明な記号の羅列になる、いわゆる「文字化け」が頻繁に発生した。これは、読み込む側のコンピュータが、ファイルが作成されたときに使われた文字セットとは異なる文字セットで解釈しようとすることで起きる。

この文字化けの問題を根本的に解決するために登場したのが「Unicode（ユニコード）」だ。Unicodeは、地球上のあらゆる言語のすべての文字に、重複しない一意の数字（コードポイント）を割り当てることを目指した、巨大な文字セットだ。これにより、どの文字も世界中で一意の番号で識別できるようになり、文字化けのリスクを大幅に減らすことが可能になった。例えば、「あ」という文字は、Unicodeでは常に同じコードポイントを持つ。

Unicode自体は、どの文字にどの数字を割り当てるかという「文字セット」の定義だ。しかし、コンピュータはコードポイントである数字を直接保存したり送受信したりするわけではない。これらの数字を実際のバイナリデータ（バイト列）に変換するための具体的なルールが必要になる。この変換ルールが「エンコーディング（Encoding）」だ。Unicodeのコードポイントをバイト列に変換する主なエンコーディング方式には、UTF-8、UTF-16、UTF-32などがある。

「UTF-8」は今日最も広く使われているエンコーディング方式だ。これは、文字によってバイト数が変わる可変長エンコーディングである点が特徴だ。例えば、ASCIIに含まれるような英数字は1バイトで表現され、日本語の文字や絵文字などは2バイト以上（主に3バイト）で表現される。UTF-8はASCIIと互換性があるため、従来のASCIIテキストをUTF-8で開いても正しく表示され、また、多言語のテキストも扱えるため、非常に便利で効率的だ。一方、「UTF-16」は多くの文字を2バイトまたは4バイトで表現し、「UTF-32」はすべての文字を4バイトで表現する固定長エンコーディングだ。それぞれ特徴があるが、WebやファイルシステムではUTF-8がデファクトスタンダードとなっている。

システム開発において、エンコーディングの扱いは非常に重要だ。プログラムがファイルを読み込むとき、データベースからデータを取得するとき、またはネットワークを通じてデータを送受信するときには、必ずエンコーディングを指定する必要がある。もし、ファイルがUTF-8で保存されているのに、プログラムが誤ってシフトJISで読み込もうとすると、正しい文字として解釈されず、文字化けやエラーが発生する。これは、読み込む側と書き込む側で使われているエンコーディングが一致しないために起こる典型的な問題だ。

具体的な例を挙げると、Webアプリケーションを開発する場合、HTMLファイルのエンコーディング、Webサーバーが送信するHTTPヘッダーのエンコーディング、データベースの接続エンコーディング、データベースのテーブルやカラムのエンコーディング、そしてプログラムコード自体のエンコーディングなど、あらゆる場面でエンコーディングの一貫性を保つ必要がある。これらのどこか一つでもエンコーディングが不一致だと、ユーザーの入力した文字が正しく保存されなかったり、表示時に文字化けしたりする。

システムエンジニアを目指す初心者は、常にエンコーディングを意識し、システムのあらゆる層で一貫したエンコーディング、特にUTF-8を使用することを強く推奨する。プログラムでファイルを扱う際には、ファイルを開く関数やメソッドにエンコーディングを指定する引数があるかを確認し、適切なエンコーディングを指定する。データベースとの接続時には、接続文字列や設定ファイルでエンコーディングを指定する。Webサーバーやアプリケーションサーバーの設定でも、デフォルトのエンコーディングをUTF-8に設定する。

エンコーディングを正しく理解し、適切に扱うことは、文字化けのようなトラブルを防ぎ、多言語対応のシステムを構築するために不可欠な知識である。テキストデータを扱う際には、そのデータのエンコーディングが何であるかを常に確認し、入力・出力・内部処理の各段階で整合性を保つよう心がけることが、安定したシステムを構築する上での基本となる。