字句解析 (ジクサカイセキ) とは | 意味や読み方など丁寧でわかりやすい用語解説

字句解析 (ジクサカイセキ) の読み方

日本語表記

じくかいせき (ジクカイセキ)

英語表記

lexical analysis (レキシカルアナリシス)

字句解析 (ジクサカイセキ) の意味や用語解説

字句解析は、プログラミング言語の処理系、特にコンパイラやインタプリタにおいて、プログラムの実行や解釈を行う上で最初に実施される非常に重要な工程である。この工程は、人間が記述したソースコードを、コンピュータが理解しやすい形に変換するための第一歩となる。具体的には、連続した文字列として入力されたソースコードを、プログラムとして意味を持つ最小単位である「トークン」というまとまりに分割する処理を指す。この字句解析によって、単なる文字の羅列であったソースコードから、プログラムを構成する基本的な要素が抽出され、その後のより複雑な解析処理のための準備が整えられる。 字句解析器（レキサ、またはスキャナとも呼ばれる）は、ソースコードの先頭から一文字ずつ読み込みながら、その文字の並びがキーワードなのか、変数名なのか、数値なのか、演算子なのかといった種類を識別し、それぞれを対応するトークンに分類する。例えば、「int x = 10;」というC言語のようなコードがあった場合、字句解析器はこれを「int」というキーワードトークン、「x」という識別子トークン、「=」という演算子トークン、「10」という定数トークン、「;」という区切り文字トークンに分割する。この段階では、プログラミング言語の文法上意味を持たない空白文字やコメントなどは通常無視され、後続の処理に引き渡されない。字句解析の主な目的は、ソースコードからプログラムを構成する基本的な要素を正確に抽出し、その後の構文解析や意味解析といった複雑な処理のための前処理を確実に行うことにある。この処理が正しく行われることで、コンピュータは記述されたプログラムの意図を正確に解釈し、最終的に実行可能な形式へと変換することが可能となる。字句解析は、プログラムが持つ論理的な構造を機械が理解するための、まさに「言葉の区切り」を見つける基礎的な作業だと言える。 字句解析の具体的な処理は、一般的に「レキサ（lexer）」あるいは「スキャナ（scanner）」と呼ばれる専用のプログラムモジュールによって実行される。このレキサは、入力されたソースコードの先頭から一文字ずつ順に読み進め、事前に定義された字句規則（lexical rules）に基づいてトークンを識別する。字句規則とは、特定のプログラミング言語において、どのような文字列の並びが有効なトークンとなるかを定めたルールの集合である。例えば、「識別子（変数名など）はアルファベットまたはアンダースコアで始まり、その後にはアルファベット、数字、アンダースコアが続く」といったルールや、「数値定数は数字の並びである」といったルールがこれにあたる。 具体的な処理の流れを、より詳細に見てみよう。レキサはまず、入力ストリームから一文字を読み込むことから始める。次に、その文字から始まる可能な限り長い文字列が、いずれかの字句規則に合致するかを判定する。例えば、「if (x == 10) { ... }」というコードがあるとする。レキサはまず「i」を読み込み、次に「f」を読み込む。この「if」という文字の並びが、当該言語の予約語（キーワード）として定義されていることを認識すると、「if」を一つのキーワードトークンとして切り出す。そして、その後に続く空白文字は無視され、次に「(」を読み込み、これを区切り文字トークンとして切り出す。同様に、「x」は識別子トークン、「==」は比較演算子トークン、「10」は数値定数トークン、「)」は区切り文字トークン、「{」は区切り文字トークンとして順次認識されていく。 各トークンは、その種類（例：キーワード、識別子、数値定数、文字列定数、演算子、区切り文字など）と、そのトークンが実際に表す具体的な値（例：キーワードなら「if」、識別子なら「x」、数値定数なら「10」）から構成される。この具体的な値は「字句値（lexeme）」とも呼ばれる。レキサは、識別したトークンとその字句値をペアにして、後続の処理段階である構文解析器（パーサ）に引き渡す。これにより、構文解析器は単なる文字列ではなく、意味的なカテゴリに分類された要素を基に処理を進めることができるようになる。 字句解析器の設計には、正規表現や有限オートマトンといった計算機科学の理論が応用されることが多い。字句規則は正規表現で記述され、それを基に有限オートマトンという状態遷移機械が構築される。この有限オートマトンが、入力文字文字列を効率的にスキャンし、複雑な字句規則に基づいてトークンを認識する役割を担うのである。例えば、キーワード「while」や識別子「my_variable」は正規表現「[a-zA-Z_][a-zA-Z0-9_]*」といったパターンで表現でき、数値定数「123」は「[0-9]+」といったパターンで表現できる。 字句解析の段階で、プログラミング言語の字句規則に合致しない不正な文字や文字列の並びが見つかった場合、それは字句エラーとして検出され、プログラマに報告される。例えば、言語に定義されていない特殊文字が突然現れたり、数値の途中に不正な文字が挿入されたりした場合などがこれにあたる。このようなエラーは、後の構文解析や意味解析といったより複雑な段階に進む前に発見されるため、プログラマにとってはデバッグの初期段階で問題を発見し、修正する大きな助けとなる。 字句解析によって生成されたトークン列は、単なる文字の羅列だったソースコードに「構造」を与える最初のステップである。このトークン列を受け取った構文解析器は、そのトークン列がプログラミング言語の文法規則（syntax rules）に沿っているかを検証し、プログラムの階層的な構造を示す構文木を構築する。つまり、字句解析は、プログラミング言語の処理において、文字列の海から意味のある「単語」を正確に切り出すことで、後のより高レベルな解析作業を可能にする、まさに基盤中の基盤となる処理なのである。