【PHP8.x】T_WHITESPACE定数の使い方

Copy
1<?php
2
3/**
4 * PHPコードをトークンに分解し、各トークンの種類と内容を表示します。
5 * この関数は、PHPのソースコードがどのように小さな要素（トークン）に
6 * 分解されるかを初心者にも理解しやすく説明します。
7 * 特に「T_WHITESPACE」（空白文字）と
8 * 「T_ENCAPSED_AND_WHITESPACE」（二重引用符文字列内のリテラル部分）の
9 * 検出に焦点を当てています。
10 *
11 * @param string $phpCode 解析対象のPHPソースコード文字列。
12 */
13function analyzePhpTokens(string $phpCode): void
14{
15    echo "--- PHP コードのトークン解析結果 ---\n";
16    echo "解析対象コード:\n";
17    // 解析対象のコードをそのまま出力し、どのコードが分析されているかを示します。
18    echo $phpCode . "\n\n";
19
20    // PHPコードをトークンに分解します。
21    // token_get_all() は、PHPスクリプトをPHPのパーサが理解できる単位（トークン）に分割します。
22    $tokens = token_get_all($phpCode);
23
24    echo "検出されたトークン:\n";
25    // 分解されたトークンを一つずつ処理し、種類と内容を表示します。
26    foreach ($tokens as $token) {
27        if (is_array($token)) {
28            // トークンが配列の場合、[0]はトークンID、[1]は内容文字列、[2]は行番号です。
29            $tokenId = $token[0];
30            // token_name() 関数は、トークンID（数値）を人間が読める定数名（例: "T_WHITESPACE"）に変換します。
31            $tokenName = token_name($tokenId);
32            // トークンの内容を見やすくするため、改行やタブをエスケープシーケンスに変換して表示します。
33            $tokenContent = str_replace(["\n", "\r", "\t"], ['\\n', '\\r', '\\t'], $token[1]);
34
35            // 各トークンのID、名前、内容を整形して出力します。
36            echo sprintf("ID: %-5d | Name: %-30s | Content: '%s'\n", $tokenId, $tokenName, $tokenContent);
37
38            // T_WHITESPACEの検出と説明
39            if ($tokenId === T_WHITESPACE) {
40                echo "    ↑ ここにT_WHITESPACE（空白文字）が検出されました。\n";
41                echo "      これは、PHPコード中のスペース、タブ、改行などの空白を表します。\n";
42            }
43            // T_ENCAPSED_AND_WHITESPACEの検出と説明
44            if ($tokenId === T_ENCAPSED_AND_WHITESPACE) {
45                echo "    ↑ ここにT_ENCAPSED_AND_WHITESPACEが検出されました。\n";
46                echo "      これは、二重引用符（\"\"）で囲まれた文字列内で、変数展開されていない\n";
47                echo "      リテラル部分（空白を含む）を表します。例えば \"Hello $name!\" の \"Hello \" や \"!\" の部分です。\n";
48            }
49        } else {
50            // トークンが文字列の場合、それは単一文字の演算子や句読点（例: ';', '=', '.'）です。
51            echo sprintf("ID: (N/A) | Name: (Literal)              | Content: '%s'\n", $token);
52        }
53    }
54    echo "\n--- 解析終了 ---\n";
55}
56
57// 解析対象となるPHPサンプルコードを定義します。
58// このコードには、空白文字（T_WHITESPACE）と、
59// 二重引用符文字列内の変数展開（T_ENCAPSED_AND_WHITESPACEの発生箇所）が含まれています。
60$samplePhpCode = <<<'PHP'
61<?php
62    $userName = "PHP初心者"; // この行頭のスペースや行末の改行がT_WHITESPACEです
63
64    // 二重引用符文字列内で変数展開を使用する例です。
65    // "こんにちは、 " と " さん！" の部分は T_ENCAPSED_AND_WHITESPACE として検出されます。
66    $greeting = "こんにちは、 $userName さん！"; 
67
68    echo $greeting; // この行頭のスペースもT_WHITESPACEです
69?>
70PHP;
71
72// 定義した関数を実行し、PHPコードを解析します。
73analyzePhpTokens($samplePhpCode);
74

このサンプルコードは、PHP 8でPHPのソースコードがどのように小さな要素（トークン）に分解されるかを、システムエンジニアを目指す初心者の方にもわかりやすく解説するものです。コードの主要部分であるtoken_get_all()関数は、引数として与えられたPHPコード文字列を受け取り、それをPHPのパーサーが理解するトークンの配列として戻り値で返します。各トークンは通常、その種類を示す整数ID、内容文字列、そして行番号を含みます。

特に、T_WHITESPACEはPHPコード中のスペース、タブ、改行といった空白文字を表す定数（整数値）です。この定数は、コードの整形や空白の扱われ方を理解する上で重要となります。また、T_ENCAPSED_AND_WHITESPACEは、二重引用符（""）で囲まれた文字列内で、変数展開（例: $variable）されていないリテラル部分（空白を含むテキスト）を表すトークンです。例えば、"Hello $name!"という文字列では、「Hello 」や「!」の部分がこのトークンとして識別されます。token_name()関数は、これらの数値IDを「T_WHITESPACE」のような人間が読める定数名に変換して表示し、コードの理解を助けています。この解析を通して、PHPがコードをどのように読み込み、構成要素を区別しているかを具体的に学ぶことができます。

Copy
1<?php
2
3/**
4 * 指定されたPHPコードを解析し、そのトークン情報を表示します。
5 * 特に、PHPコードの空白(T_WHITESPACE)と、
6 * ダブルクォート文字列内の空白(T_ENCAPSED_AND_WHITESPACE)の違いに焦点を当てます。
7 * これらのトークンの挙動を理解することは、PHPコードの字句解析や、
8 * 文字列処理における予期せぬ挙動を避ける上で役立ちます。
9 *
10 * @param string $phpCode 解析対象のPHPコード文字列。
11 * @return void
12 */
13function analyzePhpCodeTokens(string $phpCode): void
14{
15    echo "--- 解析対象コード ---\n";
16    echo $phpCode . "\n";
17    echo "----------------------\n\n";
18
19    // token_get_all()関数は、PHPコードをトークンに分割します。
20    // PHP 8では、T_WHITESPACEはint型の定数です。
21    $tokens = token_get_all($phpCode);
22
23    echo "--- トークン解析結果 ---\n";
24    foreach ($tokens as $token) {
25        if (is_array($token)) {
26            // $token[0] はトークンのID (例: T_WHITESPACE, T_STRINGなど、いずれもint値)
27            // $token[1] はトークンの内容 (例: " ", "$var"など)
28            // $token[2] はトークンが見つかった行番号
29            $tokenId = $token[0];
30            $tokenName = token_name($tokenId); // トークンIDを人間が読める名前に変換
31            $tokenValue = str_replace(["\n", "\r", "\t"], ['\\n', '\\r', '\\t'], $token[1]); // 特殊文字を見やすく表示
32            $lineNumber = $token[2];
33
34            // T_WHITESPACEはPHPコード内の空白（スペース、タブ、改行）を表します。
35            // T_ENCAPSED_AND_WHITESPACEは、ダブルクォート文字列リテラル内の空白を表します。
36            // キーワードに示唆される「エラー」は、これらのトークンの違いを理解していないことに起因する場合があります。
37            if ($tokenId === T_WHITESPACE) {
38                echo "[T_WHITESPACE] (ID: " . $tokenId . ") 内容: '" . $tokenValue . "' (行: " . $lineNumber . ")\n";
39            } elseif ($tokenId === T_ENCAPSED_AND_WHITESPACE) {
40                echo "[T_ENCAPSED_AND_WHITESPACE] (ID: " . $tokenId . ") 内容: '" . $tokenValue . "' (行: " . $lineNumber . ")\n";
41            } else {
42                echo "[" . $tokenName . "] (ID: " . $tokenId . ") 内容: '" . $tokenValue . "' (行: " . $lineNumber . ")\n";
43            }
44        } else {
45            // 単一文字のトークン（例: '{', '}', ';' など）は文字列として返されます。
46            echo "[LITERAL] 内容: '" . $token . "'\n";
47        }
48    }
49    echo "------------------------\n\n";
50}
51
52// --- サンプルコードの実行例 ---
53
54echo "### 例1: PHPコード内の通常の空白 (T_WHITESPACE) ###\n";
55$codeExample1 = <<<'EOD'
56<?php
57$variable = 10;
58    // 上の行とこの行の間の空白やインデントはT_WHITESPACEになります。
59EOD;
60analyzePhpCodeTokens($codeExample1);
61
62echo "\n### 例2: ダブルクォート文字列内の空白 (T_ENCAPSED_AND_WHITESPACE) ###\n";
63// ダブルクォート文字列内の空白は、T_ENCAPSED_AND_WHITESPACEとして扱われます。
64// これは、変数展開などが発生しうるため、通常の空白とは区別されます。
65$codeExample2 = <<<'EOD'
66<?php
67$name = "Alice";
68$message = "Hello $name,   how are you?"; // "   " の部分はT_ENCAPSED_AND_WHITESPACE
69EOD;
70analyzePhpCodeTokens($codeExample2);
71
72echo "\n### 例3: シングルクォート文字列内の空白 (通常の文字列リテラルとして扱われる) ###\n";
73// シングルクォート文字列内の空白は、文字列リテラルの一部であり、
74// T_WHITESPACEやT_ENCAPSED_AND_WHITESPACEとしては扱われません。
75$codeExample3 = <<<'EOD'
76<?php
77$text = 'This is   a single quoted string.';
78EOD;
79analyzePhpCodeTokens($codeExample3);

PHP 8におけるT_WHITESPACEは、PHPコードの字句解析において、プログラム内のスペース、タブ、改行といった空白文字を表す整数型の定数です。このサンプルコードは、token_get_all()関数を使用して指定されたPHPコードを個々の「トークン」に分割し、それぞれのトークンの種類と内容を詳細に表示することで、T_WHITESPACEの具体的な挙動を明らかにします。token_get_all()関数は、解析対象のPHPコード文字列を引数に取り、各トークンのID、内容、行番号を含む配列、または単一文字のトークンの場合は文字列を戻り値として返します。

コード本体のインデントや改行などの空白はT_WHITESPACEとして認識されます（例1）。しかし、ダブルクォートで囲まれた文字列リテラル内の空白（例: "Hello $name, how are you?" の中の空白）は、変数展開などの可能性があるため、T_ENCAPSED_AND_WHITESPACEという別のトークンとして区別されます（例2）。一方、シングルクォートで囲まれた文字列内の空白は、特別なトークンとしては扱われず、単に文字列リテラルの一部として認識されます（例3）。

これらのトークンの違いを理解することは、PHPコードの内部的な構造や文字列処理の挙動を深く把握するために重要です。特に、ダブルクォート文字列内の空白が通常の空白とは異なる扱われ方をする点を認識していないと、文字列の解析や加工において予期せぬ結果や「エラー」に繋がる可能性があります。本サンプルコードは、その違いを明確に示し、PHPの字句解析の基礎を学ぶ上で役立ちます。