【PHP8.x】PhpToken::tokenize()メソッドの使い方

Copy
1<?php
2
3/**
4 * 指定されたPHPコード文字列をトークン化し、その結果を表示する関数。
5 *
6 * PhpToken::tokenize() メソッドは、PHP 8で導入された新しいトークナイザーAPIの一部です。
7 * このメソッドは、指定されたPHPコードを解析し、PhpTokenオブジェクトの配列として返します。
8 * 各PhpTokenオブジェクトは、トークンのタイプ、実際の文字列内容、開始行などの情報を含みます。
9 *
10 * @param string $phpCode トークン化するPHPコード文字列。
11 */
12function demonstratePhpTokenization(string $phpCode): void
13{
14    echo "--- 元のPHPコード ---\n";
15    echo $phpCode . "\n";
16    echo "--------------------\n\n";
17
18    // PhpToken::tokenize() メソッドを使用してコードをトークン化します。
19    // このメソッドは、各トークンを表す PhpToken オブジェクトの配列を返します。
20    $tokens = PhpToken::tokenize($phpCode);
21
22    echo "--- トークン解析結果 ---\n";
23    echo sprintf("%-25s %-30s %s\n", "トークンタイプ", "内容", "行");
24    echo str_repeat('-', 60) . "\n";
25
26    // 各PhpTokenオブジェクトをループして、その情報（タイプ、内容、行番号）を表示します。
27    foreach ($tokens as $token) {
28        // $token->name: トークンのタイプ名 (例: T_NAMESPACE, T_STRING, T_WHITESPACE)
29        // $token->text: トークンの実際の文字列内容 (例: "namespace", "MyClass", " ")
30        // $token->line: トークンが始まる行番号
31        echo sprintf(
32            "%-25s %-30s %d\n",
33            $token->name,
34            str_replace(["\n", "\r"], ['\\n', '\\r'], mb_strimwidth($token->text, 0, 28, '...')), // 長いテキストは省略し、改行を可視化
35            $token->line
36        );
37    }
38    echo "------------------------\n";
39}
40
41// PHPコードのサンプル文字列を定義します。
42// これは、名前空間、クラス定義、メソッド、コメント、変数代入などを含むコードです。
43$sampleCode = <<<'CODE'
44<?php
45
46namespace App\Services;
47
48/**
49 * ユーザー関連の操作を行うサービス。
50 */
51class UserService
52{
53    public function getUserName(int $userId): string
54    {
55        // ここでデータベースからユーザー名を取得すると仮定します。
56        if ($userId === 1) {
57            return "Alice";
58        } elseif ($userId === 2) {
59            return "Bob";
60        }
61        return "Unknown User";
62    }
63}
64
65// サービスのインスタンス化とメソッドの呼び出し例
66$service = new UserService();
67$name = $service->getUserName(1);
68echo "User Name: " . $name . "\n";
69CODE;
70
71// demonstratePhpTokenization関数を実行して、上記のPHPコードをトークン化し、結果を表示します。
72demonstratePhpTokenization($sampleCode);
73
74?>

PHP 8で導入されたPhpToken::tokenizeメソッドは、指定されたPHPコード文字列を解析し、それを構成する個々の要素（トークン）に分解する機能を提供します。引数にはトークン化したいPHPコードの文字列を指定し、オプションで追加の挙動を制御するフラグを渡すことができます。このメソッドは、解析された各トークンを表すPhpTokenオブジェクトの配列を戻り値として返します。各PhpTokenオブジェクトは、トークンの種類（例：キーワード、変数名、演算子）、実際のテキスト内容、コード内での開始行番号といった詳細情報を含んでいます。

サンプルコードでは、用意されたPHPコード文字列をPhpToken::tokenizeメソッドで処理し、得られた各トークンの情報を分かりやすく一覧表示しています。具体的には、トークンの種類を示す名前（$token->name）、そのトークンの実際の文字列（$token->text）、そしてコード中のどの行に現れるか（$token->line）を出力しています。これにより、PHPコードが文法的にどのような最小単位に分解されるのかを視覚的に確認でき、コードの構造を理解する上で役立ちます。

Copy
1<?php
2
3/**
4 * PHPコードをトークンに分解し、その詳細情報を表示する関数。
5 * PhpToken::tokenize() メソッドの使用例を示します。
6 *
7 * PHP 8以降では、この機能はPHPの標準機能として提供されており、
8 * 追加のDLLダウンロードや特別な設定は不要で、すぐに利用できます。
9 *
10 * @param string $code 解析対象のPHPコード文字列。
11 * @return void
12 */
13function analyzePhpCodeTokens(string $code): void
14{
15    echo "--- 解析対象のPHPコード ---\n";
16    echo $code . "\n\n";
17    echo "--- トークン情報 (行番号, トークンの種類, トークンの実際のテキスト) ---\n";
18
19    // PhpToken::tokenize() を使用してコードをトークンに分解します。
20    // このメソッドは、各トークンを表すPhpTokenオブジェクトの配列を返します。
21    $tokens = PhpToken::tokenize($code);
22
23    foreach ($tokens as $token) {
24        // 各PhpTokenオブジェクトは以下の情報を含みます：
25        //   - line: トークンが出現した行番号
26        //   - name: トークンの種類を示す文字列（例: T_CLASS, T_VARIABLE）。
27        //           空白など、一部のトークンではnullになる場合があります。
28        //   - text: コード内の、このトークンに該当する実際の文字列
29        echo sprintf(
30            "行: %-4d 種類: %-20s 内容: %s\n",
31            $token->line,
32            $token->name ?? '[不明なトークン]', // nameがnullの場合のフォールバック
33            var_export($token->text, true)     // 文字列リテラルを明確に表示
34        );
35    }
36}
37
38// 解析するPHPサンプルコードを定義します。
39// これは一般的なクラス、メソッド、変数、文字列操作を含むコードです。
40$sampleCode = <<<'PHP_CODE'
41<?php
42
43class User
44{
45    private string $name;
46
47    public function __construct(string $name)
48    {
49        $this->name = $name;
50    }
51
52    /**
53     * ユーザーに挨拶するメッセージを生成します。
54     * @return string 挨拶メッセージ
55     */
56    public function sayHello(): string
57    {
58        $message = "こんにちは、" . $this->name . "さん！";
59        return $message;
60    }
61}
62
63// Userクラスのインスタンスを作成し、メソッドを呼び出す例
64$user = new User("田中");
65echo $user->sayHello(); // 出力: こんにちは、田中さん！
66
67PHP_CODE;
68
69// 定義した関数を実行し、サンプルコードのトークンを解析します。
70analyzePhpCodeTokens($sampleCode);

PHPのPhpToken::tokenizeメソッドは、与えられたPHPコードの文字列を、構文上の意味を持つ最小単位である「トークン」の配列に分解する機能を提供します。これは、コードの構造を理解したり、静的解析ツールを開発したりする際の基盤となる重要な処理です。PHP 8以降では、この機能はPHPの標準機能として提供されており、追加のDLLダウンロードや特別な設定は不要で、すぐに利用できます。

このメソッドの第一引数$codeには、解析対象となるPHPコードの文字列を指定します。第二引数$flagsは、現在のところ通常0を指定しますが、将来的な拡張のために用意されています。メソッドは、各トークンを表すPhpTokenオブジェクトの配列を戻り値として返します。

各PhpTokenオブジェクトには、トークンが出現したline（行番号）、トークンの種類を示すname（例: T_CLASS, T_VARIABLEなど。空白のような一部のトークンではnullになる場合があります）、そしてコード内の実際の文字列であるtextといった詳細情報が含まれます。提供されたサンプルコードは、このPhpToken::tokenizeメソッドを使ってPHPコードをトークンに分解し、それぞれのトークンの行番号、種類、内容を分かりやすく表示する具体的な例となっています。これにより、PHPコードが内部的にどのように構成されているかを理解するのに役立ちます。