【ITニュース解説】What is Text Tagging? Understanding POS and NER in SpaCy

コンピュータが人間の言葉を理解し、その中から有用な情報を取り出すためには、まずテキストを構造化し、それぞれの単語やまとまりがどのような役割を持っているのかを特定する作業が必要となる。この作業が「テキストタギング」である。これは、私たちが文章を読むときに無意識に行っている「これは主語だ」「これは場所の名前だ」といった理解を、コンピュータに教えるようなものだ。生のテキストデータを、コンピュータが扱える形式の情報へと変換する第一歩となる。

テキストタギングにはいくつかの手法があるが、特に重要な二つの手法として「品詞タグ付け（Parts Of Speech, POS）」と「固有表現認識（Named Entity Recognition, NER）」がある。これらはそれぞれ異なる目的でテキストを分析し、異なる種類の情報を提供する。そして、Pythonでこれらの高度なテキスト分析を簡単に行うための強力なライブラリが「SpaCy」である。

まず、品詞タグ付け（POS）について説明する。これは、テキスト中の各単語が、文法的にどのような役割（品詞）を持っているかを識別する手法である。例えば、ある単語が「名詞」なのか、「動詞」なのか、「形容詞」なのかといったことを判別する。私たちが学校で習う国語の文法のように、単語一つひとつの性質を明らかにする作業だ。

SpaCyライブラリを使って品詞タグ付けを行う場合、まず分析したい言語のモデルを読み込む。英語の場合、一般的に「en_core_web_sm」のようなモデルが使われる。このモデルを読み込み、分析したいテキストを入力すると、SpaCyはそのテキストを個々の単語や記号のまとまりである「トークン」に分割する。そして、それぞれのトークンに対して、それがどのような品詞であるかを示すタグを付与する。

例えば、「emma woodhouse handsome clever」というテキストを処理すると、出力として「emma」が「PROPN」（固有名詞）、「woodhouse」も「PROPN」（固有名詞）、「handsome」が「ADJ」（形容詞）、「clever」も「ADJ」（形容詞）といった情報が得られる。このように、各単語の文法的な役割が明確になることで、その後のテキスト分析や情報抽出が容易になる。

次に、固有表現認識（NER）について説明する。これは品詞タグ付けとは異なり、テキストの中から「人名」「地名」「組織名」「日付」といった特定の種類の「固有名詞」（エンティティ）を識別する手法である。文章の表面的な文法構造だけでなく、その文章が何を指しているのか、具体的な「もの」や「こと」に注目する。

NERもSpaCyライブラリを使って行うことができ、品詞タグ付けと同様に、分析したいテキストをモデルに読み込ませるプロセスは同じである。しかし、品詞タグ付けが個々のトークンの品詞を調べるのに対し、NERはテキスト全体から「固有表現」として認識されたまとまりを抽出し、それがどのような種類のエンティティであるかを示すラベルを付与する。

例えば、テキストの中から「Apple」という単語を「組織名」として識別したり、「Tokyo」を「都市名」として識別したりする。これにより、「この文章にはどのような人や場所が登場するのか」「どのような組織について言及されているのか」といった具体的な情報を効率的に抽出することが可能になる。

このNERの仕組みは、機械学習と高度なアルゴリズムの組み合わせによって実現されている。SpaCyのモデルは、大量のデータから学習することで、単語の並び、文脈、大文字・小文字の使い方など、さまざまな手がかりを総合的に判断して固有表現を識別する能力を持っている。まるで人間が文章を読んで、「これは人の名前だな」「これは会社名だな」と判断するのと同じような処理をコンピュータが行っているのだ。

ここで重要な注意点が一つある。NERにおいては、テキストの大文字・小文字や句読点の有無が、認識の精度に大きく影響するという点だ。「apple」という単語と「Apple」という単語では、意味が大きく異なる場合がある。また、句読点も文の区切りや構造を示す重要な手がかりとなる。そのため、分析するテキストは、できるだけ元の自然な状態を保つことが推奨される。テキストから不要だと思って句読点を取り除いたり、すべてを小文字に変換したりすると、SpaCyのモデルが認識できるエンティティの数が減ったり、認識の確信度が低くなったりする可能性がある。

このように、品詞タグ付けと固有表現認識は、いずれもテキストの生データから有用な情報を引き出すための強力なツールである。SpaCyライブラリを使えば、これらの高度な自然言語処理タスクをわずか数行のPythonコードで簡単に実装できるため、システムエンジニアを目指す方にとって、テキストデータを取り扱う上で非常に役立つ技術となるだろう。