コーパス (コーパス) とは | 意味や読み方など丁寧でわかりやすい用語解説

コーパス (コーパス) の読み方

日本語表記

コーパス (コーパス)

英語表記

corpus (コーパス)

コーパス (コーパス) の意味や用語解説

コーパスとは、自然言語処理や言語学の研究のために、人間の使用する言語、すなわち自然言語の文章や発話を大規模に収集し、コンピュータで利用可能な形式に整えた言語データ資源のことである。単に大量のテキストを集めたものではなく、多くの場合、特定の目的に合わせて構造化され、言語的な情報が付与されている点が特徴である。コンピュータが人間の言葉を統計的に学習し、その背後にある規則やパターンを抽出するための「教科書」や「辞書」に相当するものであり、機械翻訳、対話システム、情報検索といった現代の多くのITシステム開発において不可欠な基盤技術となっている。コーパスの品質と規模が、それを利用して開発されるシステムの性能を直接的に左右するため、その重要性は非常に高い。 コーパスをより詳細に理解するためには、その構成要素と役割を把握することが重要である。コーパスに含まれるデータは、新聞記事、書籍、ウェブサイトのテキスト、ブログ、SNSの投稿、法律の条文、さらには会話の書き起こしや音声データそのものまで、極めて多岐にわたる。どのようなデータを収集するかは、コーパスを構築する目的によって決定される。例えば、現代の若者言葉を分析するためのシステムを開発するのであれば、SNSの投稿を収集したコーパスが有効である。 コーパスが単なるテキストの集合体と一線を画す最大の理由は、アノテーションと呼ばれる付加情報にある。アノテーションとは、収集した言語データに対して、品詞、文の構造、単語の意味といった言語学的な情報を人手またはプログラムによってタグとして付与する作業、およびその付与された情報自体を指す。このアノテーションによって、コンピュータはテキストの表層的な文字列だけでなく、その構造や意味を深く理解することが可能になる。 アノテーションには様々な種類が存在する。代表的なものの一つが形態素解析情報である。これは、文章を意味を持つ最小単位である形態素に分割し、それぞれの形態素に対して品詞（名詞、動詞、形容詞など）や原形、活用形といった情報を付与するものである。例えば、「美しく咲いた花」というテキストに対し、「美しい／形容詞」「く／助動詞」「咲い／動詞」「た／助動詞」「花／名詞」のように情報を付与する。これは多くの自然言語処理タスクの基礎となる最も基本的なアノテーションである。 さらに高度なアノテーションとして、構文情報が挙げられる。これは、文中の単語や文節間の係り受け関係を明らかにし、文全体の構造を解析した情報である。どの単語が主語で、どれが述語なのか、どの語がどの語を修飾しているのかといった関係性を示すことで、より正確な文意の解釈を支援する。また、意味情報のアノテーションでは、文中の単語が持つ意味的な役割や、人名、地名、組織名といった固有表現のカテゴリを識別して付与する。これにより、コンピュータは「誰が」「何を」「どうした」のかを把握できるようになる。 コーパスは、その目的や構造によっていくつかの種類に分類される。アノテーションが一切付与されていない、収集したままのテキストデータは生コーパスと呼ばれる。一方、上記で説明したような何らかのアノテーションが付与されたものはアノテーション付きコーパスと呼ばれる。特定の用途で重要となるのが、パラレルコーパスである。これは、同じ内容の文章を二つ以上の異なる言語で対にしたもので、例えば日本語の文とそれに対応する英訳文のペアを大量に集めたものである。これは、ニューラル機械翻訳（NMT）システムの学習データとして極めて重要である。また、音声認識システムの開発には、音声データとその書き起こしテキストをセットにした音声コーパスが用いられる。 システム開発の現場において、コーパスは主に機械学習モデルの学習データとして利用される。自然言語処理技術を用いたシステム、例えば、文章の感情を分析するシステム、顧客からの問い合わせに自動で応答するチャットボット、入力されたキーワードに関連する文書を検索するエンジンなどは、すべて大量のコーパスを学習することでその機能を実現している。開発するシステムの性能は、学習に用いるコーパスの量と質に大きく依存する。そのため、システムエンジニアは、開発するシステムの要件に合わせて適切なコーパスを選定し、場合によっては独自のコーパスを構築・整備する能力も求められる。コーパスは、コンピュータに人間の知的な活動である言語能力を付与するための、まさに知識の源泉と言える存在なのである。