【ITニュース解説】Understanding data mining and prediction in one article

未来を予測したいという人間の根源的な欲求は、古くから存在し、今日のテクノロジーにおいてもその探求は続いています。例えば、明日の天気、不動産価格、製品の売上、顧客の購買傾向など、さまざまな事柄について私たちは予測を試みます。このような予測を行うための技術が、データマイニングと呼ばれるものです。

予測の本質は、数学的に言えば、観測可能な情報を入力として与えることで、期待する予測結果を出力として計算できる「関数」を見つけることにあります。例えば、スイカを選ぶ際に、皮の色、つるの形、叩いたときの音といった観測情報を入力とし、スイカの品質という予測結果を出力するような関数を想像してみてください。この関数を見つけることができれば、私たちは未知のスイカの品質を予測できます。この予測に用いる関数を「予測モデル」、あるいは単に「モデル」と呼びます。

では、このモデルはどのようにして見つけるのでしょうか。人間がスイカの良し悪しを判断できるようになるプロセスを考えるとわかりやすいでしょう。私たちは数多くのスイカに触れ、その外見的特徴を観察し、実際に切って品質を確認するという経験を繰り返します。この経験を通じて、私たちは「良いスイカ」の特徴を学び、将来のスイカの品質を予測できるようになります。このプロセスと同様に、モデルも過去の経験、つまり「履歴データ」から導き出されます。

履歴データとは、例えばスイカの例であれば、皮の色や形、音といった「入力値」と、それが「良いスイカ」だったか「悪いスイカ」だったかという「出力値」のペアを大量に集めたものです。専門用語では、モデルへの入力値は「特徴変数（x）」、出力値は「目的変数（y）」と呼ばれます。この履歴データから予測のためのモデルを見つけ出すプロセスを「モデリング」と呼び、新しい状況でこのモデルを使って計算を行うことが「予測」です。そして、データの中から価値あるもの、つまりモデルを抽出する一連の技術全体を「データマイニング」と呼びます。ただし、モデルは常に100%正確な予測をするわけではありません。経験豊富な農家でも、天気予報でも、完全に的中することは稀であり、ある程度の精度があれば実用的な価値を持つとされます。

履歴データからモデルを見つけ出す具体的な方法が「データマイニングアルゴリズム」です。例えば、家の広さ（特徴変数x）と販売価格（目的変数y）のデータがある場合、広さが大きくなるにつれて価格も概ね直線的に上昇する傾向が見られることがあります。このような場合、「線形回帰」というアルゴリズムを用いて、データ間の関係を最もよく表す直線の式（y=ax+b）を計算し、モデルとすることができます。このモデルを使えば、新しい家の広さから価格を予測できます。しかし、スイカの品質のように数値ではないデータ（皮の色、つるの形など）の場合、線形回帰は適用できません。そのようなケースでは、「決定木」のような別のアルゴリズムが有効です。決定木は、まるで「もし皮が濃い緑色で、つるが丸まっていて、叩くと鈍い音がするなら、それは良いスイカだ」といった複数の「もし〜ならば〜である」というルールを、木の枝のように分岐させて構成するモデルです。

また、同じ家の価格予測の問題であっても、広さと価格の関係が直線的ではなく、曲線的なパターンを示す場合もあります。このような場合は、線形回帰ではなく、二次関数のような非線形な関係を捉えるアルゴリズムが必要となります。このように、問題の性質やデータの形状に応じて、適切なアルゴリズムを選択することが重要です。データマイニングには、線形回帰、決定木以外にも、ロジスティック回帰、サポートベクターマシン、ランダムフォレストなど、多様なアルゴリズムが存在し、それぞれ異なる数学的原理と適用範囲を持ちます。

最近話題のAIである大規模言語モデル（LLM）も、本質的には次に現れる単語の確率を予測する予測モデルの一種であり、データマイニングの応用の一つと考えることができます。LLMで使われる「ニューラルネットワーク」というアルゴリズムは、非常に複雑な数学的関数が層状に組み合わさったもので、大規模な履歴データを用いてモデリングされます。これらのアルゴリズムを深く理解するには、多くの数学的知識が求められます。

さらに、履歴データは多くの場合、そのままではモデリングに使えません。欠損値の処理、データの修正、正規化など、さまざまな「前処理」が必要です。これらの前処理もまた、高度な数学的知識を要し、一筋縄ではいかない作業です。モデルが構築された後も、そのモデルが実際に使えるかを評価するために、現実との誤差を確認する「モデルテスト」が不可欠です。誤差が大きければ、モデルの精度が低いと判断され、何度も調整と最適化を繰り返す必要があります。このため、実用的なモデルを構築するには、数日あるいは数週間を要することも珍しくありません。これらの作業はコンピュータを用いたプログラミングによって行われるため、システムエンジニアを目指す人にとってプログラミング知識は必須です。

データマイニングとモデリングは非常に複雑な作業であり、これまでデータサイエンティストと呼ばれる専門家によって行われてきました。しかし、近年登場している「自動データマイニング・モデリングツール」は、この状況を変えつつあります。YModelのようなツールは、専門的な数学知識や統計学者の豊富な経験を凝縮しており、高度な数学を理解していなくても、ワンクリックでモデルを構築できるのが特徴です。これらのツールはデータの自動分析、前処理、モデリング、パラメータ調整を自動で行い、数分で平均的なデータサイエンティストのレベルを超える品質のモデルを構築できるとされています。

しかし、自動モデリングツールがあっても、高品質なモデルを構築するためには、ツールに履歴データを投入するだけでは不十分です。例えば、取引日という特徴変数から「祝日であるか否か」という「派生変数」を新たに生成することで、ビジネス予測の精度が格段に向上することがあります。なぜなら、ビジネス活動が祝日と密接に関連している場合があるからです。このような派生変数を考えるには、ビジネスに対する深い洞察力や経験が必要であり、数学的知識とは異なります。自動モデリングツールは数学的な処理には優れていますが、ビジネス知識を持っているわけではないため、ユーザー自身がビジネス経験に基づいた派生変数を追加する機能が求められます。

また、モデリングに用いる履歴データの量も重要です。LLMのように膨大なデータが必要なわけではなく、数万から数十万件程度のレコードで十分な場合が多いです。データが少なすぎるとパターンを見つけられず、多すぎても計算時間とコストが大幅に増加するだけで、モデル性能が劇的に向上するわけではありません。データマイニング技術は、一般的な組織が数年間の運用で蓄積できるデータ量で十分であり、専門的なサーバークラスターがなくても、通常のPCラップトップでモデリングができるため、非常に実用性が高いと言えます。

モデルが構築されたら、そのモデルがどれくらい「良い」かを判断するために、「モデル評価」の知識も必要です。基本的な指標の一つに「精度（Accuracy）」があり、これは全ての予測結果の中で正しく予測された割合を示します。もちろん、精度は高い方が良いのですが、それだけが唯一の指標ではありません。

例えば、ある会社が50個の商品を販売したいと考えているとします。このとき、モデルを使ってターゲットとなる顧客を選定することで効率を上げられます。商品を購入する顧客を「陽性サンプル」、購入しない顧客を「陰性サンプル」と呼びます。この場合、私たちはモデルが陽性サンプルをどれだけ正確に予測できるかに関心があります。この指標を「適合率（Precision）」と呼びます。適合率は、「モデルが陽性と予測したサンプルの中で、実際に陽性だった割合」を示します。例えば、100人の顧客が購入すると予測し、そのうち60人が実際に購入した場合、適合率は60%です。適合率の高いモデルを使えば、少ないプロモーション費用で目標販売数を達成できます。

別の例として、空港でテロリストを識別するモデルを考えます。100万人中5人しかいないテロリストを特定するような稀なケースで、精度だけを追求して全員を「正常な人」と予測してしまうと、精度は99.999%と非常に高くなりますが、テロリストを一人も捕まえられないため、全く意味がありません。このような場合、「再現率（Recall ratio）」が重要になります。再現率は、「実際に陽性だったサンプルの中で、モデルがどれだけ正しく陽性と予測できたか」を示します。つまり、5人のテロリストのうち何人を捕まえられたか、ということです。精度は低くても、再現率が非常に高いモデルであれば、誤って正常な人をテロリストと識別してしまうことがあっても、テロリストを見逃すよりははるかに良いと判断されます。

これらの数値的な評価指標の他に、Lift CurveやRecall Ratio Graphのような視覚的な評価方法もあります。Lift Curveは、モデルを使うことでどの程度パフォーマンスが向上したかを示すもので、Recall Ratio Graphは、どれくらいのデータを検証すれば、高リスク顧客の何パーセントを捕捉できるかなど、具体的なビジネスシナリオでの効果を直感的に把握するのに役立ちます。

さらに、モデルの「安定性」も考慮すべき重要な要素です。モデルは過去のデータを完璧に説明できるだけではなく、将来の未知のデータに対しても優れた予測能力を持つ必要があります。これを「汎化能力」と呼びます。過去のデータを完璧に当てはめすぎると、かえって将来のデータに対する予測がうまくいかなくなることがあります。この現象を「過学習（オーバーフィッティング）」と呼びます。逆に、データの特徴を十分に捉えきれていない状態を「未学習（アンダーフィッティング）」と言います。最適なモデルは、過去のデータに対する精度と、未来のデータに対する汎化能力のバランスが取れているものとされます。過学習はよくある間違いであり、これを避けるための手法が多くのデータマイニングツールに組み込まれています。

データマイニングは、私たちに未来を洞察し、より良い意思決定を可能にする強力なAI技術です。自動モデリング技術の進化により、専門家でなくてもデータマイニングを容易に活用できるようになり、さまざまな分野でその実用性が高まっています。