【ITニュース解説】Machine Learning for Customer Churn Prediction: What Actually Works

企業にとって、顧客がサービスを解約したり離れていったりする「顧客離反（チャーン）」は大きな損失であり、これを予測して防ぐことは非常に重要な課題である。機械学習は、大量のデータからパターンを学習し、将来の離反者を予測する強力なツールとして期待されている。しかし、単に「誰が離反するか」を予測するだけのモデルでは、ビジネスにおいて真に役立つとは限らないという点が、この記事の中心的なメッセージだ。

多くの企業は、顧客が離反する可能性を予測するモデルを作成し、その予測に基づいて離反リスクの高い顧客にアプローチする。例えば、割引を提供したり、サービス継続を促す電話をかけたりする。しかし、このアプローチには落とし穴がある。離反リスクが高いと判断された顧客の中には、実は4つの異なるタイプが混在している。一つ目は、すでに他社に乗り換えるなど、手遅れの「Lost causes（失われた原因）」だ。二つ目は、特に問題がなく、何もしなくても継続するはずだった「Sure things（確実なもの）」。たまたま請求の問い合わせや一時的な利用量の減少があっただけで、高い離反スコアが付いてしまうことがある。このような顧客に割引を提供すると、本来得られたはずの収益を無駄にすることになる。三つ目は、本当に離反の危険性があり、アプローチすれば引き留めることができる「Persuadables（説得可能なもの）」。このグループにのみ、コストをかけて働きかけるのが理想的だ。そして四つ目は、厄介なことに、連絡することでかえって離反を促してしまう「Sleeping dogs（眠れる犬）」というグループも存在する。彼らは、連絡によって初めて契約の終了が近いことに気づき、他社と比較して乗り換えを検討し始めてしまうのだ。

従来の機械学習モデルは、「誰が離反するか」という問いに答えるように設計されており、これら4つのタイプを区別することはできない。そのため、モデルが推奨する離反リスクの高い顧客リストには、何もしなくても残る顧客や、働きかけると逆効果になる顧客が混ざってしまい、結果として対策費用が無駄になったり、かえって顧客を失ったりする可能性がある。

本当に知りたいのは「どのような働きかけ（介入）をすれば、顧客の離反確率がどれだけ変化するか」という「介入による効果（Uplift）」だ。これを予測するためには、一部の顧客には働きかけを行い、別のランダムな顧客グループには働きかけを行わないという「ランダム化比較試験」を実施し、その効果を比較する必要がある。そうすることで、顧客へのアプローチが実際にどれだけの成果をもたらしたのかを正確に測定できる。

モデルの精度を向上させるためには、データの質と準備が非常に重要である。特に見落とされがちなのが「非自発的離反」の分離だ。クレジットカードの有効期限切れや決済失敗など、顧客の意思とは関係なく発生する解約も少なくない。これらのデータは、顧客の不満とは直接関係がないため、モデルの学習データから除外すべきだ。これらを適切に処理することで、モデルは顧客の不満に基づく離反要因をより正確に学習できるようになり、また、決済システム自体の改善（例えば、カード情報更新の事前通知や再試行ロジックの強化）で多くの顧客を引き留められる可能性も見えてくる。

さらに、機械学習モデルの信頼性を確保するためには、データエンジニアリングの徹底が不可欠である。特に注意すべきは「データリーク」という問題だ。これは、モデルが予測を行う時点でまだ存在しない未来の情報を、誤って学習してしまうことである。例えば、解約に関連するチケット情報や、解約フローの中で更新されるアカウントステータスなど、結果につながる情報が特徴量として使われてしまうケースだ。また、「タイムトラベル」と呼ばれる問題では、予測時点の過去のデータではなく、現在時点のデータを参照して特徴量を構築してしまうことで、モデルが未来を知っているかのような状態になる。これを防ぐためには「ポイントインタイム（point in time correctness）」という考え方が重要になる。これは、予測が行われる「その時点」で利用可能だった情報のみを使って特徴量を構築するという厳密なデータ管理を意味する。この地味で手間のかかる作業を省略すると、モデルはテスト環境では非常に高い精度を示すものの、実際の運用では全く機能しないという事態に陥る。これはプロジェクト全体の信頼を失う最速の方法である。

モデルの評価指標についても再考が必要だ。離反予測のような、離反する顧客が少ない「不均衡なデータ」の問題では、単なる「精度（Accuracy）」はほとんど役に立たない。「誰も離反しない」と予測しても、高い精度が出てしまうためだ。ビジネスにとって意味のある指標は、実際に対応可能な顧客数の中でどれだけの離反を防げたかを示す「リフト」や、対策コストを含めた「増分収益」である。また、モデルが全体として高いパフォーマンスを示していても、新規顧客など特定のセグメントでは全く役に立たないこともあるため、セグメント別のパフォーマンス評価も重要だ。

顧客と直接接する担当者（エージェント）に提供する情報も重要だ。単に「この顧客は離反確率が高い」というスコアだけを伝えても、担当者は画一的な割引を提供するしかなくなりがちだ。これは最も高価で、往々にして最も効果の薄いアプローチである。モデルは、なぜその顧客が離反リスクが高いのか、具体的な「理由」を提示できるべきだ。例えば、「直近の請求に不明点がある」「未解決のサポート案件がある」といった具体的な理由があれば、担当者はそれに合わせた適切な対応（請求の説明、問題の解決など）ができる。割引で解決できるケースは、実際には思ったより少ない。

そして、モデルの真の効果を測るためには「ホールドアウトグループ」の設置が不可欠だ。これは、モデルが離反リスクが高いと予測した顧客の中から、ランダムに選んだ一部の顧客に対して、意図的に何も働きかけを行わないグループのことだ。このグループと、働きかけを行ったグループの離反率を比較することで、対策が実際にどれだけの効果があったのかを客観的に評価できる。このホールドアウトグループを設定しないと、対策を行った顧客の離反率が下がったとしても、それが対策の効果なのか、それとも元々離反しなかった顧客が多かっただけなのかを区別できなくなり、プログラムの効果を科学的に検証できなくなる。

そもそも機械学習モデルを構築すべきでないケースも存在する。例えば、離反の大部分がクレジットカードの期限切れなど非自発的なものであれば、決済システムの改善が最も効果的な対策であり、モデルは不要だ。また、離反の明確な原因が特定されており（例：特定のサービスの不具合や競合他社に比べて価格が高いなど）、その原因を直接解決すれば良い場合や、簡単なルール（例：利用期間が長く、直近の利用が減少しており、サポートへの問い合わせがある顧客）で十分な効果が得られる場合も、複雑なモデルは必要ない。

機械学習プロジェクトの最終的な成果物は、単なる「モデルファイル」ではない。本当に価値のある成果物は、特徴量の定義、データを処理するパイプライン、実験の設計とログ、そして試行錯誤の記録など、プロジェクト全体を構成する「知財」であり、これらを自社で「所有」し、管理・運用できる状態にすることが極めて重要だ。他者に構築を依頼した場合でも、これらの情報を完全に引き継ぎ、自社でモデルを再学習、再検証、説明できる能力を持つことが、ビジネスプロセスの自立性と継続的な改善のために不可欠となる。