【ITニュース解説】Mining Capterra reviews with Python for competitor research

システムエンジニアを目指す皆さんにとって、世の中の製品やサービスがどのように評価されているかを知ることは、開発のヒントや競合分析に役立つ重要なスキルとなる。特に、ユーザーが実際にどんな点に不満を抱いているのか、つまり「何が嫌われているのか」を知ることは、新しい製品を作る際や既存製品を改善する際に非常に価値ある情報となる。

オンラインレビューサイトのCapterraは、そのような情報を得るための宝庫だ。Capterraでは、各製品のレビューに「良い点（pros）」と「悪い点（cons）」が別々に記載されている。さらに、使いやすさ、サポート、機能、価格といった項目ごとの詳細な評価（サブ評価）や、時には「なぜ別の製品に乗り換えたのか（reasons for switching）」という具体的な理由まで記述されている。これらの情報は、製品の改善点や競合製品との差別化ポイントを見つける上で、非常に率直で信頼性の高いデータとなる。

しかし、Capterraのウェブサイトから直接これらのレビュー情報を集めようとすると、大きな壁にぶつかる。Capterra.comは「Cloudflareチャレンジ」と呼ばれる強力なボット対策システムを導入しており、自動で情報を収集する（スクレイピングする）ことを困難にしているのだ。通常、このようなサイトから情報を得るには、まるで人間がウェブブラウザを使っているかのように振る舞う「ヘッドレスブラウザ」などの高度な技術が必要となるが、それでも対策をすり抜けるのは容易ではなく、途中で失敗してしまうことも多い。

この問題を解決するために、あるエンジニアリング学生が「Capterra Reviews Scraper」というツールを開発した。このツールは、Apifyというクラウドプラットフォーム上で動作する「アクター」と呼ばれるプログラムで、有料だが無料トライアルクレジットも提供されている。このツールの面白いところは、Capterraのサイトを直接狙うのではなく、同じCapterraのレビューデータベースを共有している別のサイト「Software Advice」から情報を取得するという工夫にある。Software AdviceのサイトはCapterraのようなCloudflareの厳重なボット対策が施されていないため、一般的なウェブ通信（HTTP）で簡単にレビュー情報を取得できるのだ。これにより、ヘッドレスブラウザのような複雑な仕組みを使うことなく、非常に高速に大量のレビューデータを収集することが可能になっている。開発者のテストでは、600件のレビューが5秒未満で取得できたという。取得されるレビューデータにはCapterraの元のIDが含まれているため、Capterraサイト上のレビューと照合することも可能だ。

この「Capterra Reviews Scraper」を利用するには、PythonやNode.jsといったプログラミング言語からApifyのクライアントライブラリをインストールし、Apifyから発行されるAPIトークンを使って認証を行う。その後、ツールを呼び出す際に、情報を取得したい製品のCapterra、GetApp、Software AdviceのURL、または製品名を指定する。さらに、取得するレビューの最大件数、ソート順（新しい順など）、星評価（例えば1つ星や2つ星の低い評価のみ）、企業規模、レビューされた時期といった詳細なフィルターを設定できる。これにより、自分の分析目的に合ったレビューだけを効率的に集めることが可能になる。

ツールがレビューデータを取得すると、それはApifyのデータセットと呼ばれる場所に保存される。そこからプログラムを使ってデータを一つずつ取り出し、分析に利用できる。取得できるデータの種類は非常に豊富だ。具体的には、製品名、レビューID、レビューのタイトル、総合評価の星の数、レビュアーが記述した「良い点」と「悪い点」の具体的な内容、「乗り換え理由」、そして使いやすさ、顧客サービス、機能、価格に対する個別の星評価などが含まれる。さらに、レビューが投稿された日付、レビュアーの名前（プライバシーに配慮し「名＋姓のイニシャル」）、所属する業界、企業の規模、製品の使用期間や頻度、レビュー投稿のインセンティブ（謝礼があったかどうか）といった詳細なレビュアー情報も得られる。製品全体の情報として、平均評価、総レビュー数、各星評価のレビュー数の内訳なども各レビュー行に付随してくるため、これらを別に集計する手間が省ける。

このツールで収集したデータは、様々な形で活用できる。例えば、もしあなたが新しいプロジェクト管理ツールを開発しているとして、競合製品であるJiraやAsanaのユーザーが具体的に何に不満を持っているのかを知りたいと考える場合を想定してみよう。まず、これらの製品の1つ星や2つ星といった低い評価のレビューだけを抽出する。次に、それらのレビューの「悪い点（cons）」欄に頻繁に登場する単語を数え上げるのだ。たとえば「遅い」「料金体系が複雑」「通知が多い」「学習曲線が急」といった単語が上位に出てくれば、それがユーザーの主要な不満点である可能性が高い。これらの単語を手がかりに、該当するレビューを詳しく読み込むことで、具体的な機能ギャップや改善点を特定できる。

また、「乗り換え理由（reasonsForSwitching）」の項目を分析すれば、「なぜユーザーは現在の製品から別の製品へと移行しようとしているのか」という、競合製品が抱える本質的な課題を深く理解できる。さらに、レビュアーの企業規模や業界でフィルターをかければ、特定の中小企業や特定の業界のユーザーがどんな不満を抱えているのか、より詳細な顧客セグメントごとのニーズを把握することも可能だ。

このツールは、自社製品の継続的なモニタリングにも役立つ。例えば、毎日「新しい順」にレビューを取得し、「昨日以降にレビューされたもの」というフィルターをかける設定で実行すれば、常に最新のユーザーフィードバックを追跡できる。新しいレビューが投稿されればすぐにそれを把握し、製品の改善に迅速に活かせるようになる。

ツールの利用にかかる費用は、取得するレビューの件数に応じた従量課金制だ。1,000件のレビューにつき1.50ドルかかる。ただし、フィルターで除外されたレビューや重複したレビュー、見つからなかった製品に対しては課金されない。Apifyの無料プランでは月5ドルのクレジットが提供されるため、約3,300件のレビューを無料で取得できる計算になる。これは、ちょっとした競合調査や学習目的には十分な量だ。

ただし、利用にはいくつかの制限もある。このツールがカバーするのはSoftware Adviceのカタログに掲載されている製品に限られるため、ごく一部の大手ベンダー製品（Salesforce Sales Cloud、HubSpot CRMなど）はレビューが見つからない場合がある。また、レビューにはレビュアーの所属業界や企業規模は含まれるが、具体的な役職名までは提供されない。これは元の情報源であるCapterra自体が職位を公開していないためだ。

このように、「Capterra Reviews Scraper」は、システムエンジニアを目指す人にとって、データ収集の課題を解決する実践的なアプローチ、そしてそのデータをいかにビジネスや製品開発に活かすかという具体的な応用例を示す非常に良い事例となる。複雑なスクレイピング技術がなくても、既存のツールをうまく活用することで、価値ある情報を効率的に手に入れ、分析する力を養うことができる。