【ITニュース解説】A reader asked if a word-count floor would fix my linter. I measured it, and it fixes a different bug.

システム開発では、プログラムコードの品質を自動でチェックするツール「Linter」があるように、文章の書き方をチェックするツールも存在する。このニュース記事は、そうした「文章チェッカー」にまつわる問題と、その改善の道のりについて述べている。

筆者の文章チェッカーは、文章の質を評価するために、いくつかの基準で点数をつけ、それらを合計して最終的な評価を下していた。例えば、特定の記号（emダッシュ）の出現頻度や、使用を避けるべき特定のフレーズが含まれていないか、といった点だ。これらの点数を合算し、「良い文章」か「改善が必要な文章」かを判定していた。

しかし、このチェッカーには「パディング」、つまり文章を水増しすることで、実際には問題のある記述が含まれていても、評価をごまかせてしまうという問題があった。例えば、9つのemダッシュが含まれる短い文章では「問題あり」と判定されても、意味のない言葉をたくさん追加して文章全体を長くすると、emダッシュの「密度」が薄まり、評価が「問題なし」に変わることがあったのだ。これは、emダッシュの出現回数を文章全体の単語数で割って「密度」を計算し、さらに禁止フレーズの点数と合算してしまっていたため、文章が長くなると全体のスコアが改善されてしまっていたのである。

この問題について筆者が記事を公開したところ、同じような文章チェッカーを使っている読者から、非常に役立つ提案が寄せられた。読者もパディングによる評価ごまかしの問題に気づいていなかったという。

読者からの提案は、「最低単語数のしきい値（Word Count Floor）」を設けてみてはどうか、というものだった。これは、非常に短い文章が、あたかも長いエッセイであるかのように評価されてしまうのを防ぐためのアイデアだ。例えば、ごく短い文章でemダッシュが数回現れるだけで、その出現密度が異常に高く評価されてしまう可能性がある。そこで、分母（文章の総単語数）が特定のしきい値を下回る場合は、そのしきい値を分母として使うことで、短い文章の評価が不当に厳しくなったり、異常に高く見積もられたりするのを防ぐという考え方である。

筆者はこの提案を受けて、実際にその効果を測定してみた。その結果、Word Count Floorは、確かに一つの問題を修正することが分かった。非常に短い文章で特定の要素の出現密度を算出しても、それが実情にそぐわない場合がある。Word Count Floorを導入すると、分母が最低値を下回る場合に、その最低値で計算されるため、より現実的な数値に近づく。これは、「存在しないはずの文書の特性を不正確に推定してしまう」という、明確なバグを修正する効果があると言える。

しかし、このWord Count Floorは、筆者が当初抱えていた「パディングによって評価をごまかせてしまう」という問題の解決にはならなかった。Word Count Floorは「短い文章」に対して効果を発揮するが、パディングは「長い文章」に意味のない言葉を追加することで行われる。つまり、Word Count Floorとパディングによる攻撃は、文章の長さという同じ軸の「異なる端っこ」で作用するため、互いに影響し合うことがないのだ。Word Count Floorは、自分が設定したしきい値以上の長さの文章には適用されないため、パディングによって長くなった文章の問題を解決することはできない。

さらに、筆者自身の過去の投稿データ（106件）を調べたところ、ほとんどの投稿が500単語以上だった。そのため、Word Count Floorを100単語や250単語に設定しても、筆者の公開してきたどの文章にも適用されないことが判明した。500単語のFloorを設定した場合でも、わずか12件の短い議論用の投稿にしか適用されず、それらの文章は元々短く作られているため、かえって評価が不正確になる可能性があった。つまり、Word Count Floorは、筆者自身の環境には存在しない問題を修正する、有効ではあるが適用できない解決策だったのだ。

この経験から筆者は重要な教訓を得た。提案された解決策がたとえ技術的に正しかったとしても、それが自分の「実際のデータ」や「具体的な状況」に当てはまるとは限らないということだ。安易に実装するのではなく、自分のデータで試して効果を検証することが何よりも重要だと気づかされた。

最終的に筆者がたどり着いた本当の解決策は、読者が提案したアイデアのもう一つの側面、「判定基準を分離する」というものだった。これまでのチェッカーは、すべての問題（禁止フレーズ、emダッシュの密度など）を一つのスコアにまとめて評価していたため、パディングによるごまかしが可能になっていた。そこで、異なる種類の問題を別々に判断するように変更したのだ。

具体的な修正内容は以下の通りである。まず、特定の禁止フレーズや、メタデータ（文章の付帯情報）に関する問題は、文章の長さに依らず、検出された時点で「即座に不合格」と判定するようにした。これらは、たとえ文章が短くても長くても、使ってはいけないものは使ってはいけない、という明確なルールである。一方で、emダッシュのように、文章の長さに対して適切な出現頻度が変動する項目については、これまで通り「1000単語あたりの出現数」という比率で評価し、この比率が特定のしきい値を超えた場合にのみ「不合格」と判定するようにした。

この修正を行う際、一つ注意が必要な点があった。当初は、既存の「合計スコア」を使ってemダッシュの密度のしきい値を判定しようと考えたが、その合計スコアには禁止フレーズの判定結果も含まれていた。もしそのまま使っていれば、せっかく分離したはずの判定が、再び混合されてしまい、以前のバグを再発させるところだった。そのため、emダッシュの密度は、その問題から直接比率を計算するように変更し、他の要素が混ざらないようにした。

この「判定基準の分離」を導入した結果、パディングによる評価のごまかしは完全に不可能になった。例えば、emダッシュが9つ含まれ、さらに2つの禁止フレーズが使われている文章では、文章をいくら長くしてemダッシュの密度が「問題ない」レベルにまで下がったとしても、禁止フレーズが検出される限り、常に「要レビュー/修正」と判定されるようになった。emダッシュの密度は、文章が十分に長くなれば正しく「問題なし」と評価されるが、禁止フレーズは文章の長さに影響されずに常に引っかかるため、適切な判定が可能になったのだ。

この新しい判定基準は、以前のチェッカーよりも大幅に厳格なものとなった。筆者の過去106件の投稿をチェックした結果、以前の基準ではほとんど合格していたものが、新しい基準では約37%が「要レビュー/修正」と判定されるようになった。筆者は過去の投稿をすべて修正するつもりはないが、これからの文章は、より高い基準を満たす必要があることを示している。

この一連の経験を通じて、筆者は二つの重要な学びを得た。一つ目は、どんなに素晴らしい提案であっても、それが自分の実際のデータや状況に合致するかどうかは、実際に試して検証してみなければ分からないということだ。実践的なテストが不可欠である。二つ目は、自分自身の問題について、外部からの視点、特に同じような問題を抱えている人からのフィードバックは、自分一人では決して気づくことのできない貴重な洞察をもたらしてくれるということだ。客観的なレビューは、システムの改善において極めて重要な役割を果たす。

もしあなたが何らかのスコアに基づいて評価を行うシステムを開発しているなら、今一度、異なる種類の問題を一つの数値にまとめてしまっていないか、見直してみる価値があるだろう。多くのシステムで、複数の要素を安易に合算してしまっているために、予期せぬ欠陥が生まれている可能性があるのだ。