シャノンのエントロピー (シャノンのエントロピー) とは | 意味や読み方など丁寧でわかりやすい用語解説

シャノンのエントロピー (シャノンのエントロピー) の読み方

日本語表記

シャノンのエントロピー (シャノンのエントロピー)

英語表記

Shannon's entropy (シャノンエントロピー)

シャノンのエントロピー (シャノンのエントロピー) の意味や用語解説

シャノンのエントロピーは、情報理論の基礎を築いたクロード・シャノンが提唱した概念であり、情報の「不確かさ」や「ランダム性」を定量的に表現する尺度である。これは、ある事象が起こるかどうかの予測のしにくさ、あるいはその事象が持っている驚きや情報量を数値で表したものと理解できる。IT分野において、データ圧縮、通信、暗号化、機械学習など、情報の効率的な処理や伝達に関わるあらゆる場面でその重要性が認識されている。 概要として、シャノンのエントロピーは情報源がどれだけの情報を含んでいるか、またはどれほど予測不可能であるかを客観的に評価する指標である。その単位はビット（bit）であり、1ビットは2通りの事象（例えば「はい」か「いいえ」）のどちらが起こるかという情報量に対応する。例えば、公平なコインを投げて裏か表かを知ることは1ビットの情報である。これは、情報が少ないほどエントロピーも少なく、情報が多いほどエントロピーも多くなるという直感に沿っている。より正確には、滅多に起こらない珍しい事象が発生した時には、それを知ったときの情報量は多く、逆に必ず起こるような当たり前の事象の情報量はゼロである。シャノンのエントロピーは、このような個々の事象が持つ情報量の平均値を計算することで、情報源全体の平均的な不確かさを表す。 詳細として、シャノンのエントロピーを理解するためには、まず「情報量」の概念から始めるのが良い。私たちが何かを知るとき、それが予測できなかったものであればあるほど、得られた情報の価値は高いと感じる。例えば、今日が晴れる確率が非常に高い日に「今日は晴れる」と聞いてもさほど驚かないが、今日が晴れる確率がほとんどない日に「今日は晴れた」と聞くと、多くの情報を得たと感じる。この「驚き」の度合いこそが情報量であり、発生確率が低い事象ほど情報量は多く、発生確率が高い事象ほど情報量は少ないという関係がある。シャノンは、この情報量を確率の逆数の対数（通常は底を2とする）で定義した。具体的には、ある事象が起こる確率をPとした場合、その事象の情報量IはI = -log₂(P)で表される。この定義により、確率が1（必ず起こる）の事象の情報量は0となり、確率が低いほど情報量が大きくなる。 シャノンのエントロピーは、情報源から発生するすべての可能な事象について、それぞれの事象の情報量を確率で重み付けして平均した値として定義される。つまり、H = Σ P(x) * (-log₂(P(x))) という形で計算される。ここで、P(x) は特定の事象 x が発生する確率である。この平均情報量は、情報源が生成するメッセージを表現するために平均して何ビット必要か、という理論的な最小値を示すものと解釈できる。エントロピーが高いということは、その情報源から発生する事象が予測しにくく、多様なメッセージを生成する可能性が高いことを意味する。逆にエントロピーが低いということは、その情報源から発生する事象が予測しやすく、限られたメッセージしか生成しないことを意味する。例えば、常に「A」しか出力しない情報源のエントロピーはゼロである。一方、同じ確率で「A」と「B」を出力する情報源のエントロピーは1ビットとなる。 このシャノンのエントロピーは、情報技術の多くの分野で重要な役割を果たす。まず、データ圧縮において、エントロピーは理論的な圧縮限界を示す。データ圧縮アルゴリズム（例：ハフマン符号、LZ77/LZ78など）は、出現頻度の高いデータを短い符号で、出現頻度の低いデータを長い符号で表すことで、平均符号長をエントロピーに近づけようと試みる。エントロピーが低いデータほど、より高い圧縮率が期待できるのである。次に、通信理論では、ノイズのある通信路（チャネル）を介してどれだけの情報を確実に送ることができるかという「チャネル容量」の限界をシャノンの定理が示しているが、その基礎概念としてエントロピーが用いられる。 さらに、暗号技術では、暗号鍵や乱数の「ランダム性」を評価する指標としてエントロピーが使われる。エントロピーが高い乱数ほど予測が困難であり、安全な暗号化に適しているとされる。機械学習や人工知能の分野でも、シャノンのエントロピーの概念は広く応用されている。例えば、決定木アルゴリズムでは、データを分類する際の最適な条件（属性）を見つけるために「情報利得（Information Gain）」という指標を用いるが、これはエントロピーの変化量に基づいている。また、分類問題におけるモデルの性能を評価する「交差エントロピー誤差（Cross-Entropy Loss）」も、シャノンのエントロピーから派生した概念であり、モデルの予測と実際のデータとの間の「ずれ」を数値化するのに利用される。 このように、シャノンのエントロピーは単なる数学的な概念に留まらず、情報がどのように存在し、どのように処理され、どのように利用されるかを理解するための基本的な枠組みを提供している。システムエンジニアを目指す上で、データの効率的な取り扱い、システムの信頼性、そして最新のAI技術の原理を深く理解するために不可欠な概念である。