情報理論　　　　　【ジョウホウリロン】 information theory 　情報を自然科学の一つとして捉え，その性質を明らかにした情報理論は，1948年のシャノンの論文に始まる。 　通信系は一般に図のように抽象化して表すことができる。情報理論では，このような通信系を流れる情報の数量的測定，通信路容量（channel capacity）の測定，メッセージを送信信号に変える符号化（coding）と受信信号をメッセージに変える際の再符号化（decoding）の効率的な方法，雑音の特性とその影響の検出などが主要な問題として取り上げられる。情報には文字や記号のように離散的なものと，話し言葉やさまざまの音声のように連続的なものとがあり，それぞれの場合に応じて上記の観点から検討される。 図表 　情報量は，どちらか二つの可能な場合があり，どちらの場合であるかが知らされた時に得る情報を単位として用いる。たとえば，コインを投げてその裏表をあてるゲームで，その結果を知ったことにより得られる情報量は1ビット（bit, binary digitの略）であるといわれ，log_２2＝1 ビットと計算される。n 面体のサイコロでは，それをふることにより，log_２n ビットの情報が得られる。この場合，サイコロをふる前には，どの目が出るかの確率 p は，1/n である。そこで， 数式 と書くことができる。 　通報の集合 {a_１, a_２, …, a_ｎ} があり，その出現確率 p(a_ｉ) (i＝1, 2, …, n) が与えられているものとする。また，{a_ｉ} が排反な確率事象であるとき，通報 a_ｉ が生じた時の情報量は，−log_２p(a_ｉ) で与えられる。これをすべての事象 a_ｉ(i＝1, 2, …, n) について平均すればその期待値が得られ， 数式 を平均情報量（amount of average information）という。 　また，通報の符号列を発生する源を確率過程として捉えたとき，これを情報源（information source）というが，情報理論では，エルゴード的マルコフ過程（ergodic Markov process）であると仮定する。情報源には，状態 s_１,s_２, …, s_ｌ があって，符号 a_ｋ (k＝1, 2, …, m) を発生するごとに状態を変えるが，各状態で各符号を発生する確率 |p_ｉ(k)| (i＝1, 2, …, m) は定常（時間的に不変）であるとする。情報源の状態が s_ｉ であるとき，符号あたりの情報量は上式から（雑音はないとして)， 数式 である。いま，情報源がある状態 s_ｉ０（初期状態という）から出発して，時間の経過につれて次々に状態を変化しながら符号を発生していったとする。もし十分時間が経過したとき，情報源が状態 s_ｉ をとる確率 P_ｉ (i＝1, 2, …, l) が，初期状態と無関係に決まると仮定したならば，この P_ｉ で H_ｉ を平均して， 数式 と情報源における通報の情報量を定義できる。この仮定を満たす確率過程をエルゴード的マルコフ過程という。 　情報伝達の物理的手段である通信路は，一般にそこで用いうる符号の種類を決めると同時に，符号系列について種々の制約を加える。たとえば，モールス信号の通信路にはトン，ツー，字間スペース，語間スペースの四つの符号があるが，スペースのあとにスペースが続くことはないという制約が存在する。そこで，こうした制約のもとで通信路が単位時間に伝達できる情報量の最大値をもって通信路の容量 C を定義すると，ある情報源を通信路に接続したとき，情報伝送速度 R は，もちろん C を越えることはないが，情報源と通信路の接続の仕方，つまり符号化の方式によって変化する。さて雑音のない場合，どのような情報源と通信路の組合せに対しても，R を C にいくらでも近づけるような符号化の方法が存在する，というのが情報理論の基本定理である。 ◆植野真臣