科目名 : 情報と通信の数理

科目コード 91200
配当学年 3年
開講期 後期
曜時限 水曜・1時限
講義室 総合研究8号館講義室3(旧共同5)
単位数 2
履修者制限
講義形態 講義
言語
担当教員 田中利幸・大久保潤

講義概要

「情報」(=不確実性の減少) と「通信」(=複数の不確実性のあいだの連関) とを定量的に把握し議論するための強固な数理的枠組みを与えているいわゆる「シャノン理論」について,その基礎を講義する.また,レート歪理論やネットワーク情報理論などのより進んだ話題についても紹介する.

評価方法

学期中に適宜指示するレポートおよび期末試験の両方の成績にもとづいて評価する.

最終目標

講義中に紹介する例題やレポート課題として設定する問題等に対して適切に解答できる程度の理解を達成することを目指す.

講義計画

項目 回数 内容説明
導入/基礎的概念 5 講義全体の概要について紹介した後,エントロピー,相対エントロピー,相互情報量などの基本的な情報量尺度を導入し,漸近等分割性やマルコフ過程のエントロピーレートなどの概念について講述する.
データ圧縮 3 データ圧縮の問題は,確率変数に対して平均的になるべく短い記述を与えるにはどうしたらよいか,という問題に帰着させることができる.確率変数が与えられたとき,上記の意味での平均記述長について議論し,平均記述長と確率変数のエントロピーとの関連について解説する.
通信路容量 2 シャノン理論のもっとも目覚しい成果のひとつは,ノイズのある通信路を介して誤りなしに情報を伝送することができることを示したことである.与えられた通信路の情報伝送能力を定量的に表す指標である通信路容量を導入し,通信の理論的限界について考察する.
連続値確率変数に対する情報理論 2 無線通信や計測などの場面を想定すると,連続値をとる確率変数に対する理論が必要である.連続値確率変数に対する微分エントロピーを導入し,具体的な例としてガウス通信路を取り上げ,その情報伝送能力について議論する.
より進んだ話題 2 レート歪理論,コルモゴロフ複雑度,ネットワーク情報理論などのより進んだ話題について講義する.
学習到達度の確認 1 これまでの講義の内容について学習到達度の確認を行う.

教科書

T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley-Interscience, 2006 .

参考書

講義の中で適宜紹介する.

予備知識

基礎的な確率論の知識を前提とする.統計学やマルコフ連鎖の知識があれば望ましい.

授業URL

その他