授業科目名 : 情報符号理論続論

科目コード 91390
配当学年 3年
開講年度・開講期 平成30年度・後期
曜時限 火曜・3時限
講義室 工学部総合校舎総合102
単位数 2
履修者制限
授業形態 講義
使用言語 日本語
担当教員    所属・職名・氏名 情報学研究科・教授・田中利幸

授業の概要・目的

情報の蓄積および伝達に関わる基礎理論である情報理論について講義する.「情報符号理論」の内容を踏まえ,本講義では連続値確率変数のエントロピー,ガウス通信路,ユニバーサル符号化などの事項を取り上げる.また,レート歪み理論やネットワーク情報理論などのより進んだ話題についても紹介する.

成績評価の方法・観点及び達成度

学期中に適宜指示するレポートおよび期末試験の両方の成績にもとづいて評価する.

到達目標

講義で扱う情報理論の諸概念について,講義中に紹介する例題やレポート課題として設定する問題等に対して適切に解答できる程度の理解を達成することを目指す.

授業計画と内容

項目 回数 内容説明
導入 1 情報エントロピー,相互情報量,情報源符号化,通信路符号化などの基礎概念を確認する.
連続値確率変数に対する情報理論 4 無線通信や計測などの場面を想定すると,連続値をとる確率変数に対する理論が必要である.連続値確率変数に対する微分エントロピーを導入し,具体的な例としてガウス通信路を取り上げ,その情報伝送能力について議論する.
ユニバーサル符号化 4 情報源符号化定理は,確率分布が既知であることを前提としているが,実際の状況では確率分布は未知であることが多い.そのような状況で効率のよいデータ圧縮を実現するための方法について講述する.
レート歪み理論 3 情報の劣化をある程度許容すると,劣化を許容しない場合と比較してより効率的にデータ圧縮が可能である.劣化を許容した場合の情報圧縮に関する理論であるレート歪み理論について講述する.
ネットワーク情報理論 2 情報通信技術の発展と普及により,一対一の情報のやりとりを超えて,ネットワークを介した多対多の情報のやりとりを議論する必要性が高まっている.そのような状況を議論するネットワーク情報理論の基礎について講述する.
学習到達度の確認 1 これまでの講義の内容についての学習到達度の確認,講義に関わる疑問点の解決,さらなる学習への助言などを行う.

教科書

T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley-Interscience, 2006.
(T. M. Cover and J. A. Thomas 著, 山本博資他 訳, 情報理論: 基礎と広がり, 共立出版, 2012. )

参考書等

講義の中で適宜紹介する.

履修要件

基礎的な確率論の知識,および科目「情報符号理論」の内容に関する知識を前提とする.統計学やマルコフ連鎖の知識があれば望ましい.

授業外学習(予習・復習)等

授業URL

その他(オフィスアワー等)