資訊理論 授課老師 : 陳建源 研究室 : 法 401 網站

統一發票 請問中特獎和六獎 ，哪一個資訊比較多 ?

教科書 Elementary Information Theory by D. S. Jones

楔子 資訊理論是運用機率論與數理統計的方法 研究資訊、資訊熵、通訊系統、資訊傳輸、 密碼學、資料壓縮等問題的應用數學學科。 因此，修習資訊理論可以對資訊分析奠立 紮實的基礎。

內容 1. Elements of probability ( 基本機率 ) probability, conditional probability,independence, the law of large numbers 2. Basic concepts ( 資訊理論基本概念 ) self-information,mutual information, uniqueness theorem 3. Coding theory ( 編碼理論 ) memoryless sources, fixed-length codes, variable-length codes, optimal coding, sources with memory 4. Channel ( 通道 ) capacity of a memoryless channel, convexity, uniqueness, transmission properties, channel in cascade 5. Error correction( 糾錯 ) block codes, error correcting codes, Hamming codes

進度 1 週 Introduction 2 週 Elements of probability ， 3 週 Basic concepts 4 週 Basic concepts 5 週 Basic concepts 6 週 Basic concepts 7 週 Coding theory 8 週 Coding theory 9 週 期中考 10 週 Coding theory 11 週 Coding theory 12 週 Channel 13 週 Channel 14 週 Channel 15 週 Error correction 16 週 Error correction 週 期末考 ( 口試 )

成績評量 期中考 35% 期末考 40% ( 其中口試 5%) 平時 ( 含作業, 小考 ) 25%

資訊與熵（ Information and entropy ） 何謂資訊 ? 資訊是消息（ knowledge ）量的一種測量；它並不是指消息 本身。因此資訊比較像是能量（ energy ）的概念，

資訊與熵（ Information and entropy ） Shannon 熵 設想我們有兩枚十元硬幣，一枚硬幣表面光滑，材料均勻， 而另一枚硬幣則表面粗糙，奇形怪狀。我們把硬幣上有人 頭的那面叫正面，另一面稱反面。 然後在一個光滑的桌面上旋轉硬幣，等它停下來後，看是正 面或是反面。這是一個不確定性的問題：可能是正面，可 能是反面。 第一枚硬幣，由於正面和反面的對稱性，正面或反面朝上的 機率各為一半。但對第二枚硬幣來說，由於材料磨損，正 面和反面不再對稱。可能正面朝上的機率為 70% ，反面 朝上的機率為 30% 。 對「究竟會是正面？或會是反面？」這一不確定性問題來說， 第一枚硬幣「不確定」的程度顯然比第二枚硬幣要大了許 多。