1. Channel Capacity

2. Outline Shannon Capacity Capacity of Flat-Fading Channels
Fading Statistics Known
Fading Known at RX
Fading Known at TX and RX
Capacity of Freq.-Selective Fading Channels

3. Outline Shannon Capacity Capacity of Flat-Fading Channels
Fading Statistics Known
Fading Known at RX
Fading Known at TX and RX
Capacity of Freq.-Selective Fading Channels

4. Shannon’s coding theorem and its converse
In AWGN, Shannon’s formula:
Where γ is the received signal to noise ratio given by
Shannon’s coding theorem and its converse
If the information transmission rate R<C, then codes exist that guarantees arbitrarily small probability of error.
Conversely if R>C, then has a non-vanishing probability of error.
离散时间加性高斯白噪声信道。AWGN
AWGN信道的容量由著名的香农公式给出。
香农编码定理，也称为有扰离散信道编码定理
编码定理：一定存在这样一种编码方案，其数据传输速率接近信道容量而误码率可以忽略；
逆定理：对于任何编码方案，若传输速率大于信道容量，则误码率必不可能接近与零。

5. AWGN Channel Capacity Also known as ergodic capacity.
Defined as the maximum MI of channel
Maximum error-free data rate a channel can support.
Theoretical limit (not achievable)
Channel characteristic
Not dependent on design techniques
这两个定理的证明用得到了信道输入和输出之间的互信息量。
香农证明，信道容量等于遍历所有可能的输入分布后得到的最大互信息量。
信道编码定理及其逆定理的理论证明并没有考虑通信系统的复杂性及时延问题。
考虑到实际通信系统中存在的一些限制，香农容量可以作为数据速率的上界。
Turbo码在AWGN信道中能达到和香农极限仅差零点几个分贝的性能。
香农将信道容量定义为互信息量在不同的信道输入分布下的最大值。

6. Outline Shannon Capacity Capacity of Flat-Fading Channels
Fading Statistics Known
Fading Known at RX
Fading Known at TX and RX
Capacity of Freq.-Selective Fading Channels

7. Capacity of Flat-Fading Channels
Capacity defines theoretical rate limit
Maximum error free rate a channel can support
Depends on what is known about channel
Channel distribution information
Fading Statistics Known on the transmitter and receiver.
Hard to find capacity
Receiver CSI
Both transmitter and receiver know the distribution of g[i], the value of g[i] is known to the receiver at time i.
Transmitter and receiver CSI
Both transmitter and receiver know the distribution of g[i] and the value of g[i] at time i.
信道容量取决于发送端和接收端对信道功率增益的了解情况。
首先考虑信道分布信息（CDI）已知的情况，信噪比的分布对收发两端都已知的情形。
若信道增益为独立同分布，则信道容量等于遍历所有可能的输入分布后得到的最大互信息量，
但因为衰落分布的复杂性，很难求解使互信息量达到最大的输入分布，
此外，相关衰落会引入信道记忆，此时需要按照序列而不是按照符号来求解最佳的输入分布，使得求解更加困难。
因此除了个别特殊信道外，信道分布信息已知的情况下找出能使衰落信道容量最大的输入分布问题仍然是一个尚未解决的问题。
已知CDI的时候，有两种情况可以求解：一是独立同分布的瑞利衰落信道，二是有限状态马尔可夫信道。
独立同分布的瑞利衰落信道中，功率增益服从指数分布，并且对于不同的信道，信道增益是独立变化的，最优的信道输入是一个有限取值的离散随机变量，无闭式解，只能用数值方法求得。
衰落的马尔可夫性表明当前的衰落只取决于前一时刻的衰落，FSMC模型是对相关瑞利衰落模型的一种马尔可夫近似。FSMC的容量取决于信道在过去所有输入输出条件下的极限分布，可用迭代的方法求出。
然后考虑接收端已知CSI的情况，指的是接收端已知在时刻i信道增益的值，并且收发都知道信道增益的分布。
此时有两种信道容量的定义：香农容量和中断容量。

8. Outline Shannon Capacity Capacity of Flat-Fading Channels
Fading Statistics Known
Fading Known at RX
Fading Known at TX and RX
Capacity of Freq.-Selective Fading Channels

9. CSI at Receiver Only
Fading Known at Receiver Only: Assumes that the receiver knows the channel gain, also known as channel state information (CSI), and both transmitter and receiver know the distribution of the fading.
Shannon (Ergodic) Capacity
Capacity with Outage

10. Shannon (Ergodic) Capacity
How does this capacity compare to the AWGN capacity ? Use Jensen’s inequality for a concave function f(.) :
Thus ergodic capacity of fading channel cannot be better than AWGN channel capacity with same average SNR.
统计平均
因为发送端不知道瞬时的信噪比，因此信道的传输速率只能是恒定的，与瞬时的信噪比无关。
达到此容量的编码必须足够长，使得接收到的码字能遍历衰落信道的所有状态，这会导致显著的译码时延。
由此可知，对于相同的平均信噪比，接收端已知CSI时的香农容量要比AWGN信道容量小。

11. Some technicalities
The ergodic capacity makes sense only for fast flat fading channel where codeword length (each block) spans many coherence time (Tc).
In the case of slow flat fading channel, there is a non-zero probability that the entire codeword is in a deep fade. Coding cannot average out the channel fade which affects all coded symbols.
Strictly speaking then, the ergodic capacity of a slow (quasi-static) flat fading channel is zero! In other words, it is practically impossible to get error-free transmission no matter what the transmission rate.
More useful to speak of outage capacity.
香农容量只对快衰落信道有意义，每个编码块的码字足够长，可以扩展到很多个相干时间
在慢衰落的情况下，整个码字在深衰落的概率有可能非零。编码不能平均掉信道衰落对整个码字的影响。
也就是说，在慢衰落的情况下，香农信道容量为0，也就是说，不可能存在无错的传输。
因此，在慢衰落的情况下，不再用香农容量，而应该用中断容量。
在慢衰落情况下，如果发送端已知此信道突发时间内的信噪比，则能以速率Blog2(1+r)传输数据，可以做到误码率任意小。

12. Outage Capacity More relevant for slow-fading channels.
Defined as the maximum rate of transmission with a specified probability of error (outage probability).
Allows coded data to be decoded correctly unless the channel is in a deep fade.
If ε is the outage probability,
then the outage capacity is
The average transmission rate
without any errors is:
中断容量，定义为在某个特定的差错概率下最大数据传输速率
除了信道在深衰落的情况以外，编码后的数据可以无差错解码。
在发送端确定一个最小接受信噪比γmin，按这个信噪比确定一个速率C=Blog2（1+γmin），在所有的突发中以这个速率传输。
如果接收时的顺势信噪比大于或等于γmin，则能正确译码。
出现中断的概率为Pout=P(γ<γmin)
在所有突发中，正确传输的概率为1-Pout
所以平均正确接收的数据速率为Cout=（1-Pout）Blog2（1+γmin）
F(x)=P(x<γ) is the cumulative distribution function (CDF) of γ
中断容量允许在某个突发时刻以一定的概率出错，发送端确定一个最小接收信噪比，按照这个信噪比确定一个速率，然后在所有的突发中以这个速率传输。如果接受的瞬时信噪比大于或等于最小接收信噪比，则能正确译码。若瞬时接收信噪比小于最小接收信噪比，则就不能以接近1 的概率正确译码，此时接收机指示出现了一次中断。

13. Fade Margin and Outage Consider the Rayleigh fading channel
With outage prob of ε
Compare this to the AWGN channel capacity
we require a fade margin of in Rayleigh fading channel to achieve the same rate as AWGN.
Example: let ε =0.01, then we require a fade margin of 20 dB!

14. Outline Shannon Capacity Capacity of Flat-Fading Channels
Fading Statistics Known
Fading Known at RX
Fading Known at TX and RX
Optimal Rate and Power Adaptation
Channel Inversion with Fixed Rate
Capacity of Freq.-Selective Fading Channels

15. Fading Known at Transmitter and Receiver
For fixed transmit power, same as with only receiver knowledge of fading
Transmit power S(g) can also be adapted
Leads to optimization problem
当收发两端都知道CSI时，发送端就不会以接收端会译错的过高的速率发送数据，可根据CSI实时调整发送策略，不存在中断概率。
首先推导根据CSI进行最佳功率控制及速率自适应时的香农容量。(4-7)
如果不进行功率控制的话，让发送端已知CSI并不能增加信道容量；
如果允许瞬时的发送功率随信噪比变化而变化，并且受限于平均功率，则信道容量还是平均容量（4-7），但发送功率沿时间进行了最佳的分配。
给出的功率分配是能使容量最大化的最优功率分配，某些情况下，需要考虑比容量更重要的因素而采用次佳的功控方案，传输速率可以恒定。而该公式对应的是变速传输。
实现该容量可以通过多输入多输出的时间分集系统实现。
将衰落值量化为有限集合，针对每个信噪比设计一组AWGN信道下的编译码器。

16. Optimal Adaptive Scheme
Power Adaptation
Capacity
Waterfilling 1 g g0
找到最佳的功率分配方式可通过构造拉格朗日条件式，求导并令导数为零得到使信道容量最大的最佳功率分配方案。
其中r0为中断门限。当瞬时信噪比低于r0时不进行数据传输，仅当瞬时信噪比高于中断门限时才使用信道。
根据最佳功率分配方案，可得到信道容量公式。
该式表明，信道容量可以通过时变的传输速率来达到，瞬时信噪比对应的速率为Blog2（r/r0）.由于r0是固定的，所以瞬时信噪比增加时，对应的传输速率也要增加。
也可以通过实时调整发送功率但固定传输速率来实现。
对于瑞利衰落信道，容量有可能超过相同平均发送功率的AWGN信道，而只有接收端已知CSI的情况下，信道容量会因为衰落而不如AWGN。
最佳功率分配与衰落分布的关系仅体现在中断门限上。中断门限可根据功率限制条件求得。
由于信噪比是时变的，因此最优功率分配方法是时域的注水法功控。
曲线1/r表示一个碗的底部，将功率不断注入这个碗，直到达到1/r0处，那么对于给定的信噪比所分配的功率就是此处的水深。
直观理解就是尽量充分利用好的信道条件，信道好的时候，多分配功率，用高速率传输，信道差的时候，减小功率分配，并用低速率传输。如果瞬时信噪比低于中断门限，则不进行传输。
这个容量不能超过前页容量，因为这里的功率分配是使容量最大化的最优功率分配
第九章将介绍根据这一原则的自适应调制编码技术。

17. Channel Inversion Fading inverted to maintain constant SNR
Simplifies design (fixed rate)
Greatly reduces capacity
Capacity is zero in Rayleigh fading
Truncated inversion
Invert channel above cutoff fade depth
Constant SNR (fixed rate) above cutoff
Cutoff greatly increases capacity
Close to optimal
信道反转，一种次佳的功率分配方式，依靠发送端已知CSI使接收端保持恒定接收功率，即将信道衰落进行反转。
这样对于编码器来说，信道呈现为时不变的AWGN信道。
这种功率分配叫信道反转。
信道反转后衰落信道的容量就是信噪比为某个值时的AWGN信道的容量。
达到该容量的传输方式使用针对信噪比为某个特定值的AWGN设计的固定速率的编码器实现的。
优点是可以不用考虑信道的状态而以固定速率进行传输。
由于在所有信道状态下传输速率不变，因此传输过程不会发生中断。
因此又叫零中断容量。
在衰落严重的环境下，零中断容量相对于香农容量有大幅度的速度下降。比如在瑞丽信道下，容量为0.
扩频通信经常使用信道反转以克服远近干扰不平衡。
衰落信道的零中断容量显著低于香农容量的原因在于它要在所有衰落状态下维持恒定的传输速率。
如果在特别差的信道状态下停止发送数据，就可以提高非中断状态下的传输速率，从而显著提高信道容量。
中断容量定义为非中断的概率和非中断状态下可维持的最大传输速率的乘积。可通过截断式信道反转的功率控制方案来实现中断容量。它旨在信道条件好于中断门限时才补偿衰落。
中断容量仍然会比香农容量小，因为截断式信道反转仍然是一种次佳的传输方案，但是采用信道反转或截断式信道反转的系统实现起来要比采用注水法的系统简单。

18. Capacity in Flat-Fading
Rayleigh
Log-Normal
AWGN信道容量比任何情况下衰落信道容量都大。
信噪比较低时，AWGN信道的容量与收发两都已知CSI的容量非常接近。
实际上，对于更低的信噪比（小于0db），收发两端已知CSI的信道容量还要更大一些，因为AWGN信道中的信噪比始终是一个低值，它限制了信道容量。
对于同样低的平均信噪比的衰落信道，衰落分布的无限性会导致瞬时的高信噪比。因此，若将功率主要集中在这些偶尔出现的高信噪比上，并用高速传输，就能产生出比相同低平均信噪比的AWGN信道更高的容量。
衰落程度减小时(从m=1到m=2，m=1是瑞利衰落，m=无穷是无衰落的AWGN信道），图中各种容量曲线之间的差别减小。
在各种情况下，收发端都已知CSI时的信道容量与只有接收端已知CSI的信道容量差别很小。
收发端已知CSI但无功率控制的容量与接收端已知CSI的容量相同。这说明，只要自适应根据信道调制传输速率，那么进一步调整功率对容量的提高几乎可以忽略不计。也说明，相对于接收端已知CSI的信道容量来所，发送端获得CSI基本不增加信道容量。
在严重衰落的情况下（瑞利衰落或对数正态衰落），最大中断容量比香农容量有1～5dB的损失，而零中断容量相对于香农容量损失巨大。
但在衰落不太严重时，中断容量、零中断容量与香农容量相差3dB以内，与AWGN信道相差4dB以内。这个差别将随着衰落趋向于消失而进一步减小。
这些结果可以看作是容量和复杂性的折衷。
香农容量分析并不能告诉我们，该怎样为实际系统设计自适应或非自适应技术。更复杂的编码结合自适应发送可以进一步缩小与香农容量的差距。
如，自适应网格编码MQAM调制
接收分集是很好的抗衰落技术，可降低衰落引起的信道起伏，使信道接近于AWGN。天线数量越多，信道越接近AWGN，如MIMO

19. Outline Shannon Capacity Capacity of Flat-Fading Channels
Fading Statistics Known
Fading Known at RX
Fading Known at TX and RX
Capacity of Freq.-Selective Fading Channels

20. Frequency Selective Fading Channels
For time-invariant channels, capacity achieved by water-filling in frequency
Capacity of time-varying channel unknown
Approximate by dividing into subbands
Each subband has width Bc (like MCM).
Independent fading in each subband
Capacity is the sum of subband capacities
首先考虑时不变频率选择性衰落信道，其容量分析与平坦衰落信道类似，只是把时间轴换成了频率轴。
1/|H(f)|2 Bc P f

21. Capacity: frequency selective channels
Split freq selective channel into Nc parallel channels, each with constant channel gain. Each “flat” channel behaves like AWGN channel with gain Hi.
Channel capacity (assuming TX & RX knows Hi)
假设H(f)是分块衰落的，因此整个频带可以分割为带宽为Bc的许多子信道，每个子信道中H（f）是恒定的，频率选择性信道变成了一组并行的AWGN信道。
信道容量是经过了最佳功率分配后，所有子信道的速率之和。

22. The Water-Filling Solution
Solution: Optimal power allocation
Where is the
SNR of jth channel with power P
and γ0 is the Lagrange multiplier
chosen such that
With above optimal power allocation, capacity becomes:
Allocate more tx power to the better channel!!
容量及最佳功率分配和平坦衰落信道类似，只不过功率和速率分配是沿频域以确定的方式进行的，而平坦衰落信道中是在时域以概率的方式进行的。
同样可以通过拉格朗日法得到最佳的功率分配。
r0为中断门限，根据功率受限约束，可以得到中断门限必须满足的条件。r是假设将所有功率都分配给这个子信道时，该子信道的信噪比。
在不同子信道上分配不同功率并以不同速率传输来获得信道容量。

23. Continuous Freq.-Selective Fading Channels
If H(f) is continuous (or cannot be split into parallel channels), a similar water filling solution can be derived.
The channel capacity is given by:
The power allocation over frequency, via the Lagrangian technique, the resulting optimal allocation is water-filling over frequency:
This results in channel capacity:
如果是连续，功率受限于P的信道容量问题与分块衰落时的情形类似，通过一些复杂的数学推导，可以证明，信道容量为：
证明方法一利用Karhunen-Loeve展开，把信道的h(t)等价为一组独立的并行信道，另一种证明方法是利用离散傅立叶变换进行信道并行分解，如多载波调制。
通过拉格朗日法求得使得容量最大的频域最佳功率分配方案，结果是频域的注水法功率控制。
此时信道容量为。

24. Time-varying Frequency-Selective fading channel
When frequency selective channel is time-varying and fading, then split the channel into Nc sub-channels each with coherence bandwidth Bc.
The channel within each sub-channel is approximately flat and they are independent.
Capacity is approximately the sum of all the capacities of these subchannels subject to total transmit power constraint.
The optimal two-dimensional water-filling and the corresponding Shannon capacity:
时变频率选择性衰落信道
由于码间串扰的影响，即使收发端完全已知信道的瞬时信道相应，容量分析也是非常困难的。收发端都已知CSI时，最佳自适应方案需要考虑：a信道对已发送符号序列的影响，b这些符号序列的ISI对后续传输的影响。
一般来说，时变频率选择性信道的容量是未知的，但存在上下界和极限公式。
时变频率选择性衰落信道既随频率变化，也随时间变化。
如果确定了每个子信道的平均功率，则子信道上沿时间的最佳功控满足注水法功率控制。
设想把总平均功率分配给各个子信道时，也服从注水法功控，即好的子信道分得更大的平均功率。
则是一个时频二维注水法功率控制。

25. Main Points
Fundamental capacity of flat-fading channels depends on what is known at TX and RX.
Capacity when only RX knows fading same as when TX and RX know fading but power fixed.
Capacity with TX/RX knowledge: variable-rate variable-power transmission (water filling) optimal
Almost same capacity as with RX knowledge only
Channel inversion practical, but should truncate
Capacity of wideband channel obtained by breaking up channel into subbands
Similar to multicarrier modulation