1. Institut für Informationsverarbeitung,
Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H.264/AVC
Yuri Vatis
Institut für Informationsverarbeitung,
Universität Hannover
ITG-FA 3.2,

2. Motion Compensated Prediction Adaptive Interpolation Filter
Outline
Introduction
Motion Compensated Prediction
Adaptive Interpolation Filter
Experimental Results
Conclusion

3. Introduction Hybrid Video Encoder: Video input Bitstream + S T Quant
e(t) S T
Quant EC -
T-1 + + S
MCP
z -1
d(t)
s’(t-1) ME

4. Motion Compensated Prediction (MCP)
d(t)
Für die bewegungskompensierende Prädiktion braucht man eine Bewegungsschätzung, die hier veranschaulicht wird.
Das aktuelle Bild wird zuerst in Blöcke zerlegt. Jeder Block wird dann im Vorgängerbild gesucht. Falls man einen geeigneten Kandidatenblock findet, kann ein Displacementvektor definiert werden, der der Position des Blockes relativ zum Referenzblock im aktuellen Bild entspricht.
Bei der Prädiktion berechnet man später die Differenz zwischen jedem Referenzblock und dem korrespondierenden Block.
s‘(t-1)
s(t)
reference block
block to code

5. Motion Compensated Prediction (MCP)
MCP with fractional-pel Motion Vector Resolution i
Prediction is distorted by:
1. Aliasing in s(t) and s’(t-1)
2. Displacement estimation errors of d(t)
3. Quantisation errors in s’(t-1)
4. etc.
 The distortions depend on the motion and content of the video signal j
d(t)
Die Displacementvektoren haben in den heutigen Standards eine Auflösung von weniger als einem Bildpunkt. Das heißt, für einen Block kann der jeweilige Displacementvektor auf Punkten des Vorgängerbilds zeigen, die zwischen dem Abtastraster liegen. Diese werden als “SubPEL” bezeichnet.
Bei der Prädiktion wird wie vorher die Differenz zwischen Referenzblock und korrespondierendem Block berechnet; hier, z.B. zwischen diesem Bildpunkt [zeigen] und diesem SubPEL [zeigen] und so weiter...
Bei der Bewegungsschätzung kann ein so gennanter Displacementschätzfehler aus verschiedenen Gründen entstehen: wegen der beschränkten Genauigkeit der Displacementvektoren, wegen einer unvollkommenen Suche des Kandidatenblocks usw. Dieser Fehler bedeutet, dass anstatt der “richtigen” SubPEL andere SubPEL verwendet werden, und die Prädiktion wird schlechter. Das spielt später eine wichtige Rolle beim Entwurf der neuen Filter.
Für die genauere Auflösung der Displacementvektoren muss man zuerst eine Interpolation des Vorgängerbilds berechnen, wie...
s’(t-1)
s(t)
reference block
block to code
 image signal on sub-pel positions has to be generated by interpolation

6. 2D non-separable Adaptive Interpolation Filter
Analytical design of a non-separable adaptive 2D interpolation filter.
Goal:
Prediction (and not just interpolation) of picture elements by minimising prediction error energy.
Reduction of aliasing and blurring effects, motion estimation errors.
Properties:
Symmetric, non-separable 6x6-tap filter.
Filter coefficients are calculated analytically once per frame with respect to all reference frames.

7. Adaptive Interpolation Filter
Value ( ) to be interpolated:
where is an integer sample value ( ) and are filter coefficients for sub-pel position SP

8. Analytical Calculation of Filter Coefficients
The calculation of coefficients and the motion
compensation are performed in the following 3 steps:
Displacement vectors are estimated for every image to be coded (standard interpolation filter is used).
Independent calculation of 2D filter coefficients for each sub-pel position by minimisation of the prediction error energy:
with

9. Analytical Calculation of Filter Coefficients
Estimation of new displacement vectors (applying the adaptive interpolation filter computed in 2).
Reducing motion estimation errors, caused by aliasing, camera noise etc.
Treating the problem in the rate-distortion sense.
The software was declared as a VCEG KTA-Software

10. Quantisation and Coding of Filter Coefficients
Quantisation with 8 bits (magnitude).
Required side information for filter fps ( [VCIP05] ):
PCM
VCIP05
14.6 kbit/s
3-10 kbit/s

11. Results CIF ( HDTV) ProfileIDC 100 QPISlice 23, 27, 31, 35 IntraPeriod
CIF ( HDTV)
ProfileIDC
100
QPISlice
23, 27, 31, 35
IntraPeriod
QPPSlice
24, 28, 32, 36
NumberBFrames 3
QPBSlice
25, 29, 33, 37
BReferencePictures 1
PyramidCoding
PyramidLevelQPEnable
SearchRange
32 (64)
NumberReferenceFrames
5 (3)
SymbolMode
AdaptiveRounding
Transform8x8

12. Concrete, CIF, 400 Frames @ 30 fps

13. Crew, HDTV(720p), 20 Frames @ 60 fps

14. Raven, HDTV(720p), 40 Frames @ 60 fps

15. Sunflower, HDTV(1080p), 100 Frames @ 25 fps

16. Average of 12% bit rate savings compared to the standard H.264/AVC
Conclusions
Average of 12% bit rate savings compared to the standard H.264/AVC
Slightly increased decoder complexity
Number of operations needed for interpolation is increased
Suitable for 24-bit arithmetic