1. Časová segmentácia videa a sumarizácia videa

2. Hierarchická štruktúra videa
Video scéna snímaná kamerami A, B
Video sekvencia z kamery A
Video sekvencia z kamery B
Jednotlivé zábery oddelené strihom

3. Video záber (shot)
Video záber je definovaný ako sekvencia snímok zachytených jednou kamerou v jednej súvislej akcii v čase a priestore [CB98]
Obvykle je to skupina snímok, ktoré majú konzistentné vizuálne charakteristiky (farba, textúra, pohyb)
Video zábery sú základné štrukturálne stavebne bloky
Časová segmentácia videa je dôležitý krok vo veľa aplikáciách spracovania videa (trackovanie – treba znovu inicializovať tracker)
[CB98] X.U. Cabedo and S. K. Bhattacharje. Shot detection tools in digital video. In Proceedings of Non-linear Model Based Image Analysis 1998, Springer Verlag, Glasgow, pp , July 1998

4. Typy postupných prechodov
Základné 4 kategórie sú:
Stmievačka (fade-out)
Roztmievačka (fade-in)
Prelínačka (dissolve)

5. Typy postupných prechodov
Stieranie (Wipe) je množina techník ako prekrývanie, vysunutie(push), presunutie(slide), a iné (napr. stretch, door, flip, drop, grill, page turn, dither, mosaic, iris)
Množstvo špeciálnych efektov používaných vo filme, ktoré využívajú napríklad morfing
Veľmi ťažko detekovateľné

6. Metódy časového spracovania videa
Jednoduché algoritmy používajú väčšinou mieru podobnosti a prahovacie metódy, rôzne typy histogramov – nedosahujú dobré výsledky najmä pri postupných prechodoch
Zložitejšie algoritmy používajú napríklad HMM, kompenzáciu vektorov pohybu, neurónové siete, klasifikačné metódy – časovo veľmi náročné
Ďalšie urýchlenie algoritmov sa často dosahuje hierarchizáciou dát, sofistikovaným štatistickým spracovaním a ad hoc metódami

8. Mosaic based approach is used to generate a panoramic image from a large number of consecutive frames having some important content.

9. Key Frame Based Video Summarization
a set consists of a collection of salient images extracted from the underlying video source
take care
1.Redundancy: frames with minor difference are selected as key frame.
2.When there are various changes in content it is difficult to make clustering.
Video Skim Based Video Summarization
The original video is segmented into various parts which is a video clip with shorter duration. Each segment is joined by either a cut or a gradual effect. The trailer of movie is the best example for video skimming.

10. Detekcia strihov a stmievačiek pomocou informačnej teórie
Vzájomná informácia (MI) meria množstvo informácie o náhodnej premennej Y, ktoré prenáša náhodná premenná X
Združená entropia (JE) dvoch náhodných premenných X a Y
The entropy measures the information content or “un-certainty” of X and it is given by:….
Where p(x) is a p.d.f
Joint entropy is express as …… , where p(x,y) is joint probability or co-occurrence matrix

11. Detekcia strihov
Pre každý pár po sebe nasledujúcich snímok vypočítame vzájomnú informáciu pre všetky tri komponenty R, G, B
a po ich spriemerovaní dostaneme nasledujúci graf
Na detekciu strihov použijeme adaptívne lokálne prahovanie
cuts

12. Detekcia stmievačiek/roztmievačiek
Analogicky vypočítaním združenej entropie pre každý farebný komponent R, G, B dostaneme po ich spriemerovaní graf
Stmievačky/roztmievačky zodpovedajú monotónnym častiam grafu v okolí nulových hodnôt združenej entropie

13. Vyhodnotenie výsledkov
GT: skutočný počet strihov a prechodov (ground truth)
Seg: vysegmentované (správne aj nesprávne) strihy pomocou našej metódy
Hodnoty určené nasledujúcimi vzťahmi charakterizujú kvalitu dosiahnutých výsledkov
Hodnoty týchto mier sú z intervalu [0, 1], pričom optimálna hodnota je 1
Minimálne hodnoty mier dosahované na testovaných videách (TRECVID 2003) sú
v prípade strihov 0.96 (recall), 0.94 (precision)
v prípade stmievačiek 0.92 (recall), 0.84 (precision) a 0.75 (overlap) a
roztmievačiek 0.93 (recall), 0.84 (precision) a 0.74 (overlap)

14. Metóda využívajúca singulárny rozklad matice (SVD) a štatistické testy
Použitím SVD sú šum a triviálne variácie ignorované
SVD transformuje podobné snímky blízko k sebe
Ku každej snímke fi vytvoríme 3D normalizovaný histogram hi (každý rozmer reprezentuje jednu zložku R, G, B zo 16 triedami); rozmer vektora príznakov je teda M = 163 = 4096
Každý stĺpec ai matice A je M-rozmerný vektor príznakov f1 f2 f3 f4
snímky A a1 a2 ai
. . .

15. Aplikovanie SVD na maticu histogramov A
Z možných M singulárnych hodnôt berieme do úvahy iba K najväčších (K << M)
Uvažovaná časť reprezentácie histogramu snímky ai po aplikácii SVD je vo vektore
Príklady premietnutých vektorov

16. Spájanie zhlukov na základe štatistických hypotéz
Predpoklad: príznakové vektory zodpovedajúce snímkam
v jednom zábere tvoria jeden zhluk
Ako mieru podobnosti snímok fi a fj sme zvolili
kde a sú aproximácie týchto snímok pomocou SVD
Rozdelenie do zhlukov na základe predchádzajúcej miery
s preddefinovaným prahom δ
Testujeme, či sa dva zhluky dajú spojiť - používame K- rozmerné von Mises-Fisher rozdelenie s priemerným smerom μ a koncentračným parametrom κ

17. Výsledky
Nosná časť algoritmu má asymptotickú zložitosť O(NM2)

18. Spojenie metód využívajúcich vzájomnú informáciu a SVD
Pre každú snímku fi 11-rozmerný vektor príznakov
- 10 rozmerný vektor získaný z SVD
Ii - vzájomná informácia medzi fi a fi+1
Aplikovaná zhlukovacia metóda ako pri SVD metóde

19. Detekcia prechodov medzi zábermi pomocou segmentácie grafu
Počítame MI medzi viacerými dvojicami snímok v časovom úseku zvolenej pevnej dĺžky
Kumulatívna miera pre každý časový úsek je daná vzťahom
Lokálne minimá kumulatívnej miery určujú prechody medzi zábermi

20. Príklad kumulatívnej miery

21. Výber kľúčových snímok
Zhlukovanie na základe hodnôt štandardnej odchýlky vzájomnej informácie v zábere
Výber potenciálnych kľúčových snímok – na základe maximalizácie vzájomnej informácie v zhluku
Test podobnosti potenciálnych kľúčových snímok