Místo
Anotace
Optický tok (optical flow) popisuje pohyb pixelů mezi dvěma po sobě jdoucími snímky. Jeho přesné určení je zásadní v mnoha aplikacích:
- rekonstrukce nebo interpolace mezisnímků,
- stabilizace videa,
- sledování objektů (tracking),
- komprese a predikce videa,
- modelování deformací (např. tkání v medicíně).
Cílem této práce je využít optický tok k co nejpřesnější rekonstrukci obrazové sekvence, tj. být schopen predikovat nebo generovat chybějící snímky mezi reálně zaznamenanými, případně rekonstruovat celou sekvenci z několika klíčových snímků.
To klade vysoké nároky na přesnost, stabilitu a reprezentativnost výpočtu toku – tedy je nutné použít nebo navrhnout pokročilé algoritmy, které minimalizují chyby (zejména v oblastech s texturou, okraji nebo deformacemi).
Cíle práce (konkrétní zadání se domluví individuálně se studentem):
- Prostudovat klasické (variační) nebo i moderní (založené na deep learningu, např. RAFT, FlowNet2) metody výpočtu optického toku.
- Implementovat vybranou metodu pro výpočet optického toku.
- Vyhodnotit kvalitu optického toku na reálných nebo syntetických datech pomocí metrik (např. EPE – endpoint error, warping error).
- Vyvinout metodu pro rekonstrukci mezisnímků (např. pomocí semi lagrngeovských metod, WENO schémat nebo TVD schémat - Van Leer, Minmod, Sperbee) na základě vypočteného toku.
- Ověřit kvalitu rekonstrukce pomocí metrik (např. PSNR, SSIM).
- (Volitelně) zrychlit implementaci pomocí GPU.
Přínosy pro studenta:
- Získá hluboké znalosti v oblasti počítačového vidění a zpracování obrazu.
- Vyzkouší si jak klasické, tak moderní (AI) metody výpočtu optického toku.
- Může publikovat porovnání nebo přispět do open-source nástroje.
Zdroje:
- Papenberg, Nils, et al. "Highly accurate optic flow computation with theoretically justified warping." International Journal of Computer Vision 67 (2006): 141-158.
- Mang, Andreas, et al. "PDE-constrained optimization in medical image analysis." Optimization and Engineering 19 (2018): 765-812.
- Staniforth, Andrew, and Jean Côté. "Semi-Lagrangian integration schemes for atmospheric models—A review." Monthly weather review 119.9 (1991): 2206-2223.
- Falcone, Maurizio, and Roberto Ferretti, eds. Semi-Lagrangian approximation schemes for linear and Hamilton—Jacobi equations. Society for Industrial and Applied Mathematics, 2013.
- Cockburn, Bernardo, et al. Essentially non-oscillatory and weighted essentially non-oscillatory schemes for hyperbolic conservation laws. Springer Berlin Heidelberg, 1998.
- Jiang, Guang-Shan, and Chi-Wang Shu. "Efficient implementation of weighted ENO schemes." Journal of computational physics 126.1 (1996): 202-228.
- https://vision.middlebury.edu/flow/
- https://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php
Vedoucí práce
KOS