Numerické metody pro výpočet optického toku ve zpracování obrazových dat

Praha
Diplomové práce
Anotace

Optický tok (optical flow) popisuje pohyb pixelů mezi dvěma po sobě jdoucími snímky. Jeho přesné určení je zásadní v mnoha aplikacích:

  • rekonstrukce nebo interpolace mezisnímků,
  • stabilizace videa,
  • sledování objektů (tracking),
  • komprese a predikce videa,
  • modelování deformací (např. tkání v medicíně).

Cílem této práce je využít optický tok k co nejpřesnější rekonstrukci obrazové sekvence, tj. být schopen predikovat nebo generovat chybějící snímky mezi reálně zaznamenanými, případně rekonstruovat celou sekvenci z několika klíčových snímků.

To klade vysoké nároky na přesnost, stabilitu a reprezentativnost výpočtu toku – tedy je nutné použít nebo navrhnout pokročilé algoritmy, které minimalizují chyby (zejména v oblastech s texturou, okraji nebo deformacemi).

Cíle práce (konkrétní zadání se domluví individuálně se studentem):

  1. Prostudovat klasické (variační) nebo i moderní (založené na deep learningu, např. RAFT, FlowNet2) metody výpočtu optického toku.
  2. Implementovat vybranou metodu pro výpočet optického toku.
  3. Vyhodnotit kvalitu optického toku na reálných nebo syntetických datech pomocí metrik (např. EPE – endpoint error, warping error).
  4. Vyvinout metodu pro rekonstrukci mezisnímků (např. pomocí semi lagrngeovských metod, WENO schémat nebo TVD schémat - Van Leer, Minmod, Sperbee) na základě vypočteného toku.
  5. Ověřit kvalitu rekonstrukce pomocí metrik (např. PSNR, SSIM).
  6. (Volitelně) zrychlit implementaci pomocí GPU.

Přínosy pro studenta:

  1. Získá hluboké znalosti v oblasti počítačového vidění a zpracování obrazu.
  2. Vyzkouší si jak klasické, tak moderní (AI) metody výpočtu optického toku.
  3. Může publikovat porovnání nebo přispět do open-source nástroje.

Zdroje:

  1. Papenberg, Nils, et al. "Highly accurate optic flow computation with theoretically justified warping." International Journal of Computer Vision 67 (2006): 141-158.
  2. Mang, Andreas, et al. "PDE-constrained optimization in medical image analysis." Optimization and Engineering 19 (2018): 765-812.
  3. Staniforth, Andrew, and Jean Côté. "Semi-Lagrangian integration schemes for atmospheric models—A review." Monthly weather review 119.9 (1991): 2206-2223.
  4. Falcone, Maurizio, and Roberto Ferretti, eds. Semi-Lagrangian approximation schemes for linear and Hamilton—Jacobi equations. Society for Industrial and Applied Mathematics, 2013.
  5. Cockburn, Bernardo, et al. Essentially non-oscillatory and weighted essentially non-oscillatory schemes for hyperbolic conservation laws. Springer Berlin Heidelberg, 1998.
  6. Jiang, Guang-Shan, and Chi-Wang Shu. "Efficient implementation of weighted ENO schemes." Journal of computational physics 126.1 (1996): 202-228.
  7. https://vision.middlebury.edu/flow/
  8. https://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php
Vedoucí práce
KOS
KOS