Vizualno sledenje in segmentacija prosojnih objektov z metodami globokega učenja

Prosojni predmeti, kot so kozarci, skodelice, steklenice itd., so pogosti v našem vsakdanjem življenju. Za avtonomne inteligentne sisteme je pomembno, da so sposobni sodelovati s predmeti v okolju, v katerega so postavljeni. Ključni del takšne avtonomne interakcije je robustno sledenje prosojnim predmetom. Tema sledenja prosojnih objektov ima zato velik potencial za uporabo v praktičnih aplikacijah, kot precej nerešenih raziskovalnih vprašanj. Sledenje splošnih, dobro vidnih ali ne-prosojnih predmetov je široko raziskano področje. Po drugi strani je bilo veliko manj pozornosti posvečene sledenju prosojnih predmetov. Taki predmeti imajo več posebnih lastnosti, ki so opisane v nadaljevanju. Zaradi prosojnosti je ozadje vidno skozi objekt, kar bistveno poveča raznolikost izgleda predmeta, ki mu sledimo. Posebni vizualni učinki, kot so transformacija svetlobe ali odsevi, so običajni za prosojne objekte in bi jih bilo mogoče izkoristiti za sledenje. Prosojni objekti se pogosto pojavljajo v skupinah, tako da je več vizualno podobnih predmetov skupaj, na primer: komplet kozarcev za vino ali steklenih posod v laboratorijskem okolju. Zaradi teh posebnosti morajo biti algoritmi za sledenje zasnovani drugače kot algoritmi za sledenje ne-prosojnih objektov. Nedavno delo, ki evalvira algoritme za sledenje na posnetkih s prosojnimi objekti, je izpostavilo slabosti obstoječih metod sledenja ne-prosojnih objektov, ko se uporabljajo za sledenje prosojnih predmetov, medtem ko metode zasnovane posebej za prosojne objekte (skoraj) ne obstajajo. V tem projektu je naš cilj razvoj metod za sledenje prosojnih objektov. Vse metode bodo temeljile na globokih nevronskih mrežah, ki izkazujejo odlične rezultate pri večini nalog računalniškega vida v primerjavi z ročno izdelanimi metodami. V tem projektu bomo obravnavali naslednje raziskovalni izzive: (i) nov režim učenja in izdelava nove podatkovne zbirke za učenje, (ii) sledenje ob prisotnosti več podobnih predmetov in (iii) visoka natančnost napovedanega položaja objekta. Posebna pozornost bo namenjena integraciji vseh razvitih modulov v enotno arhitekturo globoke nevronske mreže, ki jo bo mogoče enovito učiti. Projekt bo sestavljen iz štirih delovnih paketov. Za naslavljanje zahtevnih situacij, ko je v isti sceni prisotnih več prosojnih predmetov s podobnim videzom, bomo razvili diskriminacijsko arhitektura za vizualno sledenja, ki bo robustna na prisotnost podobnih objektov (WP1). Razvili bomo novo arhitekturo za segmentacijo (WP2), ki segmentira prosojne objekte v videu. Zgradili bomo novo podatkovno množico in predlagali režim za aktivno učenje globokih modelov. Vsi modeli bodo evalvirani na podatkovnih zbirkah za vizualno sledenje prosojnih in ne-prosojnih objektov (WP3). Zadnji delovni paket (WP4) bo namenjen razširjanju rezultatov. Na tem projektu bo s polnim delovnim časom delal en podoktorski raziskovalec. Prijavitelj je član Laboratorija za vizualne kognitivne spoznavne sisteme (ViCoS) na Fakulteti za računalništvo in informatiko Univerze v Ljubljani. Vodja projekta ima bogate izkušnje s področja raziskovanja vizualnega sledenja objektov, kar bo omogočalo nemoteno realizacijo in izvedbo projekta.