Generiranje baze za učenje modela za raspoznavanje akcija


Automatska analiza video sadržaja u kontekstu nadzora odavno je zanimljiva zbog želje da se automatizira detekcija sumnjivog ili kriminalnog ponašanja, olakša detekcija požara i slično. Zbog sveprisutnosti digitalnih kamera, danas se javlja i potreba za automatskom analizom videa u svrhu olakšavanja pretraživanja velikih količina snimljenih materijala koje se svakodnevno stvaraju. Također, javljaju se i nove mogućnosti primjene za specifične domene, primjerice za detekciju pada starijih i nemoćnih osoba ili za analizu sportskih utakmica i treninga.

Kod analize videa jedan od glavnih problema je detekcija i raspoznavanje akcija koje vrše ljudi na snimkama. Preduvjet za razvoj postupaka automatske detekcije i raspoznavanja akcija je baza snimaka u odabranoj domeni s precizno označenim početkom i trajanjem svake akcije te označenim imenom akcije. U slučaju da se na snimci nalazi više osoba, ključno je označiti i osobu koja danu akciju izvodi u svakom dijelu videa. Zbog potrebe za ručnim označavanjem snimaka, razvoj takvih baza dugotrajan je i skup proces koji uključuje angažman velikog broja ljudi.

Predlaže se istraživanje s ciljem razvoja postupaka koji će olakšati i ubrzali postupak označavanja akcija u bazi za učenje. Kako bi baza za učenje dobro predstavljala očekivane uvjete snimanja kod korištenja postupaka za raspoznavanje i detekciju, naglasak će biti na snimkama nastalim u svakodnevnim uvjetima, za razliku od strogo kontroliranih laboratorijskih uvjeta. Na takvim snimkama iz odabrane sportske domene očekuje se prisustvo većeg broja ljudi, od kojih neki sudjeluju u glavnom događaju (igrači), neki sudjeluju u sporednom događaju (navijači) dok neki npr. zaštitari ne sudjeluju ni u jednom od događaja. Sve prisutne osobe na snimkama mogu izvoditi pojedine akcije, npr pljeskati, mahati rukama, trčati, no prilikom raspoznavanja obično postoji osoba unutar grupe igrača koja je središte interesa i koja izvodi trenutno aktualnu akciju, npr. igrač koji šutira na gol.

Planira se razvoj postupka za automatsku detekciju i praćenje trenutno aktivnog igrača. Time bi označavanje baze akcija bilo bitno olakšano, jer bi se ručno morali označiti samo trenuci početka i kraja akcije te vrsta akcije, dok bi se vremenski najzahtjevniji dio označavanja aktivnog igrača u svakom trenutku videa vršilo automatski. Osnova za istraživanje bit će prethodno razvijeni postupci za detekciju osoba na statičnim slikama te postupci za praćenje detektiranih objekata u videu temeljeni na oduzimanju pozadinske slike ili prostorno-vremenskim značajkama izlučenim iz video sekvence.

Drugi cilj istraživanja je primjena razvijenih postupaka u izradi baze video materijala za učenje postupaka raspoznavanja akcija, što će omogućiti istraživačkom timu na Odjelu za Informatiku podizanje razine istraživanja u području analize videa.  Rezulati projekta će biti temelj za daljnji razvoj metoda za automatsku detekciju i raspoznavanje akcija u odabranoj domeni, koji će osim znanstvene komponente imati i moguću primjenu u komercijalnim alatima za automatsku analizu videa.


Istraživački tim
Marina Ivašić Kos marinai@uniri.hr
Miran Pobar mpobar@uniri.hr
Burić Matija matija.buric@hep.hr

dr. sc. Miran Pobar dipl.ing.el.

Odjel za informatiku

e-pošta: mpobar@uniri.hr

Google Scholar