Ukratko: Okluzija se događa kada drugo tijelo, obruč, vlastiti udovi igrača ili kut kamere sakriju igrača ili loptu. Sustav može propustiti objekt, stvoriti duplicirane okvire ili dodijeliti pogrešan identitet nakon što se objekt vrati. Povijest kretanja, značajke položaja i izgleda, ograničenja terena i sinkronizirane kamere mogu premostiti neke praznine. Oni ne mogu učiniti svaki skriveni trenutak uočljivim, stoga pouzdani proizvodi čuvaju nesigurnost i povezuju rezultate s videom.
Ključni zaključci
- Okluzija je nedostatak vizualnih dokaza, a ne dokaz da se igrač ili lopta prestala kretati.
- Košarka je teška jer se slični dresovi, brze promjene smjera, gust promet u reketu i mala, brza lopta pojavljuju zajedno.
- Detekcija pronalazi vidljive objekte kadar po kadar; praćenje mora povezati ta opažanja s trajnim identitetima tijekom vremena.
- Vremenski modeli mogu premostiti kratke praznine, dok sustavi s više kamera i 3D sustavi mogu pružiti drugi pogled na isti trenutak.
- Pouzdana analiza otkriva pouzdanost, praznine, promjene identiteta i originalni video umjesto da svaku koordinatu prikazuje kao sigurnu.
Što je okluzija u košarkaškom računalnom vidu?
Do zaklanjanja dolazi kada kamera ne može izravno vidjeti cijeli ili dio objekta koji sustav za prepoznavanje treba mjeriti. Obrambeni igrač može proći između leće i igrača s loptom. Tri igrača se mogu preklapati ispod obruča. Lopta može nestati iza podlaktice, trupa, table ili suca. Sportaš i lopta nastavljaju se kretati u fizičkom svijetu, ali slika više ne sadrži dovoljno vidljivih dokaza za nedvosmisleno promatranje na razini okvira. SportsMOT: Veliki skup podataka za praćenje više objekata u više sportskih scena Iterativno skaliranje ExpansionIoU i povezivanje dubokih značajki za praćenje više objekata u sportu praćenje košarkaša
Ta razlika je važna jer izlaz praćenja može izgledati kontinuirano čak i kada je dio njega inferiran. Detektor može vidjeti igrača prije preklapanja, propustiti nekoliko kadrova, a zatim vidjeti sličnog igrača nakon toga. Tragač mora odlučiti pripadaju li ta opažanja istom identitetu. Košarka otežava odluku: SportsMOT ističe čestu okluziju, dok druga istraživanja praćenja sporta dodaju slične timske uniforme i nepredvidive pokrete poput 'crossovera' problemu. Praćenje košarkaša jednom kamerom putem fuzije značajki položaja i semantike
Četiri uobičajena oblika košarkaške okluzije
| Vrsta okluzije | Primjer iz košarke | Vjerojatni neuspjeh |
|---|---|---|
| Igrač-igrač | Postavljač bloka i branič se preklapaju iz kuta kamere | Propuštena detekcija, spojeni okvir ili zamjena identiteta |
| Samo-okluzija | Torzo šutera skriva lakat ili zapešće | Nedostajuće ili nestabilne orijentacijske točke poze |
| Objekt-scena | Lopta prolazi iza obruča, table ili suca | Kratka praznina u praćenju lopte ili pogrešna lokacija |
| Kadar i pogled | Panoramsko pomicanje, zumiranje, obrezivanje, zamućenje ili niski kut uklanja korisne detalje | Nisko povjerenje, odgođena ponovna akvizicija ili pogrešno povezivanje |
Djelomična i potpuna okluzija su točke na spektru. Vidljiva glava i jedno rame mogu biti dovoljni za održavanje identiteta, ali ne i za procjenu cijelog kostura. Lopta može ostati djelomično vidljiva, a ipak nalikovati ruci, oznaci na dresu ili pozadinskom obliku pri brzini igre. Povjerenje bi stoga trebalo biti vezano uz specifičan izlaz – detekciju, identitet, zglob ili koordinatu lopte – a ne komprimirano u jednu tvrdnju da je cijeli kadar bio praćen ili nepraćen.
Zašto detekcija i praćenje ne uspijevaju na različite načine
Detekcija pita koji su igrači ili lopte vidljivi u ovom kadru i gdje se pojavljuju. Praćenje pita koje trenutno opažanje odgovara svakom ranijem identitetu. Okluzija može prekinuti bilo koji sloj. Detektor može proizvesti nijedan okvir za skrivenog sportaša, jedan okvir oko dva sportaša ili dva okvira oko jednog djelomično vidljivog sportaša. Rad D3 formalizira posljednji neuspjeh kao detekciju duplikata: više okvira netočno prijavljuje istog sportaša tijekom okluzije. D3: Dekontaminator duplikata detekcije za praćenje više sportaša u sportskim videozapisima
Povezivanje postaje teže pitanje nakon što se vidljivost vrati. Suigrači nose gotovo identične uniforme, nekoliko sportaša se moglo križati, a 'crossover' ili urezivanje poništavaju jednostavno predviđanje ravne linije. Sustav može ponovno pojavljenu kutiju pripojiti pogrešnoj putanji, stvarajući zamjenu identiteta. Ta jedna pogreška može kontaminirati brzinu, udaljenost, podudaranje, posjed i oznake naknadnih događaja, iako je svaka kasnija kutija vizualno točna. Oporavak praćenja sportaša usmjeren na promatranje i centralnu udaljenost
Kako vremensko praćenje premošćuje skriveni trenutak
- Prenesite nedavnu poziciju i brzinu kao kratku hipotezu kretanja umjesto da se trag tretira kao odmah nestao.
- Usporedite nova otkrivanja s nedavnim izgledom, pozom i semantičkim značajkama umjesto da koristite samo udaljenost središnje točke.
- Koristite granice terena, vjerojatnu brzinu, stranu tima i poznatu geometriju igre kako biste eliminirali nemoguća podudaranja.
- Zadržite nekoliko kandidatnih poveznica kada su dokazi slabi, zatim ih riješite kada kasniji kadrovi pruže više razdvajanja.
- Označite oporavljene ili interpolirane segmente kako bi kasniji korisnici mogli razlikovati promatranje od procjene.
Ovi koraci su oblici upravljanja dokazima, a ne dokaz. Fuzija značajki položaja i semantike može dati asocijaciji bogatije tragove, kao što demonstrira sustav za praćenje košarke s jednom kamerom. Oporavak usmjeren na promatranje može ponovno povezati putanju nakon propuštene detekcije. Ali dugo preklapanje, oštra promjena smjera ili dva vizualno slična igrača koja se razdvajaju u suprotnim smjerovima mogu ostati dvosmisleni. Odgovoran izlaz može biti identitet niže pouzdanosti ili označena praznina, a ne lažno precizna putanja.
Zašto više kamera i 3D poza pomažu
Druga kamera može zadržati vidljivost kada je jedan pogled blokiran. NBA i Sony najavili su sustav dizajniran za snimanje svakog igrača i lopte u tri dimenzije s latencijom manjom od sekunde. Trenutno objašnjenje NBA-ovog sustava Gravity kaže da njegov optički sustav primjenjuje 3D detekciju položaja na 29 točaka tijela po igraču pri 60 uzoraka u sekundi. Višestruki sinkronizirani pogledi i kalibracija terena stoga mogu podržati zajedničku 3D procjenu umjesto oslanjanja na jednu emitiranu sliku. NBA i Sony Hawk-Eye partnerstvo za 3D praćenje sljedeće generacije NBA — Uvod u Gravity i 3D praćenje položaja
Više pogleda smanjuje neke nejasnoće, ali ne čine scenu savršeno uočljivom. Igrači se mogu grupirati iz više kutova, lopta može biti skrivena rukama ili obručem, kalibracija može odstupiti, a svaka kamera može imati ograničenja zamućenja ili ekspozicije. Priopćenje NBA-a opisuje mogućnosti i namijenjene primjene; ne obećava nultu okluziju. Snažan sustav kombinira poglede, vrijeme, geometriju i nesigurnost, umjesto da bilo koji pojedinačni senzor tretira kao nepogrešiv.
Zašto je praćenje košarkaške lopte posebno teško
Lopta zauzima daleko manje piksela od igrača, mijenja smjer tijekom dodavanja i skokova, brzo ubrzava i provodi vrijeme pored ruku, dresova, obruča i table. Zamućenje pokreta može je pretvoriti u trag; izrezivanje prijenosa može je potpuno ukloniti; nekoliko narančastih ili kružnih područja slike može izgledati uvjerljivo. Kada se posjed promijeni unutar gužve, sustav mora riješiti i lokaciju i vlasništvo dok najbolji vizualni dokazi mogu privremeno nedostajati. NBA G League i Second Spectrum partnerstvo za optičko praćenje
Kontekst igre može suziti opcije – dodavanje bi trebalo slijediti fizički vjerojatan luk, a posjed se ne bi trebao teleportirati između udaljenih igrača – ali kontekst je i dalje zaključak. Izvedena statistika kao što je vrijeme dodira, brzina dodavanja ili kontekst šuta trebala bi nositi kvalitetu temeljne putanje lopte. Optičko praćenje može otključati korisne metrike, kao što opisuje partnerstvo G Lige, dok nizvodni proizvodi i dalje trebaju pravila za praznine, vlasništvo niske pouzdanosti i ručni pregled.
Kako procijeniti košarkaški sustav svjestan okluzije
- Mjerite propuštene detekcije, lažne detekcije, duplicirane okvire, promjene identiteta, fragmentirane tragove i vrijeme za ponovno prepoznavanje—ne samo prosječnu pogrešku pozicije.
- Prijavite rezultate po scenariju: gust promet u reketu, blokovi, skokovi, tranzicija, panoramski prikazi prijenosa i kontakt lopte i ruke.
- Odvojite opažene koordinate od interpoliranih ili oporavljenih segmenata i prikažite pouzdanost na izlaznoj razini.
- Testirajte suigrače u istim dresovima i nagla utrčavanja jer jednostavni isječci izoliranih igrača podcjenjuju rizik pogrešnog povezivanja u košarci.
- Držite izvorni sinkronizirani videozapis dostupnim kako bi analitičari mogli pregledati značajne događaje niske pouzdanosti.
Poslovno pitanje slijedi pitanje modela. Grafika prijenosa može tolerirati kratku odgođenu korekciju drugačije od sudačke pomoći, trenerskog izvještaja ili metrike zdravlja igrača. Definirajte posljedice pogreške prije odabira pragova. Sustav koji se suzdržava kod jednog dvosmislenog skoka može biti pouzdaniji od onog koji proizvodi potpunu, ali pogrešno pripisanu povijest posjeda.
Što to znači za AI povratne informacije usmjerene igračima
Videozapis treninga snimljen jednim telefonom ima manje točaka gledišta od sustava u areni, stoga je kvaliteta snimanja važna. Postavite kameru tako da cijelo tijelo, lopta, stopala i meta ostanu vidljivi; izbjegavajte da suigrači prolaze izravno između leće i sportaša; osigurajte dovoljno svjetla za kratku ekspoziciju; i ostavite prostor oko pokreta. Bolje snimanje ne može eliminirati svaku samo-okluziju, ali može smanjiti praznine koje se mogu izbjeći prije pokretanja bilo kojeg modela. AI povratne informacije o košarkaškom šutu
Sloj povratne informacije trebao bi reći što je bilo vidljivo i gdje je povjerenje opalo. Ako zglob za šutiranje nestane iza trupa, proizvod može zatražiti drugi kut umjesto da izmišlja putanju zgloba. Ako suigrač prođe kroz kadar, može sačuvati vidljive faze i označiti blokiranu fazu. Korisno obećanje je provjerljivo trenersko zapažanje povezano s poslanim videom – a ne tvrdnja da je model vidio kroz tijela.
Često postavljana pitanja
Može li AI pratiti košarkaša kada drugi igrač zaklanja kameru?
Ponekad može održati hipotezu kroz kratku blokadu koristeći nedavno kretanje, izgled, pozu, geometriju terena ili drugu kameru. To je vremenska asocijacija, a ne izravna vidljivost. Što je preklapanje duže i dvosmislenije, to su povjerenje i kasniji dokazi važniji.
Što je zamjena identiteta u praćenju igrača?
Zamjena identiteta događa se kada sustav za praćenje dodijeli vidljivu detekciju pogrešnoj trajnoj putanji igrača. Često se događa nakon što se preklapajući suigrači razdvoje, pogotovo kada su im dresovi i izgled tijela slični. Putanja može ostati glatka dok imenovani ili numerirani identitet postane pogrešan.
Uklanjaju li više kamera košarkašku okluziju?
Ne. Višestruki kalibrirani prikazi mogu pružiti dokaze kada je jedna kamera blokirana i mogu podržati 3D rekonstrukciju. Gusti skupovi igrača, ruke oko lopte, zamućenje, ograničenja kalibracije i zajednička slijepa područja i dalje mogu stvarati praznine. Dobitak je više dokaza i bolja geometrija, a ne savršena vidljivost.
Zašto jednostavno ne interpolirati svaku nedostajuću koordinatu?
Interpolacija može premostiti kratak, predvidljiv jaz, ali košarka sadrži zaustavljanja, utrčavanja, skokove, odbijanja i promjene posjeda. Glatka matematička putanja može biti fizički uvjerljiva i još uvijek pripadati pogrešnom igraču ili lopti. Dobri sustavi ograničavaju interpolaciju, označavaju je kao procijenjenu i ponovno otvaraju izvorni video kada rezultat utječe na važnu analizu.
