W skrócie: Okluzja występuje, gdy inne ciało, obręcz, własne kończyny zawodnika lub kąt kamery zasłaniają zawodnika lub piłkę. System może przeoczyć obiekt, stworzyć zduplikowane ramki lub przypisać błędną tożsamość po jego ponownym pojawieniu się. Historia ruchu, cechy pozycji i wyglądu, ograniczenia boiska oraz zsynchronizowane kamery mogą wypełnić niektóre luki. Nie mogą sprawić, że każda ukryta chwila będzie obserwowalna, dlatego niezawodne produkty zachowują niepewność i łączą wyniki z wideo.
Najważniejsze wnioski
- Okluzja to brakujące dowody wizualne, a nie dowód na to, że zawodnik lub piłka przestały się poruszać.
- Koszykówka jest trudna, ponieważ podobne stroje, szybkie zmiany kierunku, duży ruch w pomalowanym i mała, szybka piłka występują jednocześnie.
- Detekcja znajduje widoczne obiekty klatka po klatce; śledzenie musi powiązać te obserwacje z trwałymi tożsamościami w czasie.
- Modele czasowe mogą wypełnić krótkie luki, podczas gdy systemy wielokamerowe i 3D mogą zapewnić inny widok tego samego momentu.
- Wiarygodna analiza ujawnia pewność, luki, zmiany tożsamości i oryginalne wideo, zamiast przedstawiać każdą współrzędną jako pewną.
Czym jest okluzja w komputerowym widzeniu w koszykówce?
Okluzja występuje, gdy kamera nie może bezpośrednio widzieć całości lub części obiektu, który system wizyjny ma mierzyć. Obrońca może przejść między obiektywem a zawodnikiem z piłką. Trzech zawodników może się nakładać pod koszem. Piłka może zniknąć za przedramieniem, tułowiem, tablicą lub sędzią. Zawodnik i piłka nadal poruszają się w świecie fizycznym, ale obraz nie zawiera już wystarczających widocznych dowodów dla jednoznacznej obserwacji na poziomie klatki. SportsMOT: Duży zbiór danych do śledzenia wielu obiektów w różnych scenach sportowych Iteracyjne skalowanie w górę ExpansionIoU i asocjacja głębokich cech do śledzenia wielu obiektów w sporcie śledzenie zawodników koszykówki
To rozróżnienie ma znaczenie, ponieważ wynik śledzenia może wyglądać na ciągły, nawet jeśli jego część jest wnioskowana. Detektor może zobaczyć zawodnika przed nakładaniem się, pominąć kilka klatek, a następnie zobaczyć podobnego zawodnika później. Tracker musi zdecydować, czy te obserwacje należą do tej samej tożsamości. Koszykówka utrudnia tę decyzję: SportsMOT podkreśla częstą okluzję, podczas gdy inne badania nad śledzeniem sportowym dodają do problemu podobne stroje drużynowe i nieprzewidywalne ruchy, takie jak crossovery. Tracker koszykówki z pojedynczej kamery poprzez fuzję cech pozycji i semantycznych
Cztery typowe formy okluzji w koszykówce
| Typ okluzji | Przykład z koszykówki | Prawdopodobna awaria |
|---|---|---|
| Zawodnik-zawodnik | Zastawiający i obrońca nakładają się z perspektywy kamery | Niewykrycie, połączone pole lub zmiana tożsamości |
| Autookluzja | Tułów strzelca zasłania łokieć lub nadgarstek | Brakujące lub niestabilne punkty kluczowe pozy |
| Obiekt-scena | Piłka przechodzi za obręczą, tablicą lub sędzią | Krótka przerwa w śledzeniu piłki lub błędna lokalizacja |
| Klatka i widok | Panoramowanie, zoom, kadrowanie, rozmycie lub niski kąt usuwa przydatne szczegóły | Niski poziom ufności, opóźnione ponowne wykrycie lub błędne przypisanie |
Częściowa i całkowita okluzja to punkty na spektrum. Widoczna głowa i jedno ramię mogą wystarczyć do utrzymania identyfikacji, ale nie do oszacowania pełnego szkieletu. Piłka może pozostać częściowo widoczna, a jednak przypominać dłoń, naszywkę na koszulce lub kształt tła w tempie gry. Zaufanie powinno zatem być przypisane do konkretnego wyniku – detekcji, identyfikacji, stawu lub współrzędnej piłki – a nie skompresowane w jedno stwierdzenie, że cała klatka została śledzona lub nieśledzona.
Dlaczego detekcja i śledzenie zawodzą inaczej
Detekcja pyta, którzy zawodnicy lub piłki są widoczne w tej klatce i gdzie się pojawiają. Śledzenie pyta, która bieżąca obserwacja odpowiada każdej wcześniejszej tożsamości. Okluzja może zakłócić którąkolwiek z warstw. Detektor może nie wygenerować ramki dla ukrytego sportowca, jednej ramki wokół dwóch sportowców lub dwóch ramek wokół jednego częściowo widocznego sportowca. Artykuł D3 formalizuje ostatnią awarię jako detekcję duplikatów: wiele ramek błędnie zgłasza tego samego sportowca podczas okluzji. D3: Dekontaminator detekcji duplikatów do śledzenia wielu sportowców w filmach sportowych
Skojarzenie staje się trudniejszym pytaniem po powrocie widoczności. Koledzy z drużyny noszą niemal identyczne stroje, kilku sportowców mogło się minąć, a crossover lub cięcie unieważnia prostą prognozę liniową. System może przypisać ponownie pojawiającą się ramkę do niewłaściwej ścieżki, tworząc zmianę tożsamości. Ten jeden błąd może zanieczyścić prędkość, dystans, dopasowanie, posiadanie i etykiety zdarzeń końcowych, mimo że każda późniejsza ramka jest wizualnie dokładna. Odzyskiwanie trajektorii sportowca zorientowane na obserwację i odległość centralną
Jak śledzenie czasowe wypełnia ukryty moment
- Przenieś aktualną pozycję i prędkość jako krótką hipotezę ruchu, zamiast traktować ścieżkę jako natychmiast utraconą.
- Porównaj nowe detekcje z ostatnim wyglądem, pozą i cechami semantycznymi, zamiast używać samej odległości od punktu centralnego.
- Użyj granic boiska, wiarygodnej prędkości, strony drużyny i znanej geometrii gry, aby wyeliminować niemożliwe dopasowania.
- Zachowaj kilka potencjalnych skojarzeń, gdy dowody są słabe, a następnie rozwiąż je, gdy późniejsze klatki zapewnią większe rozróżnienie.
- Oznacz odtworzone lub interpolowane zakresy, aby dalsi użytkownicy mogli odróżnić obserwację od estymacji.
Te kroki to formy zarządzania dowodami, a nie dowody. Fuzja cech pozycji i semantycznych może dostarczyć bogatszych wskazówek do skojarzenia, jak demonstruje tracker koszykówki z pojedynczej kamery. Odzyskiwanie oparte na obserwacji może ponownie połączyć trajektorię po pominiętym wykryciu. Jednak długie nakładanie się, gwałtowna zmiana kierunku lub dwóch wizualnie podobnych zawodników rozdzielających się w przeciwnych kierunkach może pozostać niejednoznaczne. Odpowiedzialnym wynikiem może być tożsamość o niższej pewności lub oznaczona luka, a nie fałszywie precyzyjna ścieżka.
Dlaczego wiele kamer i poza 3D są pomocne
Inna kamera może zachować widoczność, gdy jedno ujęcie jest zablokowane. NBA i Sony ogłosiły system zaprojektowany do przechwytywania każdego zawodnika i piłki w trzech wymiarach z opóźnieniem poniżej sekundy. Obecne wyjaśnienie Gravity NBA mówi, że ich system optyczny stosuje detekcję pozycji 3D do 29 punktów ciała na zawodnika z prędkością 60 próbek na sekundę. Wiele zsynchronizowanych ujęć i kalibracja boiska mogą zatem wspierać wspólne oszacowanie 3D, zamiast polegać na jednym obrazie z transmisji. Partnerstwo NBA i Sony Hawk-Eye w zakresie śledzenia 3D nowej generacji NBA — Wprowadzenie do Gravity i śledzenia pozycji 3D
Więcej ujęć zmniejsza niektóre niejasności, ale nie sprawia, że scena jest doskonale obserwowalna. Zawodnicy mogą grupować się z kilku stron, piłka może być zasłonięta przez ręce lub obręcz, kalibracja może się rozjechać, a każda kamera może mieć ograniczenia rozmycia lub ekspozycji. Ogłoszenie NBA opisuje możliwości i zamierzone zastosowania; nie obiecuje zerowej okluzji. Silny system łączy ujęcia, czas, geometrię i niepewność, zamiast traktować pojedynczy czujnik jako niezawodny.
Dlaczego śledzenie piłki do koszykówki jest szczególnie trudne
Piłka zajmuje znacznie mniej pikseli niż zawodnik, zmienia kierunek podczas podań i zbiórek, szybko przyspiesza i spędza czas obok rąk, koszulek, obręczy i tablicy. Rozmycie ruchu może zamienić ją w smugę; kadrowanie transmisji może ją całkowicie usunąć; kilka pomarańczowych lub okrągłych obszarów obrazu może wyglądać wiarygodnie. Gdy posiadanie zmienia się w tłumie, system musi rozwiązać zarówno lokalizację, jak i własność, podczas gdy najlepsze dowody wizualne mogą być tymczasowo nieobecne. Partnerstwo NBA G League i Second Spectrum w zakresie śledzenia optycznego
Kontekst gry może zawęzić opcje – podanie powinno podążać fizycznie wiarygodnym łukiem, a posiadanie nie powinno teleportować się między odległymi zawodnikami – ale kontekst jest nadal wnioskowaniem. Wyprowadzona statystyka, taka jak czas kontaktu, prędkość podania lub kontekst rzutu, powinna odzwierciedlać jakość bazowego śledzenia piłki. Śledzenie optyczne może odblokować użyteczne metryki, jak opisuje partnerstwo G League, podczas gdy produkty końcowe nadal potrzebują zasad dotyczących luk, posiadania o niskiej pewności i ręcznego przeglądu.
Jak ocenić system do koszykówki uwzględniający okluzję
- Mierz pominięte detekcje, fałszywe detekcje, duplikaty ramek, zmiany tożsamości, pofragmentowane ścieżki i czas ponownego pozyskania — nie tylko średni błąd pozycji.
- Raportuj wyniki według scenariusza: duży ruch w strefie podkoszowej, zasłony, zbiórki, kontratak, panoramy transmisyjne i kontakt piłki z ręką.
- Oddziel zaobserwowane współrzędne od interpolowanych lub odtworzonych zakresów i ujawnij pewność na poziomie wyjściowym.
- Testuj kolegów z drużyny w tych samych strojach i nagłe wbiegnięcia, ponieważ łatwe klipy z izolowanymi zawodnikami niedoszacowują ryzyka asocjacji w koszykówce.
- Zachowaj oryginalne zsynchronizowane wideo, aby analitycy mogli przejrzeć istotne zdarzenia o niskiej pewności.
Pytanie biznesowe następuje po pytaniu modelowym. Grafika transmisyjna może tolerować krótką, opóźnioną korektę inaczej niż pomoc sędziowska, raport trenerski czy wskaźnik zdrowia zawodnika. Zdefiniuj konsekwencje błędu przed wybraniem progów. System, który wstrzymuje się od oceny jednego niejednoznacznego zbiórki, może być bardziej godny zaufania niż ten, który generuje pełną, ale błędnie przypisaną historię posiadania piłki.
Co to oznacza dla informacji zwrotnej AI dla graczy
Klip treningowy nagrany jednym telefonem ma mniej punktów widzenia niż system arenowy, więc jakość nagrania ma znaczenie. Ustaw kamerę tak, aby całe ciało, piłka, stopy i cel pozostały widoczne; unikaj, aby koledzy z drużyny przechodzili bezpośrednio między obiektywem a sportowcem; zachowaj wystarczające oświetlenie dla krótkiej ekspozycji; i zostaw przestrzeń wokół ruchu. Lepsze nagranie nie może wyeliminować każdej samo-okluzji, ale może zmniejszyć luki, których można uniknąć, zanim jakikolwiek model zostanie uruchomiony. Informacje zwrotne AI dotyczące rzutu w koszykówce
Warstwa informacji zwrotnej powinna wskazywać, co było widoczne i gdzie spadła pewność. Jeśli nadgarstek rzucający znika za tułowiem, produkt może poprosić o inny kąt zamiast wymyślać ścieżkę stawu. Jeśli kolega z drużyny przekroczy kadr, może zachować widoczne fazy i oznaczyć fazę zablokowaną. Użyteczną obietnicą jest możliwa do sprawdzenia obserwacja trenerska powiązana z przesłanym wideo — a nie twierdzenie, że model widział przez ciała.
Najczęściej zadawane pytania
Czy AI może śledzić koszykarza, gdy inny zawodnik zasłania kamerę?
Może czasami utrzymać hipotezę przez krótką blokadę, wykorzystując niedawny ruch, wygląd, pozę, geometrię boiska lub inną kamerę. To jest asocjacja czasowa, a nie bezpośrednia widoczność. Im dłuższe i bardziej niejednoznaczne nakładanie się, tym ważniejsze stają się pewność i późniejsze dowody.
Czym jest zmiana tożsamości w śledzeniu zawodników?
Zmiana tożsamości następuje, gdy tracker przypisuje widoczne wykrycie do niewłaściwej, trwałej ścieżki zawodnika. Często dzieje się to po rozdzieleniu nakładających się na siebie kolegów z drużyny, zwłaszcza gdy ich stroje i wygląd ciała są podobne. Ścieżka może pozostać płynna, podczas gdy nazwana lub numerowana tożsamość staje się błędna.
Czy więcej kamer eliminuje okluzję w koszykówce?
Nie. Wiele skalibrowanych widoków może dostarczyć dowodów, gdy jedna kamera jest zablokowana i może wspierać rekonstrukcję 3D. Gęste skupiska zawodników, ręce wokół piłki, rozmycie, ograniczenia kalibracji i wspólne obszary niewidoczne nadal mogą tworzyć luki. Zyskiem jest więcej dowodów i lepsza geometria, a nie doskonała widoczność.
Dlaczego po prostu nie interpolować każdej brakującej współrzędnej?
Interpolacja może wypełnić krótką, przewidywalną lukę, ale koszykówka zawiera zatrzymania, cięcia, skoki, odbicia i zmiany posiadania piłki. Gładka ścieżka matematyczna może być fizycznie wiarygodna, a mimo to należeć do niewłaściwego zawodnika lub piłki. Dobre systemy ograniczają interpolację, oznaczają ją jako szacowaną i ponownie otwierają oryginalne wideo, gdy wynik wpływa na ważną analizę.
