Kısaca: Kapanma (Occlusion), başka bir vücut, çember, bir oyuncunun kendi uzuvları veya kamera açısı bir oyuncuyu veya topu gizlediğinde meydana gelir. Bir sistem nesneyi kaçırabilir, yinelenen kutular oluşturabilir veya geri döndüğünde yanlış kimliği atayabilir. Hareket geçmişi, duruş ve görünüm özellikleri, saha kısıtlamaları ve senkronize kameralar bazı boşlukları kapatabilir. Her gizli anı gözlemlenebilir kılamazlar, bu nedenle güvenilir ürünler belirsizliği korur ve sonuçları videoya bağlar.
Öne çıkan noktalar
- Görüş engeli, görsel kanıtın eksik olmasıdır, oyuncunun veya topun hareket etmeyi bıraktığının kanıtı değil.
- Basketbol zordur çünkü benzer formalar, hızlı yön değişiklikleri, yoğun pota altı trafiği ve küçük, hızlı bir top bir arada bulunur.
- Tespit, görünür nesneleri kare kare bulur; takip, bu gözlemleri zaman içinde kalıcı kimliklerle ilişkilendirmelidir.
- Zamansal modeller kısa boşlukları kapatabilirken, çoklu kamera ve 3D sistemler aynı anın başka bir görünümünü sağlayabilir.
- Güvenilir bir analiz, her koordinatı kesin olarak sunmak yerine güveni, boşlukları, kimlik değişimlerini ve orijinal videoyu ortaya koyar.
Basketbol bilgisayar görüşünde oklüzyon nedir?
Kapanma (occlusion), bir görüntüleme sisteminin ölçmesi gereken nesnenin tamamını veya bir kısmını kamera doğrudan göremediğinde meydana gelir. Bir savunma oyuncusu, lens ile top süren oyuncu arasından geçebilir. Üç oyuncu pota altında üst üste gelebilir. Top, bir ön kolun, gövdenin, panyanın veya hakemin arkasında kaybolabilir. Sporcu ve top fiziksel dünyada hareket etmeye devam eder, ancak görüntü artık net bir kare düzeyinde gözlem için yeterli görünür kanıtı içermez. SportsMOT: Çoklu Spor Sahnelerinde Büyük Bir Çoklu Nesne Takip Veri Kümesi Sporlarda Çoklu Nesne Takibi için İteratif Ölçek Büyütme ExpansionIoU ve Derin Özellik İlişkilendirmesi basketbolcu takibi
Bu ayrım önemlidir, çünkü bir takip çıktısı, bir kısmı çıkarımsal olsa bile sürekli görünebilir. Bir dedektör, örtüşmeden önce bir oyuncuyu görebilir, birkaç kareyi kaçırabilir, ardından benzer bir oyuncuyu görebilir. Takipçi, bu gözlemlerin aynı kimliğe ait olup olmadığına karar vermelidir. Basketbol bu kararı zorlaştırır: SportsMOT sık sık kapanmayı (occlusion) vurgularken, diğer spor takip araştırmaları benzer takım formalarını ve crossover gibi öngörülemeyen hareketleri soruna ekler. Single-Camera Basketball Tracker through Pose and Semantic Feature Fusion
Basketbolda gizlenmenin dört yaygın biçimi
| Gizlenme türü | Basketbol örneği | Olası hata |
|---|---|---|
| Oyuncu-oyuncu | Perdeci ve savunmacı kamera açısından üst üste biner | Kaçırılan bir tespit, birleştirilmiş kutu veya kimlik değişimi |
| Öz gizlenme | Şutörün gövdesi dirseği veya bileği gizler | Eksik veya kararsız duruş işaretleri |
| Nesne-sahne | Top çemberin, panyanın veya hakemin arkasından geçer | Kısa bir top izleme boşluğu veya yanlış konum |
| Kare ve görünüm | Bir kaydırma, yakınlaştırma, kırpma, bulanıklık veya düşük açı faydalı ayrıntıları ortadan kaldırır | Düşük güven, gecikmeli yeniden edinme veya yanlış ilişkilendirme |
Kısmi ve tam kapanma (occlusion) bir spektrumun noktalarıdır. Görünür bir baş ve bir omuz, bir kimliği canlı tutmak için yeterli olabilir, ancak tam bir iskeleti tahmin etmek için yeterli değildir. Bir top kısmen görünür kalabilir, ancak oyun hızında bir ele, forma yamasına veya arka plan şekline benzeyebilir. Bu nedenle güven, tüm karenin ya takip edildiği ya da takip edilmediği tek bir iddiaya sıkıştırılmamalı, belirli çıktıya (tespit, kimlik, eklem veya top koordinatı) bağlanmalıdır.
Tespit ve takibin neden farklı şekilde başarısız olduğu
Tespit, bu karede hangi oyuncuların veya topların görünür olduğunu ve nerede göründüklerini sorar. Takip, mevcut gözlemin her önceki kimliğe karşılık geldiğini sorar. Kapanma (Occlusion) her iki katmanı da bozabilir. Bir dedektör, gizli bir sporcu için kutu üretmeyebilir, iki sporcunun etrafında bir kutu veya kısmen görünür bir sporcunun etrafında iki kutu üretebilir. D3 makalesi, son hatayı yinelenen tespit olarak resmileştirir: birden fazla kutu, bir kapanma sırasında aynı sporcuyu yanlış bir şekilde rapor eder. D3: Duplicate Detection Decontaminator for Multi-Athlete Tracking in Sports Videos
Görünürlük geri döndükten sonra ilişkilendirme daha zor bir soru haline gelir. Takım arkadaşları neredeyse aynı formaları giyer, birkaç sporcu yolları kesişmiş olabilir ve bir crossover veya cut basit bir düz çizgi tahminini geçersiz kılar. Sistem, yeniden ortaya çıkan kutuyu yanlış izlemeye bağlayarak bir kimlik değişimi yaratabilir. Bu tek hata, sonraki her kutu görsel olarak doğru olsa bile hız, mesafe, eşleşme, topa sahip olma ve sonraki olay etiketlerini kirletebilir. Observation Centric and Central Distance Recovery for Athlete Tracking
Zamansal takibin gizli bir anı nasıl köprülediği
- Son pozisyon ve hızı, izi hemen kaybolmuş gibi ele almak yerine kısa bir hareket hipotezi olarak ileri taşıyın.
- Sadece merkez nokta mesafesini kullanmak yerine yeni tespitleri son görünüm, duruş ve anlamsal özelliklerle karşılaştırın.
- İmkansız eşleşmeleri elemek için saha sınırlarını, makul hızı, takım tarafını ve bilinen oyun geometrisini kullanın.
- Kanıt zayıf olduğunda birkaç aday ilişkilendirmeyi tutun, ardından sonraki kareler daha fazla ayrım sağladığında bunları çözün.
- Geri kazanılmış veya enterpolasyonlu aralıkları işaretle ki sonraki kullanıcılar gözlemi tahminden ayırabilsin.
Bu adımlar kanıt yönetimi biçimleridir, kanıt değil. Duruş ve anlamsal özellik füzyonu, tek kameralı basketbol takipçisinin gösterdiği gibi, ilişkilendirmeye daha zengin ipuçları verebilir. Gözlem merkezli kurtarma, kaçırılan bir tespitten sonra bir yörüngeyi yeniden bağlayabilir. Ancak uzun bir örtüşme, keskin bir yön değişikliği veya görsel olarak benzer iki oyuncunun zıt yönlerde ayrılması belirsiz kalabilir. Sorumlu çıktı, yanlış bir şekilde kesin bir yol yerine, daha düşük güvenilirlikli bir kimlik veya işaretlenmiş bir boşluk olabilir.
Neden çoklu kameralar ve 3D duruş yardımcı olur?
Bir görüş açısı engellendiğinde başka bir kamera görünürlüğü koruyabilir. NBA ve Sony, her oyuncuyu ve topu üç boyutlu olarak, saniyenin altında gecikmeyle yakalamak için tasarlanmış bir sistem duyurdu. NBA'in mevcut Gravity açıklayıcısı, optik sisteminin oyuncu başına 29 vücut noktasına saniyede 60 örnekle 3D duruş tespiti uyguladığını belirtiyor. Bu nedenle, birden fazla senkronize görüş açısı ve bir saha kalibrasyonu, tek bir yayın görüntüsüne güvenmek yerine ortak bir 3D tahmini destekleyebilir. NBA and Sony Hawk-Eye Next Generation 3D Tracking Partnership NBA — Intro to Gravity and 3D Pose Tracking
Daha fazla görüş açısı bazı belirsizlikleri azaltır, ancak sahneyi tamamen gözlemlenebilir kılmaz. Oyuncular birkaç açıdan kümelenebilir, top eller veya çember tarafından gizlenebilir, kalibrasyon kayabilir ve her kameranın bulanıklık veya pozlama limitleri olabilir. NBA duyurusu yetenekleri ve hedeflenen uygulamaları açıklar; sıfır kapanma (occlusion) vaat etmez. Güçlü bir sistem, tek bir sensörü yanılmaz olarak ele almak yerine, görüş açılarını, zamanı, geometriyi ve belirsizliği birleştirir.
Basketbolu takip etmek neden özellikle zordur?
Top, bir oyuncudan çok daha az piksel kaplar, paslar ve ribaundlar sırasında yön değiştirir, hızla ivmelenir ve ellerin, formaların, çemberin ve panyanın yanında zaman geçirir. Hareket bulanıklığı onu bir çizgiye dönüştürebilir; bir yayın kırpması onu tamamen kaldırabilir; birkaç turuncu veya dairesel görüntü bölgesi makul görünebilir. Kalabalık içinde topa sahip olma değiştiğinde, en iyi görsel kanıt geçici olarak mevcut olmasa bile sistem hem konumu hem de sahipliği çözmelidir. NBA G League and Second Spectrum Optical Tracking Partnership
Oyun bağlamı seçenekleri daraltabilir (bir pas fiziksel olarak makul bir yayı takip etmeli ve top uzak oyuncular arasında ışınlanmamalıdır), ancak bağlam hala bir çıkarımdır. Dokunma süresi, pas hızı veya şut bağlamı gibi türetilmiş bir istatistik, temel top takibinin kalitesini taşımalıdır. Optik takip, G League ortaklığının açıkladığı gibi faydalı metriklerin kilidini açabilirken, sonraki ürünler hala boşluklar, düşük güvenilirlikli sahiplik ve manuel inceleme için kurallara ihtiyaç duyar.
Oklüzyon farkındalıklı bir basketbol sistemi nasıl değerlendirilir?
- Sadece ortalama konum hatasını değil, kaçırılan tespitleri, yanlış tespitleri, yinelenen kutuları, kimlik değişimlerini, parçalanmış izleri ve yeniden edinme süresini ölçün.
- Sonuçları senaryoya göre raporlayın: yoğun boyalı alan trafiği, perdeler, ribauntlar, geçiş hücumları, yayın kaydırmaları ve top-el teması.
- Gözlemlenen koordinatları enterpolasyonlu veya geri kazanılmış aralıklardan ayırın ve çıktı seviyesinde güveni gösterin.
- Aynı formayı giyen takım arkadaşlarını ve ani katları test edin, çünkü kolay izole oyuncu klipleri basketbol ilişkilendirme riskini hafife alır.
- Analistlerin önemli düşük güvenilirlikli olayları inceleyebilmesi için orijinal senkronize videoyu erişilebilir tutun.
İş sorusu, model sorusunu takip eder. Bir yayın grafiği, kısa bir gecikmeli düzeltmeyi bir hakem yardımından, bir koçluk raporundan veya oyuncu sağlığı metriğinden farklı şekilde tolere edebilir. Eşik değerleri seçmeden önce bir hatanın sonucunu tanımlayın. Belirsiz bir ribaundda çekimser kalan bir sistem, eksiksiz ancak yanlış atfedilmiş bir topa sahip olma geçmişi üreten bir sistemden daha güvenilir olabilir.
Oyuncu odaklı yapay zeka geri bildirimi için bunun anlamı nedir?
Tek telefonla çekilen bir antrenman klibi, bir arena sisteminden daha az görüş açısına sahiptir, bu nedenle çekim kalitesi önemlidir. Kamerayı, tüm vücudun, topun, ayakların ve hedefin görünür kaldığı yere yerleştirin; takım arkadaşlarının doğrudan lens ile sporcu arasından geçmesini önleyin; kısa pozlama için yeterli ışık sağlayın; ve hareketin etrafında boşluk bırakın. Daha iyi çekim, her kendi kendine kapanmayı (self-occlusion) ortadan kaldıramaz, ancak herhangi bir model çalışmadan önce önlenebilir boşlukları azaltabilir. AI basketball shot feedback
Geri bildirim katmanı, neyin görünür olduğunu ve güvenin nerede azaldığını belirtmelidir. Eğer şut atan bilek gövdenin arkasında kaybolursa, ürün bir eklem yolu uydurmak yerine başka bir açı isteyebilir. Eğer bir takım arkadaşı kadrajdan geçerse, görünür fazları koruyabilir ve engellenen fazı işaretleyebilir. Faydalı vaat, gönderilen videoya bağlı, incelenebilir bir koçluk gözlemidir – modelin vücutların içini gördüğü iddiası değil.
Sıkça sorulan sorular
Başka bir oyuncu kamerayı engellediğinde yapay zeka bir basketbol oyuncusunu takip edebilir mi?
Bazen kısa bir engelleme boyunca, son hareket, görünüm, duruş, saha geometrisi veya başka bir kamera kullanarak bir hipotezi sürdürebilir. Bu, doğrudan görünürlük değil, zamansal bir ilişkidir. Üst üste binme ne kadar uzun ve belirsiz olursa, güven ve sonraki kanıtlar o kadar önemli hale gelir.
Oyuncu takibinde kimlik değişimi nedir?
Bir kimlik değişimi, bir takipçinin görünür bir tespiti yanlış kalıcı oyuncu izine atamasıyla meydana gelir. Bu genellikle üst üste binen takım arkadaşları ayrıldıktan sonra, özellikle formaları ve vücut görünümleri benzer olduğunda olur. Adlandırılmış veya numaralandırılmış kimlik yanlış hale gelirken yol pürüzsüz kalabilir.
Daha fazla kamera basketbol oklüzyonunu ortadan kaldırır mı?
Hayır. Birden fazla kalibre edilmiş görüş, bir kamera engellendiğinde kanıt sağlayabilir ve 3D yeniden yapılandırmayı destekleyebilir. Yoğun oyuncu kümeleri, topun etrafındaki eller, bulanıklık, kalibrasyon sınırları ve paylaşılan kör bölgeler hala boşluklar yaratabilir. Kazanç, daha fazla kanıt ve daha iyi geometridir, mükemmel görünürlük değil.
Neden her eksik koordinatı enterpole etmeyelim ki?
İnterpolasyon, kısa, öngörülebilir bir boşluğu kapatabilir, ancak basketbol duruşlar, kat etmeler, sıçramalar, topa dokunuşlar ve top kaybı/kazanımları içerir. Pürüzsüz bir matematiksel yol fiziksel olarak makul olabilir ve yine de yanlış oyuncuya veya topa ait olabilir. İyi sistemler interpolasyonu kısıtlar, tahmini olarak işaretler ve sonuç önemli bir analizi etkilediğinde orijinal videoyu yeniden açar.
