Singkatnya: Oklusi terjadi ketika tubuh lain, ring, anggota tubuh pemain sendiri, atau sudut kamera menyembunyikan pemain atau bola. Sistem mungkin melewatkan objek, membuat kotak duplikat, atau melampirkan identitas yang salah setelah objek kembali terlihat. Riwayat gerakan, fitur pose dan penampilan, batasan lapangan, dan kamera yang disinkronkan dapat menjembatani beberapa celah. Mereka tidak dapat membuat setiap momen tersembunyi dapat diamati, jadi produk yang andal mempertahankan ketidakpastian dan menghubungkan hasil ke video.
Poin penting
- Oklusi adalah hilangnya bukti visual, bukan bukti bahwa pemain atau bola berhenti bergerak.
- Bola basket sulit karena seragam yang mirip, perubahan arah yang cepat, lalu lintas padat di area kunci, dan bola kecil yang cepat terjadi secara bersamaan.
- Deteksi menemukan objek yang terlihat bingkai demi bingkai; pelacakan harus mengaitkan pengamatan tersebut dengan identitas yang persisten seiring waktu.
- Model temporal dapat menjembatani celah pendek, sementara sistem multi-kamera dan 3D dapat memberikan pandangan lain dari momen yang sama.
- Analisis yang dapat dipercaya mengungkap kepercayaan diri, celah, perubahan identitas, dan video asli daripada menyajikan setiap koordinat sebagai sesuatu yang pasti.
Apa itu oklusi dalam visi komputer bola basket?
Oklusi terjadi ketika kamera tidak dapat melihat secara langsung seluruh atau sebagian objek yang seharusnya diukur oleh sistem penglihatan. Seorang pemain bertahan mungkin lewat di antara lensa dan pembawa bola. Tiga pemain mungkin saling tumpang tindih di bawah ring. Bola mungkin menghilang di balik lengan bawah, badan, papan pantul, atau wasit. Atlet dan bola terus bergerak di dunia fisik, tetapi gambar tidak lagi mengandung cukup bukti yang terlihat untuk observasi tingkat bingkai yang tidak ambigu. SportsMOT: Kumpulan Data Pelacakan Multi-Objek Besar dalam Berbagai Adegan Olahraga Iterative Scale-Up ExpansionIoU dan Asosiasi Fitur Mendalam untuk Pelacakan Multi-Objek dalam Olahraga pelacakan pemain bola basket
Perbedaan itu penting karena keluaran pelacakan dapat terlihat berkelanjutan bahkan ketika sebagian darinya disimpulkan. Detektor mungkin melihat seorang pemain sebelum tumpang tindih, melewatkan beberapa bingkai, lalu melihat pemain serupa setelahnya. Pelacak harus memutuskan apakah observasi tersebut termasuk dalam identitas yang sama. Bola basket membuat keputusan sulit: SportsMOT menyoroti oklusi yang sering terjadi, sementara penelitian pelacakan olahraga lainnya menambahkan seragam tim yang serupa dan gerakan tak terduga seperti crossover ke dalam masalah. Pelacak Bola Basket Kamera Tunggal melalui Fusi Fitur Pose dan Semantik
Empat bentuk umum oklusi dalam bola basket
| Jenis oklusi | Contoh bola basket | Potensi kegagalan |
|---|---|---|
| Antar-pemain | Seorang screener dan pemain bertahan tumpang tindih dari sudut kamera | Deteksi yang terlewat, kotak yang tergabung, atau pergantian identitas |
| Oklusi diri | Tubuh penembak menyembunyikan siku atau pergelangan tangan | Landmark pose yang hilang atau tidak stabil |
| Objek-pemandangan | Bola melewati di belakang ring, papan pantul, atau wasit | Celah jalur bola yang pendek atau lokasi yang salah |
| Bingkai dan tampilan | Pan, zoom, crop, blur, atau sudut rendah menghilangkan detail yang berguna | Keyakinan rendah, akuisisi ulang yang tertunda, atau asosiasi yang salah |
Oklusi parsial dan lengkap adalah titik-titik pada spektrum. Kepala yang terlihat dan satu bahu mungkin cukup untuk menjaga identitas tetap hidup tetapi tidak cukup untuk memperkirakan kerangka lengkap. Bola dapat tetap terlihat sebagian namun menyerupai tangan, patch jersey, atau bentuk latar belakang pada kecepatan permainan. Oleh karena itu, kepercayaan harus melekat pada keluaran spesifik—deteksi, identitas, sendi, atau koordinat bola—bukan dikompresi menjadi satu klaim bahwa seluruh bingkai dilacak atau tidak dilacak.
Mengapa deteksi dan pelacakan gagal secara berbeda
Deteksi menanyakan pemain atau bola mana yang terlihat dalam bingkai ini dan di mana mereka muncul. Pelacakan menanyakan observasi saat ini mana yang sesuai dengan setiap identitas sebelumnya. Oklusi dapat merusak salah satu lapisan. Detektor mungkin tidak menghasilkan kotak untuk atlet yang tersembunyi, satu kotak di sekitar dua atlet, atau dua kotak di sekitar satu atlet yang sebagian terlihat. Makalah D3 memformalkan kegagalan terakhir sebagai deteksi duplikat: beberapa kotak secara tidak benar melaporkan atlet yang sama selama oklusi. D3: Dekontaminator Deteksi Duplikat untuk Pelacakan Multi-Atlet dalam Video Olahraga
Asosiasi menjadi pertanyaan yang lebih sulit setelah visibilitas kembali. Rekan satu tim mengenakan seragam yang hampir identik, beberapa atlet mungkin telah berpapasan, dan crossover atau cut membatalkan perkiraan garis lurus sederhana. Sistem dapat melampirkan kotak yang muncul kembali ke jalur yang salah, menciptakan pergantian identitas. Satu kesalahan itu dapat mencemari kecepatan, jarak, matchup, kepemilikan, dan label peristiwa hilir meskipun setiap kotak selanjutnya akurat secara visual. Pemulihan Berpusat pada Observasi dan Jarak Pusat untuk Pelacakan Atlet
Bagaimana pelacakan temporal menjembatani momen yang tersembunyi
- Meneruskan posisi dan kecepatan terkini sebagai hipotesis gerakan singkat daripada menganggap jejak tersebut langsung hilang.
- Bandingkan deteksi baru dengan penampilan, pose, dan fitur semantik terbaru alih-alih hanya menggunakan jarak titik tengah.
- Gunakan batas lapangan, kecepatan yang masuk akal, sisi tim, dan geometri permainan yang diketahui untuk menghilangkan kecocokan yang mustahil.
- Pertahankan beberapa asosiasi kandidat ketika bukti lemah, lalu selesaikan ketika frame selanjutnya memberikan lebih banyak pemisahan.
- Tandai rentang yang dipulihkan atau diinterpolasi agar pengguna hilir dapat membedakan observasi dari estimasi.
Langkah-langkah ini adalah bentuk manajemen bukti, bukan bukti. Fusi fitur pose dan semantik dapat memberikan petunjuk yang lebih kaya pada asosiasi, seperti yang ditunjukkan oleh pelacak bola basket kamera tunggal. Pemulihan berpusat pada observasi dapat menghubungkan kembali lintasan setelah deteksi yang terlewat. Namun, tumpang tindih yang panjang, perubahan arah yang tajam, atau dua pemain yang secara visual serupa bergerak terpisah ke arah yang berlawanan mungkin tetap ambigu. Keluaran yang bertanggung jawab dapat berupa identitas dengan kepercayaan yang lebih rendah atau celah yang ditandai daripada jalur yang salah secara presisi.
Mengapa beberapa kamera dan pose 3D membantu
Kamera lain mungkin tetap mempertahankan visibilitas ketika satu sudut pandang terhalang. NBA dan Sony mengumumkan sistem yang dirancang untuk menangkap setiap pemain dan bola dalam tiga dimensi dengan latensi di bawah satu detik. Penjelasan Gravity NBA saat ini menyatakan bahwa sistem optiknya menerapkan deteksi pose 3D ke 29 titik tubuh per pemain pada 60 sampel per detik. Beberapa sudut pandang yang disinkronkan dan kalibrasi lapangan oleh karena itu dapat mendukung estimasi 3D bersama daripada mengandalkan satu gambar siaran. Kemitraan Pelacakan 3D Generasi Berikutnya NBA dan Sony Hawk-Eye NBA — Pengantar Gravity dan Pelacakan Pose 3D
Lebih banyak sudut pandang mengurangi beberapa ambiguitas, tetapi tidak membuat adegan sepenuhnya dapat diamati. Pemain dapat berkumpul dari beberapa sudut, bola dapat tersembunyi oleh tangan atau ring, kalibrasi dapat bergeser, dan setiap kamera dapat memiliki batasan blur atau eksposur. Pengumuman NBA menjelaskan kemampuan dan aplikasi yang dimaksud; itu tidak menjanjikan nol oklusi. Sistem yang kuat menggabungkan sudut pandang, waktu, geometri, dan ketidakpastian daripada memperlakukan setiap sensor tunggal sebagai tidak dapat salah.
Mengapa melacak bola basket sangat sulit
Bola menempati piksel yang jauh lebih sedikit daripada pemain, berubah arah selama umpan dan rebound, berakselerasi dengan cepat, dan menghabiskan waktu di dekat tangan, jersey, ring, dan papan pantul. Motion blur dapat mengubahnya menjadi garis; potongan siaran dapat menghilangkannya sepenuhnya; beberapa area gambar oranye atau melingkar dapat terlihat masuk akal. Ketika kepemilikan bola berubah di dalam kerumunan, sistem harus menyelesaikan lokasi dan kepemilikan sementara bukti visual terbaik mungkin tidak ada untuk sementara waktu. Kemitraan Pelacakan Optik NBA G League dan Second Spectrum
Konteks permainan dapat mempersempit pilihan—umpan harus mengikuti busur yang masuk akal secara fisik, dan kepemilikan bola tidak boleh berpindah secara instan antara pemain yang berjauhan—tetapi konteks tetap merupakan inferensi. Statistik turunan seperti waktu sentuh, kecepatan umpan, atau konteks tembakan harus mencerminkan kualitas pelacakan bola yang mendasarinya. Pelacakan optik dapat membuka metrik yang berguna, seperti yang dijelaskan oleh kemitraan G League, sementara produk hilir masih memerlukan aturan untuk celah, kepemilikan dengan kepercayaan rendah, dan tinjauan manual.
Bagaimana mengevaluasi sistem bola basket yang sadar oklusi
- Ukur deteksi yang terlewat, deteksi palsu, kotak duplikat, perubahan identitas, jejak yang terfragmentasi, dan waktu untuk mendapatkan kembali—bukan hanya kesalahan posisi rata-rata.
- Laporkan hasil berdasarkan skenario: lalu lintas padat di area kunci, screen, rebound, transisi, pan siaran, dan kontak bola-tangan.
- Pisahkan koordinat yang diamati dari rentang yang diinterpolasi atau dipulihkan dan tampilkan tingkat kepercayaan pada level output.
- Uji rekan satu tim dengan seragam yang sama dan gerakan memotong yang tiba-tiba karena klip pemain terisolasi yang mudah meremehkan risiko asosiasi bola basket.
- Sediakan video asli yang tersinkronisasi agar analis dapat meninjau peristiwa penting dengan tingkat kepercayaan rendah.
Pertanyaan bisnis mengikuti pertanyaan model. Sebuah grafik siaran dapat mentolerir koreksi tertunda singkat secara berbeda dari alat bantu wasit, laporan kepelatihan, atau metrik kesehatan pemain. Definisikan konsekuensi kesalahan sebelum memilih ambang batas. Sistem yang menahan diri pada satu rebound yang ambigu mungkin lebih dapat dipercaya daripada sistem yang menghasilkan riwayat kepemilikan yang lengkap tetapi salah atribusi.
Apa artinya ini untuk umpan balik AI yang dihadapi pemain
Klip latihan dari satu ponsel memiliki lebih sedikit sudut pandang dibandingkan sistem arena, jadi kualitas pengambilan gambar itu penting. Tempatkan kamera di mana seluruh tubuh, bola, kaki, dan target tetap terlihat; hindari rekan satu tim melintas langsung antara lensa dan atlet; pertahankan cahaya yang cukup untuk eksposur singkat; dan sisakan ruang di sekitar gerakan. Pengambilan gambar yang lebih baik tidak dapat menghilangkan setiap oklusi diri, tetapi dapat mengurangi celah yang dapat dihindari sebelum model apa pun berjalan. Umpan balik tembakan bola basket AI
Lapisan umpan balik harus menyatakan apa yang terlihat dan di mana kepercayaan diri menurun. Jika pergelangan tangan penembak menghilang di balik tubuh, produk dapat meminta sudut lain daripada menciptakan jalur sendi. Jika rekan satu tim melintasi bingkai, ia dapat mempertahankan fase yang terlihat dan menandai fase yang terhalang. Janji yang berguna adalah observasi kepelatihan yang dapat diperiksa yang terhubung dengan video yang dikirimkan—bukan klaim bahwa model melihat menembus tubuh.
Pertanyaan yang sering diajukan
Bisakah AI melacak pemain bola basket ketika pemain lain menghalangi kamera?
Terkadang, ia dapat mempertahankan hipotesis melalui penghalang singkat menggunakan gerakan terbaru, penampilan, pose, geometri lapangan, atau kamera lain. Itu adalah asosiasi temporal, bukan visibilitas langsung. Semakin lama dan ambigu tumpang tindihnya, semakin penting kepercayaan diri dan bukti selanjutnya.
Apa itu pergantian identitas dalam pelacakan pemain?
Pergantian identitas terjadi ketika pelacak menetapkan deteksi yang terlihat ke jalur pemain persisten yang salah. Ini sering terjadi setelah rekan satu tim yang tumpang tindih terpisah, terutama ketika seragam dan penampilan tubuh mereka serupa. Jalur mungkin tetap mulus sementara identitas yang dinamai atau diberi nomor menjadi salah.
Apakah lebih banyak kamera menghilangkan oklusi bola basket?
Tidak. Beberapa tampilan terkalibrasi dapat memberikan bukti ketika satu kamera terhalang dan dapat mendukung rekonstruksi 3D. Kluster pemain yang padat, tangan di sekitar bola, blur, batasan kalibrasi, dan area buta bersama masih dapat menciptakan celah. Keuntungannya adalah lebih banyak bukti dan geometri yang lebih baik, bukan visibilitas sempurna.
Mengapa tidak menginterpolasi setiap koordinat yang hilang saja?
Interpolasi dapat menjembatani celah pendek yang dapat diprediksi, tetapi bola basket mengandung berhenti, cut, lompatan, defleksi, dan perubahan kepemilikan. Jalur matematis yang mulus bisa jadi masuk akal secara fisik dan masih milik pemain atau bola yang salah. Sistem yang baik membatasi interpolasi, menandainya sebagai perkiraan, dan membuka kembali video asli ketika hasilnya memengaruhi analisis penting.
