Краткая версия: Окклюзия происходит, когда другое тело, кольцо, собственные конечности игрока или угол камеры скрывают игрока или мяч. Система может пропустить объект, создать дублирующие рамки или присвоить неверную идентификацию после его возвращения. История движения, особенности позы и внешнего вида, ограничения площадки и синхронизированные камеры могут восполнить некоторые пробелы. Они не могут сделать каждый скрытый момент наблюдаемым, поэтому надежные продукты сохраняют неопределенность и связывают результаты с видео.
Главные выводы
- Окклюзия — это отсутствие визуальных доказательств, а не подтверждение того, что игрок или мяч перестали двигаться.
- Баскетбол сложен, потому что похожая форма, быстрые смены направления, плотное движение в краске и маленький быстрый мяч встречаются одновременно.
- Обнаружение находит видимые объекты покадрово; отслеживание должно связывать эти наблюдения с постоянными идентификаторами с течением времени.
- Временные модели могут заполнять короткие пробелы, в то время как многокамерные и 3D-системы могут предоставить другой ракурс того же момента.
- Достоверный анализ выявляет уверенность, пробелы, смены идентификации и исходное видео, вместо того чтобы представлять каждую координату как достоверную.
Что такое окклюзия в компьютерном зрении в баскетболе?
Окклюзия возникает, когда камера не может напрямую видеть весь объект или его часть, который должна измерять система компьютерного зрения. Защитник может пройти между объективом и игроком с мячом. Три игрока могут перекрывать друг друга под кольцом. Мяч может исчезнуть за предплечьем, туловищем, щитом или судьей. Спортсмен и мяч продолжают двигаться в физическом мире, но изображение больше не содержит достаточных видимых доказательств для однозначного покадрового наблюдения. SportsMOT: Большой набор данных для отслеживания нескольких объектов в различных спортивных сценах Итеративное масштабирование ExpansionIoU и ассоциация глубоких признаков для отслеживания нескольких объектов в спорте отслеживание игроков в баскетболе
Это различие имеет значение, потому что результат отслеживания может выглядеть непрерывным, даже если часть его выведена. Детектор может видеть игрока до перекрытия, пропустить несколько кадров, а затем увидеть похожего игрока после. Трекер должен решить, принадлежат ли эти наблюдения одной и той же личности. Баскетбол усложняет это решение: SportsMOT подчеркивает частую окклюзию, в то время как другие исследования по отслеживанию в спорте добавляют к проблеме похожую командную форму и непредсказуемые движения, такие как кроссоверы. Однокамерный баскетбольный трекер с использованием слияния признаков позы и семантических признаков
Четыре распространенные формы баскетбольной окклюзии
| Тип окклюзии | Баскетбольный пример | Вероятный сбой |
|---|---|---|
| Игрок-игрок | Игрок, ставящий заслон, и защитник перекрываются с ракурса камеры | Пропущенное обнаружение, объединенная рамка или смена идентификации |
| Самоокклюзия | Торс бросающего игрока скрывает локоть или запястье | Отсутствующие или нестабильные ориентиры позы |
| Объект-сцена | Мяч проходит за кольцом, щитом или судьей | Короткий пробел в отслеживании мяча или ложное местоположение |
| Кадр и вид | Панорамирование, зум, кадрирование, размытие или низкий ракурс удаляют полезные детали | Низкая уверенность, задержка повторного обнаружения или неправильная ассоциация |
Частичная и полная окклюзия — это точки на спектре. Видимая голова и одно плечо могут быть достаточными для сохранения идентификации, но недостаточными для оценки полного скелета. Мяч может оставаться частично видимым, но при этом напоминать руку, нашивку на майке или фоновый объект на игровой скорости. Поэтому уверенность должна быть привязана к конкретному результату — обнаружению, идентификации, суставу или координате мяча — а не сжиматься в одно утверждение о том, что весь кадр был либо отслежен, либо не отслежен.
Почему обнаружение и отслеживание терпят неудачу по-разному
Обнаружение спрашивает, какие игроки или мячи видны в этом кадре и где они появляются. Отслеживание спрашивает, какое текущее наблюдение соответствует каждой предыдущей идентификации. Окклюзия может нарушить любой из слоев. Детектор может не создать рамку для скрытого спортсмена, одну рамку вокруг двух спортсменов или две рамки вокруг одного частично видимого спортсмена. Статья D3 формализует последнюю ошибку как обнаружение дубликатов: несколько рамок неверно сообщают об одном и том же спортсмене во время окклюзии. D3: Деконтаминатор обнаружения дубликатов для отслеживания нескольких спортсменов в спортивных видео
Ассоциация становится более сложным вопросом после восстановления видимости. Товарищи по команде носят почти одинаковую форму, несколько спортсменов могли пересечься, а кроссовер или отсекающее движение аннулируют простой прямолинейный прогноз. Система может привязать вновь появившуюся рамку к неверной траектории, создавая смену идентификации. Эта одна ошибка может загрязнить скорость, расстояние, соответствие, владение и метки последующих событий, даже если каждая последующая рамка визуально точна. Восстановление, ориентированное на наблюдение, и восстановление центрального расстояния для отслеживания спортсменов
Как временное отслеживание преодолевает скрытый момент
- Используйте недавнее положение и скорость в качестве гипотезы о коротком движении, вместо того чтобы считать траекторию немедленно исчезнувшей.
- Сравнивайте новые обнаружения с недавними признаками внешнего вида, позы и семантики вместо использования только расстояния между центральными точками.
- Используйте границы площадки, правдоподобную скорость, сторону команды и известную геометрию игры, чтобы исключить невозможные совпадения.
- Сохраняйте несколько возможных ассоциаций, когда доказательства слабы, затем разрешайте их, когда последующие кадры обеспечивают большее разделение.
- Отметьте восстановленные или интерполированные отрезки, чтобы конечные пользователи могли отличать наблюдение от оценки.
Эти шаги являются формами управления доказательствами, а не доказательством. Слияние признаков позы и семантических признаков может дать ассоциации более богатые подсказки, как демонстрирует однокамерный баскетбольный трекер. Восстановление, ориентированное на наблюдение, может восстановить траекторию после пропущенного обнаружения. Но длительное перекрытие, резкое изменение направления или два визуально похожих игрока, расходящиеся в противоположных направлениях, могут оставаться неоднозначными. Ответственный результат может быть идентификацией с более низкой уверенностью или отмеченным пробелом, а не ложно точным путем.
Почему несколько камер и 3D-поза помогают
Другая камера может сохранять видимость, когда один ракурс заблокирован. NBA и Sony анонсировали систему, разработанную для захвата каждого игрока и мяча в трех измерениях с задержкой менее секунды. Текущее объяснение Gravity от NBA гласит, что ее оптическая система применяет 3D-обнаружение позы к 29 точкам тела на игрока со скоростью 60 выборок в секунду. Таким образом, несколько синхронизированных ракурсов и калибровка площадки могут поддерживать общую 3D-оценку вместо того, чтобы полагаться на одно транслируемое изображение. Партнерство NBA и Sony Hawk-Eye по отслеживанию 3D следующего поколения NBA — Введение в Gravity и 3D-отслеживание позы
Большее количество ракурсов уменьшает некоторые неясности, но не делает сцену идеально наблюдаемой. Игроки могут группироваться под разными углами, мяч может быть скрыт руками или кольцом, калибровка может сбиваться, и каждая камера может иметь ограничения по размытию или экспозиции. Объявление NBA описывает возможности и предполагаемые применения; оно не обещает нулевой окклюзии. Надежная система объединяет ракурсы, время, геометрию и неопределенность, а не рассматривает каждый отдельный датчик как непогрешимый.
Почему отслеживание баскетбольного мяча особенно сложно
Мяч занимает гораздо меньше пикселей, чем игрок, меняет направление во время передач и подборов, быстро ускоряется и проводит время рядом с руками, майками, кольцом и щитом. Размытие движения может превратить его в полосу; кадрирование трансляции может полностью удалить его; несколько оранжевых или круглых областей изображения могут выглядеть правдоподобно. Когда владение меняется в толпе, система должна определить как местоположение, так и принадлежность, в то время как лучшие визуальные доказательства могут временно отсутствовать. Партнерство NBA G League и Second Spectrum по оптическому отслеживанию
Игровой контекст может сузить варианты — передача должна следовать физически правдоподобной дуге, а владение не должно телепортироваться между удаленными игроками — но контекст все еще является выводом. Производная статистика, такая как время касания, скорость передачи или контекст броска, должна отражать качество базовой траектории мяча. Оптическое отслеживание может открыть полезные метрики, как описывает партнерство G League, в то время как последующие продукты все еще нуждаются в правилах для пробелов, владения с низкой уверенностью и ручного просмотра.
Как оценить баскетбольную систему, учитывающую окклюзию
- Измеряйте пропущенные обнаружения, ложные обнаружения, дублирующиеся рамки, смены идентификации, фрагментированные траектории и время до повторного захвата — не только среднюю ошибку положения.
- Сообщайте результаты по сценариям: плотное движение в «краске», заслоны, подборы, переход, панорамирование трансляции и контакт мяча с рукой.
- Отделяйте наблюдаемые координаты от интерполированных или восстановленных отрезков и отображайте достоверность на уровне вывода.
- Тестируйте товарищей по команде в одинаковой форме и резкие отсечки, потому что простые клипы с изолированными игроками недооценивают риск баскетбольной ассоциации.
- Сохраняйте исходное синхронизированное видео доступным, чтобы аналитики могли просматривать значимые события с низкой степенью достоверности.
Бизнес-вопрос следует за вопросом модели. Графика трансляции может допускать краткую отложенную коррекцию иначе, чем судейская помощь, тренерский отчет или показатель здоровья игрока. Определите последствия ошибки, прежде чем выбирать пороговые значения. Система, которая воздерживается от одного неоднозначного подбора, может быть более надежной, чем та, которая выдает полную, но неверно приписанную историю владения.
Что это значит для обратной связи ИИ, ориентированной на игрока
Обучающий клип, снятый на один телефон, имеет меньше точек обзора, чем арендная система, поэтому качество съемки имеет значение. Разместите камеру так, чтобы все тело, мяч, ноги и цель оставались видимыми; избегайте пересечения товарищей по команде непосредственно между объективом и спортсменом; обеспечьте достаточно света для короткой выдержки; и оставьте пространство вокруг движения. Лучшая съемка не может устранить каждое самозатенение, но она может уменьшить избегаемые пробелы до запуска любой модели. Обратная связь по баскетбольному броску с ИИ
Слой обратной связи должен указывать, что было видно и где снизилась уверенность. Если бросающее запястье исчезает за туловищем, продукт может запросить другой ракурс вместо того, чтобы придумывать траекторию сустава. Если товарищ по команде пересекает кадр, он может сохранить видимые фазы и пометить заблокированную фазу. Полезное обещание — это проверяемое тренерское наблюдение, привязанное к отправленному видео, а не утверждение, что модель видела сквозь тела.
Часто задаваемые вопросы
Может ли ИИ отслеживать баскетболиста, когда другой игрок блокирует камеру?
Иногда он может поддерживать гипотезу при кратковременном перекрытии, используя недавнее движение, внешний вид, позу, геометрию площадки или другую камеру. Это временная ассоциация, а не прямая видимость. Чем дольше и неоднозначнее перекрытие, тем важнее становятся уверенность и последующие доказательства.
Что такое смена идентификации при отслеживании игроков?
Смена идентификации происходит, когда трекер присваивает видимое обнаружение неверному постоянному треку игрока. Это часто происходит после того, как перекрывающиеся товарищи по команде разделяются, особенно когда их форма и внешний вид тела схожи. Путь может оставаться плавным, в то время как именная или номерная идентификация становится неверной.
Устраняют ли больше камер окклюзию в баскетболе?
Нет. Несколько калиброванных ракурсов могут предоставить доказательства, когда одна камера заблокирована, и могут поддерживать 3D-реконструкцию. Плотные скопления игроков, руки вокруг мяча, размытие, ограничения калибровки и общие слепые зоны все еще могут создавать пробелы. Выгода заключается в большем количестве доказательств и лучшей геометрии, а не в идеальной видимости.
Почему бы просто не интерполировать каждую отсутствующую координату?
Интерполяция может заполнить короткий, предсказуемый пробел, но баскетбол содержит остановки, отсечения, прыжки, отскоки и смены владения. Плавный математический путь может быть физически правдоподобным и при этом принадлежать неверному игроку или мячу. Хорошие системы ограничивают интерполяцию, помечают ее как оценочную и вновь открывают исходное видео, когда результат влияет на важный анализ.
