Краткая версия: В этом руководстве обсуждается оценка систем ИИ-тренировок с использованием Рамочной программы NIST по управлению рисками ИИ и ключевых метрик машинного обучения.
Главные выводы
- Система управления рисками ИИ NIST предлагает добровольный, структурированный подход для оценки надежности ИИ.
- Стандартная точность часто является вводящей в заблуждение метрикой для оценки производительности ИИ на несбалансированных наборах данных.
- Полнота и точность обеспечивают математически точные измерения показателей обнаружения и качества прогнозирования.
- Полная оценка требует анализа ложноположительных, ложноотрицательных результатов и прозрачных карточек моделей.
Как мы устанавливаем доверие к системам ИИ-тренерства?
Согласно AI RMF - AIRC, Рамочная программа управления рисками ИИ (AI Risk Management Framework, AI RMF) предназначена для добровольного использования и улучшения способности учитывать аспекты надежности при проектировании, разработке, использовании и оценке продуктов, услуг и систем ИИ. Согласно AI RMF - AIRC, эта рамочная программа была разработана открытым, прозрачным, междисциплинарным и многосторонним образом в течение 18 месяцев и в сотрудничестве с более чем 240 организациями-участниками. AI RMF - AIRC
Выявление и управление рисками ИИ и потенциальными последствиями требует широкого круга точек зрения и участников на протяжении всего жизненного цикла ИИ. Чтобы системы ИИ были надежными, они часто должны отвечать множеству критериев, представляющих ценность для заинтересованных сторон. Подходы, повышающие надежность ИИ, могут снизить негативные риски ИИ. Системы ИИ-тренировок
Каковы основные функции и профили управления рисками ИИ?
Согласно AI RMF - AIRC, ядро AI RMF Core предоставляет результаты и действия, которые способствуют диалогу, пониманию и деятельности по управлению рисками ИИ и ответственной разработке надежных систем ИИ. Это реализуется через четыре функции: Govern, Map, Measure и Manage. практическая дорожная карта для покупателей технологий
Согласно AI RMF - AIRC, профили вариантов использования являются реализациями функций, категорий и подкатегорий AI RMF для конкретной среды или приложения, основанными на требованиях, допустимом риске и ресурсах пользователя Фреймворка. Согласно NIST, NIST выпустил NIST-AI-600-1, «Фреймворк управления рисками искусственного интеллекта: Профиль генеративного искусственного интеллекта», 26 июля 2024 года. Согласно NIST, Профиль генеративного ИИ помогает организациям выявлять уникальные риски, связанные с генеративным ИИ, и предлагает действия по управлению рисками генеративного ИИ. AI Risk Management Framework | NIST
Согласно AI Risk Management Framework | NIST, 30 марта 2023 года NIST запустил Центр ресурсов по надежному и ответственному ИИ (Trustworthy and Responsible AI Resource Center). Этот ресурсный центр будет способствовать внедрению и международному согласованию с AI RMF. Кроме того, 7 апреля 2026 года NIST выпустил концептуальную записку для профиля AI RMF по надежному ИИ в критической инфраструктуре.
Чем метрики машинного обучения отличаются от обыденного языка?
В машинном обучении такие слова, как recall, precision и accuracy, имеют математические определения, которые могут отличаться от более распространенных значений этих слов или быть более специфичными. Истинно и ложноположительные, а также отрицательные результаты используются для расчета нескольких полезных метрик для оценки моделей. Классификация: точность, полнота, прецизионность и связанные метрики | Машинное обучение | Google для разработчиков
Какие метрики оценки наиболее значимы, зависит от конкретной модели и конкретной задачи, стоимости различных ошибок классификации и того, сбалансирован ли набор данных или несбалансирован. Метрики, которым вы отдаете приоритет при оценке модели и выборе порога, зависят от затрат, преимуществ и рисков конкретной проблемы. Согласно Model cards — Google DeepMind, карточки моделей представляют собой простые, структурированные обзоры того, как была разработана и оценена передовая модель ИИ. Model cards — Google DeepMind
Почему стандартная точность вводит в заблуждение на несбалансированных наборах данных?
Точность следует использовать как приблизительный индикатор прогресса обучения модели или сходимости для сбалансированных наборов данных, но избегать для несбалансированных наборов данных. Когда набор данных несбалансирован, или когда один вид ошибки обходится дороже другого, лучше оптимизировать по другим метрикам, отличным от точности.
Для сильно несбалансированных наборов данных, где один класс встречается очень редко, скажем, в 1% случаев, модель, которая предсказывает отрицательный результат в 100% случаев, наберет 99% точности, несмотря на свою бесполезность. обнаруживать критические, редкие движения
Что такое полнота и почему она важна для обнаружения?
Полнота, или доля истинно положительных результатов (TPR), это доля всех фактических положительных результатов, которые были правильно классифицированы как положительные. Математически полнота определяется как правильно классифицированные фактические положительные результаты, деленные на все фактические положительные результаты, или TP / (TP + FN).
Ложноотрицательные результаты — это истинно положительные результаты, которые были ошибочно классифицированы как отрицательные, поэтому они появляются в знаменателе формулы полноты. Гипотетическая идеальная модель имела бы ноль ложноотрицательных результатов и, следовательно, полноту 1.0, что представляет собой 100% показатель обнаружения. На практике полноте следует отдавать приоритет, когда ложноотрицательные результаты обходятся дороже, чем ложноположительные.
Как точность и уровень ложноположительных результатов влияют на удобство использования?
Точность — это доля всех положительных классификаций модели, которые на самом деле являются положительными. Математически точность определяется как правильно классифицированные фактические положительные результаты, деленные на все классифицированные как положительные, или TP / (TP + FP). Гипотетическая идеальная модель имела бы ноль ложноположительных результатов и, следовательно, точность 1.0.
И наоборот, модель, которая никогда не предсказывает положительный результат, будет иметь 0 истинно положительных (TP) и 0 ложноположительных (FP) результатов, что приведет к вычислению точности как NaN. Точность следует приоритизировать, когда очень важно, чтобы положительные предсказания были верными.
Частота ложных срабатываний (FPR) — это доля всех истинно отрицательных результатов, которые были неправильно классифицированы как положительные, также известная как вероятность ложной тревоги. FPR математически определяется как неправильно классифицированные истинно отрицательные результаты, деленные на все истинно отрицательные результаты, или FP / (FP + TN). Ложноположительные результаты — это истинно отрицательные результаты, которые были ошибочно классифицированы, поэтому они появляются в знаменателе формулы частоты ложных срабатываний (FPR).
Идеальная модель имела бы ноль ложноположительных результатов и, следовательно, FPR 0.0, что соответствует 0% ложных срабатываний. Для несбалансированного набора данных FPR, как правило, является более информативной метрикой, чем точность. Эту метрику следует приоритизировать, когда ложноположительные результаты обходятся дороже, чем ложноотрицательные.
Однако, если количество фактических отрицательных результатов очень низкое, FPR может быть не идеальным выбором из-за его волатильности. Например, если в наборе данных всего четыре фактических отрицательных результата, одна неверная классификация приводит к FPR 25%, в то время как вторая неверная классификация приводит к скачку FPR до 50%.
Как мы применяем метрики классификации к практическим примерам?
Чтобы понять, как эти метрики функционируют в реальном сценарии, мы можем рассмотреть стандартный пример классификации спама. В этом контексте полнота измеряет долю спам-писем, которые были правильно классифицированы как спам. Вот почему другое название полноты — вероятность обнаружения, поскольку она отвечает на вопрос, какая доля спам-писем обнаруживается моделью.
В том же примере классификации спама частота ложных срабатываний (FPR) измеряет долю легитимных писем, которые были неправильно классифицированы как спам, представляя собой показатель ложных тревог модели. Точность измеряет долю писем, классифицированных как спам, которые на самом деле были спамом. При оценке такой системы часто имеет смысл приоритизировать полноту, точность или некий баланс между ними, выше определенного минимального уровня точности.
Часто задаваемые вопросы
В чем разница между полнотой и точностью при оценке ИИ?
Полнота, или доля истинно положительных результатов, это доля всех фактических положительных результатов, которые были правильно классифицированы как положительные. Точность, с другой стороны, это доля всех положительных классификаций модели, которые на самом деле являются положительными.
Почему точность является неподходящей метрикой для несбалансированных наборов данных?
Точность следует избегать для несбалансированных наборов данных, поскольку модель может показывать высокие результаты, будучи при этом бесполезной. Например, если редкий класс появляется только в 1% случаев, модель, предсказывающая отрицательный результат в 100% случаев, наберет 99% точности.
Каковы четыре основные функции системы управления рисками ИИ NIST?
Согласно AI RMF - AIRC, основной компонент AI RMF реализуется через четыре функции: Управление, Картирование, Измерение и Менеджмент. Основной компонент AI RMF предоставляет результаты и действия, которые способствуют диалогу, пониманию и деятельности по управлению рисками ИИ и ответственному развитию надежных систем ИИ.
Часто задаваемые вопросы
В чем разница между полнотой и точностью при оценке ИИ?
Полнота, или доля истинно положительных результатов, это доля всех фактических положительных результатов, которые были правильно классифицированы как положительные. Точность, с другой стороны, это доля всех положительных классификаций модели, которые на самом деле являются положительными.
Почему точность является неподходящей метрикой для несбалансированных наборов данных?
Точность следует избегать для несбалансированных наборов данных, поскольку модель может показывать высокие результаты, будучи при этом бесполезной. Например, если редкий класс появляется только в 1% случаев, модель, предсказывающая отрицательный результат в 100% случаев, наберет 99% точности.
Каковы четыре основные функции системы управления рисками ИИ NIST?
Согласно AI RMF - AIRC, основной компонент AI RMF реализуется через четыре функции: Управление, Картирование, Измерение и Менеджмент. Основной компонент AI RMF предоставляет результаты и действия, которые способствуют диалогу, пониманию и деятельности по управлению рисками ИИ и ответственному развитию надежных систем ИИ.
