Versi singkat: Panduan ini membahas evaluasi sistem kepelatihan AI, dengan memanfaatkan Kerangka Kerja Manajemen Risiko AI NIST dan metrik pembelajaran mesin utama.
Poin penting
- NIST AI Risk Management Framework menawarkan pendekatan sukarela yang terstruktur untuk mengevaluasi kepercayaan AI.
- Akurasi standar seringkali merupakan metrik yang menyesatkan untuk mengevaluasi kinerja AI pada dataset yang tidak seimbang.
- Recall dan presisi memberikan ukuran yang tepat secara matematis untuk tingkat deteksi dan kualitas prediksi.
- Evaluasi lengkap membutuhkan analisis positif palsu, negatif palsu, dan kartu model transparan.
Bagaimana Kita Membangun Kepercayaan dalam Sistem Kepelatihan AI?
Menurut AI RMF - AIRC, Kerangka Kerja Manajemen Risiko AI (AI RMF) dimaksudkan untuk penggunaan sukarela dan untuk meningkatkan kemampuan dalam menggabungkan pertimbangan kepercayaan ke dalam desain, pengembangan, penggunaan, dan evaluasi produk, layanan, dan sistem AI. Menurut AI RMF - AIRC, kerangka kerja ini dikembangkan secara terbuka, transparan, multidisiplin, dan melibatkan banyak pemangku kepentingan selama periode 18 bulan dan bekerja sama dengan lebih dari 240 organisasi kontributor. AI RMF - AIRC
Mengidentifikasi dan mengelola risiko AI serta potensi dampaknya membutuhkan berbagai perspektif dan pelaku di seluruh siklus hidup AI. Agar sistem AI dapat dipercaya, mereka seringkali perlu responsif terhadap berbagai kriteria yang bernilai bagi pihak-pihak yang berkepentingan. Pendekatan yang meningkatkan kepercayaan AI dapat mengurangi risiko AI negatif. sistem pelatihan AI
Apa Saja Fungsi Inti dan Profil Manajemen Risiko AI?
Menurut AI RMF - AIRC, Inti AI RMF menyediakan hasil dan tindakan yang memungkinkan dialog, pemahaman, dan aktivitas untuk mengelola risiko AI serta mengembangkan sistem AI yang dapat dipercaya secara bertanggung jawab. Ini dioperasionalkan melalui empat fungsi: Mengatur, Memetakan, Mengukur, dan Mengelola. peta jalan praktis untuk pembeli teknologi
Menurut AI RMF - AIRC, Profil kasus penggunaan adalah implementasi dari fungsi, kategori, dan subkategori AI RMF untuk pengaturan atau aplikasi tertentu berdasarkan persyaratan, toleransi risiko, dan sumber daya pengguna Kerangka Kerja. Menurut NIST, NIST merilis NIST-AI-600-1, Kerangka Kerja Manajemen Risiko Kecerdasan Buatan: Profil Kecerdasan Buatan Generatif, pada 26 Juli 2024. Menurut NIST, Profil AI Generatif membantu organisasi mengidentifikasi risiko unik yang ditimbulkan oleh AI generatif dan mengusulkan tindakan untuk manajemen risiko AI generatif. AI Risk Management Framework | NIST
Menurut Kerangka Kerja Manajemen Risiko AI | NIST, pada 30 Maret 2023, NIST meluncurkan Pusat Sumber Daya AI yang Dapat Dipercaya dan Bertanggung Jawab. Pusat sumber daya ini akan memfasilitasi implementasi, dan penyelarasan internasional dengan, AI RMF. Selain itu, pada 7 April 2026, NIST merilis catatan konsep untuk Profil AI RMF tentang AI yang Dapat Dipercaya dalam Infrastruktur Kritis.
Bagaimana Metrik Pembelajaran Mesin Berbeda dari Bahasa Umum?
Dalam *machine learning*, kata-kata seperti *recall*, *precision*, dan *accuracy* memiliki definisi matematis yang mungkin berbeda dari, atau lebih spesifik daripada, makna kata-kata yang lebih umum digunakan. Positif dan negatif benar dan palsu digunakan untuk menghitung beberapa metrik yang berguna untuk mengevaluasi model. Klasifikasi: Akurasi, *recall*, *precision*, dan metrik terkait | *Machine Learning* | Google for Developers
Metrik evaluasi mana yang paling bermakna tergantung pada model dan tugas spesifik, biaya kesalahan klasifikasi yang berbeda, dan apakah *dataset* seimbang atau tidak seimbang. Metrik yang Anda pilih untuk diprioritaskan saat mengevaluasi model dan memilih ambang batas bergantung pada biaya, manfaat, dan risiko masalah spesifik. Menurut Kartu Model — Google DeepMind, kartu model adalah gambaran umum yang sederhana dan terstruktur tentang bagaimana model AI canggih dirancang dan dievaluasi. Kartu Model â Google DeepMind
Mengapa Akurasi Standar Menyesatkan pada Dataset Tidak Seimbang?
Akurasi harus digunakan sebagai indikator kasar kemajuan pelatihan model atau konvergensi untuk kumpulan data yang seimbang, tetapi dihindari untuk kumpulan data yang tidak seimbang. Ketika kumpulan data tidak seimbang, atau di mana satu jenis kesalahan lebih merugikan daripada yang lain, lebih baik untuk mengoptimalkan metrik selain akurasi.
Untuk kumpulan data yang sangat tidak seimbang di mana satu kelas muncul sangat jarang, katakanlah 1% dari waktu, model yang memprediksi negatif 100% dari waktu akan mencetak akurasi 99% meskipun tidak berguna. mendeteksi gerakan langka yang krusial
Apa Itu Recall dan Mengapa Penting untuk Deteksi?
Recall, atau tingkat positif sejati (TPR), adalah proporsi dari semua positif aktual yang diklasifikasikan dengan benar sebagai positif. Secara matematis, recall didefinisikan sebagai positif aktual yang diklasifikasikan dengan benar dibagi dengan semua positif aktual, atau TP / (TP + FN).
Negatif palsu adalah positif aktual yang salah diklasifikasikan sebagai negatif, itulah sebabnya mereka muncul di penyebut rumus *recall*. Model sempurna hipotetis akan memiliki nol negatif palsu dan oleh karena itu *recall* 1.0, mewakili tingkat deteksi 100%. Dalam praktiknya, *recall* harus diprioritaskan ketika negatif palsu lebih mahal daripada positif palsu.
Bagaimana Presisi dan Tingkat Positif Palsu Memengaruhi Kegunaan?
Presisi adalah proporsi dari semua klasifikasi positif model yang sebenarnya positif. Secara matematis, presisi didefinisikan sebagai positif aktual yang diklasifikasikan dengan benar dibagi dengan semua yang diklasifikasikan sebagai positif, atau TP / (TP + FP). Model hipotetis yang sempurna akan memiliki nol positif palsu dan oleh karena itu presisi 1.0.
Sebaliknya, model yang tidak pernah memprediksi positif akan memiliki 0 TP dan 0 FP, menghasilkan perhitungan presisi NaN. Presisi harus diprioritaskan ketika sangat penting bagi prediksi positif untuk akurat.
Tingkat positif palsu (FPR) adalah proporsi dari semua negatif aktual yang salah diklasifikasikan sebagai positif, juga dikenal sebagai probabilitas alarm palsu. FPR secara matematis didefinisikan sebagai negatif aktual yang salah diklasifikasikan dibagi dengan semua negatif aktual, atau FP / (FP + TN). Positif palsu adalah negatif aktual yang salah diklasifikasikan, itulah sebabnya mereka muncul di penyebut rumus tingkat positif palsu (FPR).
Model yang sempurna akan memiliki nol positif palsu dan oleh karena itu FPR 0.0, mewakili tingkat alarm palsu 0%. Untuk kumpulan data yang tidak seimbang, FPR umumnya merupakan metrik yang lebih informatif daripada akurasi. Tingkat ini harus diprioritaskan ketika positif palsu lebih merugikan daripada negatif palsu.
Namun, jika jumlah negatif aktual sangat rendah, FPR mungkin bukan pilihan ideal karena volatilitasnya. Misalnya, jika hanya ada empat negatif aktual dalam kumpulan data, satu kesalahan klasifikasi menghasilkan FPR 25%, sementara kesalahan klasifikasi kedua menyebabkan FPR melonjak menjadi 50%.
Bagaimana Kita Menerapkan Metrik Klasifikasi pada Contoh Praktis?
Untuk memahami bagaimana metrik ini berfungsi dalam skenario dunia nyata, kita dapat melihat contoh klasifikasi spam standar. Dalam konteks ini, *recall* mengukur fraksi email spam yang diklasifikasikan dengan benar sebagai spam. Inilah mengapa nama lain untuk *recall* adalah probabilitas deteksi, karena menjawab pertanyaan tentang berapa fraksi email spam yang terdeteksi oleh model.
Dalam contoh klasifikasi spam yang sama, tingkat positif palsu (FPR) mengukur fraksi email sah yang salah diklasifikasikan sebagai spam, mewakili tingkat alarm palsu model. *Precision* mengukur fraksi email yang diklasifikasikan sebagai spam yang sebenarnya adalah spam. Saat mengevaluasi sistem semacam itu, seringkali masuk akal untuk memprioritaskan *recall*, *precision*, atau keseimbangan keduanya, di atas tingkat akurasi minimum tertentu.
Pertanyaan yang sering diajukan
Apa perbedaan antara recall dan presisi dalam evaluasi AI?
Recall, atau tingkat positif sejati, adalah proporsi dari semua positif aktual yang diklasifikasikan dengan benar sebagai positif. Presisi, di sisi lain, adalah proporsi dari semua klasifikasi positif model yang sebenarnya positif.
Mengapa akurasi adalah metrik yang buruk untuk dataset tidak seimbang?
Akurasi harus dihindari untuk kumpulan data yang tidak seimbang karena model dapat memperoleh skor tinggi meskipun tidak berguna. Misalnya, jika kelas langka hanya muncul 1% dari waktu, model yang memprediksi negatif 100% dari waktu akan mencetak akurasi 99%.
Apa empat fungsi inti dari NIST AI Risk Management Framework?
Menurut AI RMF - AIRC, AI RMF Core dioperasionalkan melalui empat fungsi: Mengatur (Govern), Memetakan (Map), Mengukur (Measure), dan Mengelola (Manage). AI RMF Core menyediakan hasil dan tindakan yang memungkinkan dialog, pemahaman, dan aktivitas untuk mengelola risiko AI serta mengembangkan sistem AI yang dapat dipercaya secara bertanggung jawab.
Pertanyaan yang sering diajukan
Apa perbedaan antara recall dan presisi dalam evaluasi AI?
Recall, atau tingkat positif sejati, adalah proporsi dari semua positif aktual yang diklasifikasikan dengan benar sebagai positif. Presisi, di sisi lain, adalah proporsi dari semua klasifikasi positif model yang sebenarnya positif.
Mengapa akurasi adalah metrik yang buruk untuk dataset tidak seimbang?
Akurasi harus dihindari untuk kumpulan data yang tidak seimbang karena model dapat memperoleh skor tinggi meskipun tidak berguna. Misalnya, jika kelas langka hanya muncul 1% dari waktu, model yang memprediksi negatif 100% dari waktu akan mencetak akurasi 99%.
Apa empat fungsi inti dari NIST AI Risk Management Framework?
Menurut AI RMF - AIRC, AI RMF Core dioperasionalkan melalui empat fungsi: Mengatur (Govern), Memetakan (Map), Mengukur (Measure), dan Mengelola (Manage). AI RMF Core menyediakan hasil dan tindakan yang memungkinkan dialog, pemahaman, dan aktivitas untuk mengelola risiko AI serta mengembangkan sistem AI yang dapat dipercaya secara bertanggung jawab.
