Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Perusahaan pengembang teknologi interpretabilitas AI Goodfire memperkenalkan pendekatan inside-out monitoring yang dirancang untuk mendeteksi aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini memperoleh sorotan karena penggunaan agen digital semakin berkembang. Dalam berbagai aplikasi, agen AI dapat mengoperasikan perangkat lunak dengan intervensi pengguna yang lebih sedikit. Kondisi tersebut mendukung efisiensi pekerjaan, tetapi juga menimbulkan tantangan keamanan. Dengan pendekatan pemantauan internal, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.

Tidak seperti pendekatan pemeriksaan keluaran, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada seluruh percakapan sistem. Melalui pendekatan berbeda, detektor memeriksa representasi numerik yang muncul selama pemrosesan. Informasi tersebut dapat memberikan petunjuk mengenai arah perilaku model. Nilai tambah teknologi tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Dengan demikian, kebutuhan sumber daya tambahan dapat ditekan. Namun demikian, hasil deteksi tetap memerlukan evaluasi.

Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI

Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang membaca aktivasi internal model AI. Selama sistem menghasilkan respons, model menghasilkan sejumlah representasi numerik. Sinyal tersebut memuat petunjuk mengenai proses pengolahan informasi. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengidentifikasi perilaku mencurigakan. Sebagai contoh, detektor dapat dilatih untuk mengenali sinyal yang berkaitan dengan tindakan tidak aman. Melalui mekanisme tersebut, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Pada metode konvensional, sebuah model AI lain perlu menganalisis kembali rangkaian percakapan yang panjang. Proses tersebut dapat meningkatkan biaya, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, pengawasan menggunakan representasi model yang telah dihitung. Dengan demikian, kebutuhan komputasi tambahan berpotensi lebih rendah. Sekalipun metode tersebut dirancang hemat, penyesuaian detektor tetap diperlukan untuk mengurangi kesalahan klasifikasi.

Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan

Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Pada tahap awal, activation probes memantau sinyal model secara berkelanjutan. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Sebaliknya, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Tahap analisis tambahan digunakan untuk memeriksa apakah peringatan membutuhkan intervensi. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.

Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur respons terhadap peringatan. Mekanisme penanganan tersebut antara lain logging untuk pemeriksaan, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Pada sistem AI yang digunakan untuk pekerjaan, sistem otomatis yang dapat menggunakan alat dapat memiliki kewenangan berbagai layanan perangkat lunak. Ketika sistem mengenali kemungkinan penyimpangan, akses tertentu bisa ditinjau sebelum dilanjutkan. Namun demikian, kebijakan penanganan harus disesuaikan agar pengguna tidak terlalu banyak menerima peringatan palsu.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Berdasarkan evaluasi internal perusahaan, sistem pengawasan aktivasi internal diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk menilai efektivitas pengawasan. Mengacu pada hasil yang dipublikasikan, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Selain itu, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Data pengujian tersebut menggambarkan kemungkinan peringatan yang tidak tepat. Oleh sebab itu, sistem perlu menyeimbangkan tingkat kesalahan peringatan.

Dari sisi biaya, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Sebagai perbandingan, model tambahan kelas ringan memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium dapat mencapai US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Perkembangan komersial sistem tersebut adalah penggunaan sistem monitoring internal bagi pelanggan Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, organisasi berpotensi menerapkan pengawasan aktivasi internal ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut menjadi relevan terutama pada model terbuka karena model dapat dijalankan pada infrastruktur sendiri. Dengan demikian, pengembang memiliki pilihan memperkuat mekanisme keamanan saat inferensi.

Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model dikembangkan agar dapat memantau beragam pola penyalahgunaan. Bidang pengawasan yang dapat dipilih meliputi risiko keselamatan kimia serta biologi, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Dalam pengembangan agen AI, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Berkat pemantauan perilaku internal, pengembang dapat memperoleh peringatan sebelum aktivitas berkembang menjadi insiden.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Peluncuran pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi interpretabilitas kecerdasan buatan. Berkat pemanfaatan aktivasi internal jaringan saraf, sistem berupaya mendeteksi indikasi perilaku berisiko tanpa selalu menjalankan pengawas AI berbiaya tinggi. Data eksperimen yang diumumkan perusahaan memberikan gambaran efektivitas terhadap 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Namun demikian, potensi peringatan palsu tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.