Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Perusahaan riset keamanan AI Goodfire memperkenalkan teknologi pengawasan aktivasi model yang bertujuan mengidentifikasi perilaku agen AI berisiko. Inovasi terbaru ini memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI mampu menjalankan sejumlah tindakan digital dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi juga menimbulkan tantangan keamanan. Dengan pendekatan pemantauan internal, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.

Tidak seperti pendekatan pemeriksaan keluaran, pendekatan yang dikembangkan perusahaan tidak selalu memerlukan pemeriksaan terhadap teks yang dihasilkan model. Sebaliknya, sistem menganalisis sinyal komputasi di dalam model. Data aktivasi tersebut berpotensi memperlihatkan indikasi mengenai arah perilaku model. Keunggulan pendekatan ini adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Dengan demikian, biaya pemantauan berpotensi berkurang. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.

Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI

Elemen dasar dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu model klasifikasi khusus yang menganalisis pola komputasi selama pemrosesan. Selama sistem menghasilkan respons, jaringan saraf membentuk sejumlah representasi numerik. Sinyal tersebut berkaitan dengan representasi yang dipelajari model. Sistem klasifikasi internal kemudian menganalisis karakteristik sinyal untuk mengidentifikasi perilaku mencurigakan. Sebagai contoh, probe berpotensi dirancang mendeteksi pola penyalahgunaan kemampuan siber. Berkat pemeriksaan aktivasi, pengawasan tidak harus menunggu seluruh respons selesai.

Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, pemeriksa kecerdasan buatan terpisah sering harus membaca ulang riwayat tindakan model. Proses tersebut berpotensi menambah waktu pemrosesan, terutama apabila sistem menjalankan banyak langkah. Sebaliknya, detektor cukup memanfaatkan representasi model yang telah dihitung. Dengan demikian, beban pengawasan dapat dikurangi. Sekalipun metode tersebut dirancang hemat, kualitas probe harus dievaluasi untuk menjaga relevansi hasil.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Goodfire menerapkan mekanisme pengawasan bertahap. Pada tahap awal, detektor internal memeriksa representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, agen berpotensi tetap menjalankan tugas. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Evaluasi berikutnya digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, proses analisis mendalam tidak harus berjalan terus-menerus.

Di samping mengidentifikasi risiko, penyedia layanan memiliki pilihan menetapkan langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut antara lain pencatatan aktivitas, permintaan peninjauan manual, atau penolakan permintaan berisiko. Pada sistem AI yang digunakan untuk pekerjaan, agen pemrograman mungkin memperoleh akses lingkungan pengujian. Jika terdapat indikasi tindakan tidak sah, akses tertentu bisa ditinjau sebelum dilanjutkan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar proses kerja tetap berjalan dengan wajar.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, pendekatan deteksi inside-out diuji menggunakan model AI terbuka Kimi K3. Pengujian tersebut melibatkan kurang lebih 1.500 sesi untuk memeriksa kinerja detektor. Berdasarkan angka yang diumumkan, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, kurang lebih 8,7 persen sesi yang sebenarnya aman teridentifikasi sebagai potensi masalah. Hasil ini menunjukkan adanya false positive. Oleh sebab itu, administrator perlu mengevaluasi kemampuan menemukan ancaman.

Dalam evaluasi efisiensi, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah membutuhkan sekitar US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, performa dapat berbeda pada lingkungan lain. Karena alasan tersebut, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Perkembangan komersial sistem tersebut adalah ketersediaan teknologi Goodfire bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan pengawasan aktivasi internal ketika mengoperasikan model AI. Sistem pemantauan ini menjadi relevan terutama pada open-weight models karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.

Tidak hanya untuk mengawasi risiko peretasan, teknologi Goodfire juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Bidang pengawasan yang dapat dipilih mencakup penyalahgunaan terkait senjata kimia dan biologis, manipulasi sistem penghargaan, dan aktivitas peretasan tanpa izin. Dalam pengembangan agen AI, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Berkat pemantauan perilaku internal, tim keamanan memiliki kesempatan melakukan evaluasi sebelum aktivitas berkembang menjadi insiden.

Kesimpulan tentang Teknologi Pemantauan Internal Goodfire

Pengembangan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Melalui pemeriksaan representasi numerik selama pemrosesan, teknologi tersebut dirancang mengenali kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Hasil pengujian Goodfire menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Namun demikian, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Dengan mempertimbangkan kondisi tersebut, pemantauan internal sebaiknya dilengkapi pembatasan izin agen. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Silakan bagikan pendapat Anda mengenai pentingnya pengawasan agen otomatis.