Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire meluncurkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini memiliki relevansi penting karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.

Berbeda dari metode pengawasan tradisional, teknologi Goodfire tidak hanya membaca teks yang dihasilkan model. Melalui pendekatan berbeda, detektor memeriksa sinyal komputasi di dalam model. Informasi tersebut dapat memberikan petunjuk mengenai arah perilaku model. Manfaat utama metode tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Melalui rancangan tersebut, pengawasan dapat menjadi lebih hemat. Meskipun pendekatan ini menjanjikan, akurasi pengawasan tidak dapat dianggap sempurna.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Elemen dasar dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang memeriksa aktivasi internal model AI. Saat model memproses instruksi, model menghasilkan sejumlah representasi numerik. Informasi internal tersebut berkaitan dengan representasi yang dipelajari model. Sistem klasifikasi internal kemudian memeriksa pola tertentu untuk mendeteksi aktivitas berisiko. Sebagai contoh, sistem klasifikasi dapat digunakan mengidentifikasi sinyal yang berkaitan dengan tindakan tidak aman. Berkat pemeriksaan aktivasi, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Faktor yang mendukung kecepatan sistem adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Ketika memakai sistem evaluasi eksternal, sistem pengawas berbasis bahasa sering harus membaca ulang riwayat tindakan model. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila agen bekerja selama berjam-jam. Melalui pendekatan Goodfire, detektor cukup memanfaatkan aktivasi selama proses komputasi. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, pemilihan sinyal internal perlu diperhatikan untuk memastikan pengawasan sesuai risiko.

Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan

Sistem keamanan ini memanfaatkan mekanisme pengawasan bertahap. Ketika agen sedang bekerja, activation probes memantau representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, agen berpotensi tetap menjalankan tugas. Namun apabila terdapat peringatan, hasil deteksi dapat dikirim kepada komponen evaluasi yang lebih mendalam. Evaluasi berikutnya membantu menilai apakah peringatan membutuhkan intervensi. Dengan pendekatan ini, sumber daya pengawasan dapat difokuskan.

Di samping mengidentifikasi risiko, pengelola sistem dapat menentukan tindakan setelah risiko dikenali. Pengaturan respons ini meliputi penyimpanan laporan kejadian, permintaan peninjauan manual, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat dapat memiliki kewenangan repositori kode. Jika terdapat indikasi tindakan tidak sah, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, ambang deteksi perlu ditetapkan dengan hati-hati agar pengguna tidak terlalu banyak menerima peringatan palsu.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diuji menggunakan model AI terbuka Kimi K3. Pengujian tersebut melibatkan kurang lebih 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal memerlukan pemeriksaan lanjutan. Hasil ini memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Oleh sebab itu, sistem perlu menyeimbangkan tingkat kesalahan peringatan.

Untuk membandingkan kebutuhan komputasi, Goodfire melaporkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, sistem pengawasan berbasis model berbiaya rendah memerlukan biaya kurang lebih US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Selain penghematan tersebut, penggunaan empat probe secara bersamaan dalam pengujian memberikan tambahan waktu tunggu awal respons di bawah dua persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Karena alasan tersebut, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi pengguna platform penyedia model AI Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika mengoperasikan model AI. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada open-weight models karena model dapat dijalankan pada infrastruktur sendiri. Melalui penerapan pengawasan tambahan, pengembang memiliki pilihan memperkuat mekanisme keamanan saat inferensi.

Selain pemantauan keamanan siber, teknologi Goodfire dikembangkan agar dapat memantau aktivitas berbahaya dalam konteks berbeda. Kategori tersebut meliputi aktivitas berbahaya berkaitan dengan CBRN, upaya mengeksploitasi mekanisme evaluasi, dan tindakan siber yang melanggar kebijakan. Dalam pengembangan agen AI, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengenalan sistem inside-out monitoring menjadi perkembangan penting dalam teknologi keamanan agen AI. Berkat pemanfaatan aktivasi internal jaringan saraf, teknologi tersebut dirancang mengenali kemungkinan aktivitas berbahaya tanpa membutuhkan analisis ulang setiap respons secara mendalam. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen aktivitas hacking berisiko, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Sebagai langkah penggunaan yang bertanggung jawab, pemantauan internal sebaiknya dilengkapi pembatasan izin agen. Menurut Anda, apakah sistem pemantauan internal Goodfire akan menjadi standar keamanan agen AI masa depan? Silakan bagikan pendapat Anda mengenai masa depan sistem kecerdasan buatan yang lebih aman.