Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI

Perusahaan riset keamanan AI Goodfire menghadirkan pendekatan inside-out monitoring yang bertujuan mengidentifikasi potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini memiliki relevansi penting karena kemampuan agen AI terus meningkat. Ketika digunakan untuk menjalankan pekerjaan, agen AI dapat mengoperasikan perangkat lunak dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini mendukung efisiensi pekerjaan, tetapi menghadirkan risiko pengendalian. Melalui teknologi terbarunya, Goodfire mengembangkan kemampuan mendeteksi indikasi penyimpangan ketika model bekerja.

Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak selalu memerlukan pemeriksaan terhadap respons akhir agen AI. Sebaliknya, detektor memeriksa aktivasi internal jaringan saraf. Data aktivasi tersebut dapat memberikan petunjuk mengenai arah perilaku model. Manfaat utama metode tersebut adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Melalui rancangan tersebut, kebutuhan sumber daya tambahan dapat ditekan. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.

Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI

Bagian penting dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang menganalisis aktivasi internal model AI. Selama sistem menghasilkan respons, model menghasilkan sejumlah representasi numerik. Aktivasi yang terbentuk memuat petunjuk mengenai representasi yang dipelajari model. Activation probes kemudian menganalisis karakteristik sinyal untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, sistem klasifikasi dapat digunakan mengidentifikasi sinyal yang berkaitan dengan tindakan tidak aman. Dengan pemrosesan semacam ini, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Salah satu alasan efisiensinya adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa sering harus membaca ulang riwayat tindakan model. Pendekatan pemeriksaan ulang ini berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, sistem dapat menganalisis sinyal internal yang tersedia. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Sekalipun metode tersebut dirancang hemat, penyesuaian detektor tetap diperlukan untuk menjaga relevansi hasil.

Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan

Pendekatan pemantauan tersebut menggunakan mekanisme pengawasan bertahap. Dalam pemeriksaan pertama, activation probes memantau sinyal model secara berkelanjutan. Apabila tidak ditemukan masalah, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Ketika probe menemukan sinyal berisiko, sistem berpotensi melakukan eskalasi kepada sistem peninjauan lanjutan. Evaluasi berikutnya membantu menilai apakah indikasi tersebut benar-benar berbahaya. Berkat mekanisme eskalasi, pemeriksaan mahal hanya digunakan ketika diperlukan.

Tidak hanya menemukan aktivitas mencurigakan, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Pengaturan respons ini meliputi pencatatan aktivitas, eskalasi ke petugas keamanan, atau penolakan permintaan berisiko. Dalam lingkungan perusahaan, asisten digital pengembang berpotensi menggunakan berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, administrator dapat meminta pemeriksaan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar aktivitas sah tidak sering terganggu.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, teknologi pemantauan berbasis probe diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Eksperimen perusahaan mencakup sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, probe mampu menandai 94 persen aktivitas hacking yang tergolong berisiko. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas tidak berbahaya teridentifikasi sebagai potensi masalah. Data pengujian tersebut menunjukkan adanya kesalahan penandaan terhadap aktivitas aman. Dengan demikian, pengembang harus mempertimbangkan tingkat kesalahan peringatan.

Dari sisi biaya, Goodfire mengumumkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe membutuhkan biaya sekitar US$51. Jika menggunakan pendekatan lain, sistem pengawasan berbasis model berbiaya rendah menghabiskan dana sekitar US$233, sedangkan model pemeriksa kelas atas dapat mencapai US$10.000. Di samping perbedaan biaya, penggunaan empat probe secara bersamaan dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Namun demikian, hasilnya belum otomatis berlaku pada semua model. Karena alasan tersebut, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Perkembangan komersial sistem tersebut adalah penggunaan sistem monitoring internal bagi organisasi yang menjalankan model melalui Baseten. Layanan Baseten menyediakan sistem untuk menjalankan model kecerdasan buatan. Dengan dukungan ekosistem Baseten, pengembang dapat memanfaatkan detektor risiko berbasis model ketika menerapkan layanan kecerdasan buatan. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada open-weight models karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, pengembang memiliki pilihan memperkuat pengendalian risiko ketika model digunakan.

Selain pemantauan keamanan siber, teknologi Goodfire memiliki potensi digunakan pada beragam pola penyalahgunaan. Bidang pengawasan yang dapat dipilih meliputi penyalahgunaan terkait senjata kimia dan biologis, upaya mengeksploitasi mekanisme evaluasi, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Dalam skenario pengujian, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Berkat pemantauan perilaku internal, pengembang dapat memperoleh peringatan sebelum masalah menimbulkan dampak lebih besar.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Pengenalan sistem inside-out monitoring menjadi perkembangan penting dalam teknologi interpretabilitas kecerdasan buatan. Dengan menganalisis sinyal komputasi model, sistem berupaya mendeteksi kemungkinan aktivitas berbahaya tanpa harus memeriksa seluruh keluaran menggunakan model besar. Hasil pengujian Goodfire melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan pengeluaran pemantauan yang relatif kecil. Namun demikian, potensi peringatan palsu tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung evaluasi tindakan eksternal. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan menjadi standar keamanan agen AI masa depan? Mari berbagi pemikiran mengenai pentingnya pengawasan agen otomatis.