Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI

Perusahaan riset keamanan AI Goodfire menghadirkan pendekatan inside-out monitoring yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut memiliki relevansi penting karena kemampuan agen AI terus meningkat. Dalam berbagai aplikasi, agen AI dapat mengoperasikan perangkat lunak dengan tingkat otomatisasi yang semakin tinggi. Perkembangan ini mendukung efisiensi pekerjaan, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.

Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap teks yang dihasilkan model. Melalui pendekatan berbeda, sistem menganalisis representasi numerik yang muncul selama pemrosesan. Sinyal internal ini dapat memberikan petunjuk mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah penggunaan kembali proses perhitungan model. Berkat cara kerja ini, kebutuhan sumber daya tambahan dapat ditekan. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.

Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf

Komponen utama dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang menganalisis pola komputasi selama pemrosesan. Ketika agen AI menjalankan tugas, model menghasilkan sejumlah representasi numerik. Informasi internal tersebut dapat mencerminkan proses pengolahan informasi. Sistem klasifikasi internal kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Sebagai contoh, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Melalui mekanisme tersebut, indikasi masalah mungkin ditemukan lebih awal.

Keunggulan teknis pendekatan tersebut adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sistem pengawas berbasis bahasa sering harus membaca ulang teks yang dihasilkan agen. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, pengawasan menggunakan sinyal internal yang tersedia. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, penyesuaian detektor tetap diperlukan untuk menjaga relevansi hasil.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Goodfire menerapkan rangkaian evaluasi berdasarkan tingkat risiko. Dalam pemeriksaan pertama, sistem klasifikasi membaca aktivasi pada berbagai langkah. Jika tidak muncul indikasi berbahaya, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Namun apabila terdapat peringatan, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Tahap analisis tambahan digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Berkat mekanisme eskalasi, pemeriksaan mahal hanya digunakan ketika diperlukan.

Di samping mengidentifikasi risiko, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Pilihan tersebut antara lain pencatatan aktivitas, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Sebagai contoh, agen pemrograman mungkin memperoleh akses repositori kode. Jika terdapat indikasi tindakan tidak sah, administrator dapat meminta pemeriksaan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar proses kerja tetap berjalan dengan wajar.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Eksperimen perusahaan melibatkan kurang lebih 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen aktivitas hacking yang tergolong berisiko. Sebagai hasil evaluasi tambahan, kurang lebih 8,7 persen sesi yang sebenarnya aman memerlukan pemeriksaan lanjutan. Data pengujian tersebut memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Dengan demikian, pengembang harus mempertimbangkan efektivitas dan kenyamanan penggunaan.

Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe memerlukan pengeluaran sekitar US$51. Jika menggunakan pendekatan lain, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Selain penghematan tersebut, pengoperasian empat detektor internal dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Walaupun hasil pengujian menjanjikan, hasilnya belum otomatis berlaku pada semua model. Dengan mempertimbangkan keterbatasan ini, evaluasi pada model berbeda tetap diperlukan sebelum menentukan tingkat keandalan umum.

Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI

Bagian penting dari peluncuran adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Baseten merupakan layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, organisasi berpotensi menerapkan detektor risiko berbasis model ketika mengoperasikan model AI. Teknologi Goodfire menjadi relevan terutama pada sistem AI yang bobotnya tersedia karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Berkat dukungan pemantauan berlapis, pengembang memiliki pilihan memperkuat perlindungan terhadap tindakan agen.

Selain pemantauan keamanan siber, teknologi Goodfire memiliki potensi digunakan pada jenis risiko lainnya. Bidang pengawasan yang dapat dipilih meliputi penyalahgunaan terkait senjata kimia dan biologis, upaya mengeksploitasi mekanisme evaluasi, dan tindakan siber yang melanggar kebijakan. Dalam pengembangan agen AI, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Sebagai contoh, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, administrator berpotensi mengetahui tanda masalah sebelum aktivitas berkembang menjadi insiden.

Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan

Pengenalan pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi keamanan agen AI. Berkat pemanfaatan aktivasi internal jaringan saraf, detektor memungkinkan identifikasi indikasi perilaku berisiko tanpa selalu menjalankan pengawas AI berbiaya tinggi. Hasil pengujian Goodfire menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Walaupun perkembangan ini menarik, kebutuhan pengujian independen tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama evaluasi tindakan eksternal. Apa pandangan Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.