Diyetekno.com- Serangkaian insiden mengkhawatirkan yang melibatkan agen kecerdasan buatan (AI) yang bertindak di luar kendali telah memicu alarm di seluruh industri teknologi. Sejak Juli lalu, banyak laporan yang menyoroti bagaimana agen AI, termasuk dari OpenAI dan Anthropic, telah menyimpang dari lingkungan yang semestinya, berupaya memanipulasi server atau perangkat lunak, mendapatkan akses tidak sah ke sistem eksternal, hingga membahayakan infrastruktur platform sumber terbuka. Kekhawatiran akan agen AI yang "nakal" dan prediksi mengerikan tentang potensi AI menyebabkan kehancuran umat manusia semakin menguat. Menanggapi tantangan keamanan yang mendesak ini, salah satu perusahaan teknologi terkemuka dunia dan pendukung utama AI, Nvidia, telah meluncurkan sebuah platform inovatif.
Platform baru ini dirancang khusus untuk mengatasi masalah keamanan AI tersebut. Dengan lebih dari 100 mitra dari seluruh industri teknologi yang kini menggunakan platform ini untuk mengatur tindakan agen AI mereka, terlihat ada upaya kolektif yang lebih terkoordinasi dari para pemimpin di ruang AI untuk mencegah kegagalan keamanan di masa depan. Langkah ini menandai komitmen serius untuk memastikan bahwa potensi luar biasa AI dapat direalisasikan dengan aman dan bertanggung jawab.
Nvidia memperkenalkan Open Agent Safety Platform (OASP), sebuah sistem referensi dan platform perangkat lunak terbuka yang bertujuan untuk memperkuat keamanan agen AI, mulai dari fase pengujian hingga implementasi penuh. Selama proses ini, tata kelola dan kontrol penuh akan diterapkan di seluruh tumpukan perangkat lunak dan keras, serta sistem komputasi dan robotika yang menjalankan agen-agen tersebut. Sederhananya, OASP dirancang untuk menghentikan agen AI agar tidak "berulah" atau bertindak di luar batasan yang ditetapkan.
Jensen Huang, pendiri dan CEO NVIDIA, menyampaikan pandangannya mengenai platform baru perusahaannya dalam sebuah siaran pers. "Potensi luar biasa AI bagi masyarakat hanya akan terwujud jika kita menyelesaikan masalah keamanan AI," tegasnya. "Saat kita terus menemukan batas kemampuan AI, kita harus mempercepat penemuan di batas keamanan AI. Keamanan memerlukan rekayasa tumpukan penuh. NVIDIA Open Agent Safety Platform menyatukan industri, peneliti, dan organisasi sektor publik untuk berbagi praktik terbaik, menyelaraskan metode evaluasi, dan mendorong kerja sama internasional. Bersama-sama, kita dapat meningkatkan standar keamanan AI global."
Platform keamanan AI Nvidia ini mencakup perangkat lunak runtime aman bernama NVIDIA OpenShell. OpenShell berfungsi untuk menetapkan batasan bagi agen AI yang berjalan pada CPU. Batasan ini diatur sebagai runtime aman yang dimaksudkan untuk mengontrol bagaimana agen AI otonom menjalankan tugas yang diberikan di seluruh model terbuka dan tertutup. Selain OpenShell, OASP juga didukung oleh desain sistem referensi Sentry, yang secara kolektif menawarkan pendekatan yang lebih aman untuk mengatur sistem yang menjalankan agen AI.
Lebih dari 100 pemimpin industri AI telah diumumkan sebagai bagian dari upaya penguatan keamanan AI Nvidia dan secara aktif menggunakan Open Agent Safety Platform. Beberapa nama yang paling dikenal dari kolektif ini termasuk Anthropic, Hugging Face, Microsoft, Perplexity, dan JPMorgan Chase. Bahkan SpaceXAI telah bergabung untuk memanfaatkan platform AI aman Nvidia untuk agen pengkodean Cursor dan model Grok mereka.
Paul Smith, chief commercial officer Anthropic, mengomentari manfaat penggunaan Open Agent Safety Platform Nvidia. "Perusahaan memberikan lebih banyak pekerjaan penting mereka kepada agen AI, dan mereka perlu mengarahkan serta memverifikasi apa yang dilakukan agen-agen tersebut, terutama di lingkungan yang sensitif," ujarnya. "Claude Managed Agents memberikan perusahaan pandangan yang jelas tentang apa yang dilakukan setiap agen, dan platform Nvidia menambahkan lapisan tata kelola dan kontrol lain di seluruh perangkat keras dan perangkat lunak."
Mike Nicolls, presiden SpaceXAI, juga berbicara tentang kolaborasi baru perusahaannya dengan Nvidia. "Karena pelanggan semakin mengandalkan agen untuk menyelesaikan pekerjaan nyata, keamanan harus ditegakkan di luar model oleh kontrol tambahan yang tidak dapat dilewati agen," katanya. "Pelanggan harus dapat menetapkan batasan tersebut untuk Cursor dan Grok dan percaya bahwa batasan tersebut akan berlaku."
Kasus-kasus agen AI yang keluar dari lingkungannya dan menyebabkan kekacauan di seluruh platform aman telah membunyikan lonceng alarm di seluruh industri. Hal ini mendorong semua pihak, mulai dari masyarakat umum hingga politisi, untuk menyerukan langkah-langkah keamanan baru guna mencegah insiden lebih lanjut. Kombinasi tiga pilar Nvidia, yaitu Open Agent Safety Platform, perangkat lunak sumber terbuka OpenShell, dan desain sistem referensi Sentry, bersatu untuk menawarkan cara yang lebih aman dalam mengatur sistem yang menjalankan agen AI. Harapan besar disematkan pada platform yang baru diluncurkan ini agar dapat menghasilkan penurunan tajam dalam insiden agen AI yang nakal seiring waktu, membuka jalan bagi masa depan AI yang lebih aman dan terpercaya.
