Dianggap Tak Aman untuk Anak, Boneka AI Kumma Ditarik dari Penjualan

BeritaNasional.com -  Sebuah boneka beruang lucu yang dirancang sebagai teman belajar balita justru berubah menjadi bahan perbincangan serius soal keamanan AI.

Di media sosial, mainan bernama Kumma itu sampai dijuluki “ChuckyGPT” dan kali ini internet tidak berlebihan. Boneka ini ketahuan memberikan respons yang sama sekali tidak pantas untuk anak kecil.

Kumma diproduksi oleh perusahaan Tiongkok FoloToy dan dibekali kemampuan ngobrol berbasis OpenAI GPT-4o. Ide awalnya sederhana: sebuah boneka interaktif yang bisa menjawab pertanyaan anak-anak.

Namun hasil investigasi kelompok konsumen Amerika, PIRG, dalam laporan tahunan Trouble in Toyland, justru menemukan perilaku yang membuat banyak pihak terkejut.

Dalam pengujiannya, boneka tersebut disebut memberikan instruksi lengkap tentang cara menyalakan korek api, ketika diminta. Tester mengajukan pertanyaan bernada seksual, Kumma memberikan jawaban tanpa penyaringan yang memadai.

PIRG juga menyoroti keberadaan mikrofon yang selalu aktif, karena rekaman suara anak berpotensi disalahgunakan termasuk untuk kejahatan seperti penipuan berbasis suara.

Ketika temuan ini mulai menyebar di Reddit dan platform lain, warganet langsung menghubungkan Kumma dengan karakter horor boneka ikonik, hingga muncul istilah “ChuckyGPT.” Sebagian pengguna menduga respons berbahaya itu muncul karena teknik jailbreak prompt, meski belum ada bukti pasti.

OpenAI bereaksi cepat. Perusahaan menyatakan bahwa pengembang di balik proyek Kumma telah ditangguhkan karena melanggar kebijakan penggunaan, yang otomatis memutus akses API OpenAI dari produk tersebut.

Pihak FoloToy kemudian mengeluarkan pernyataan resmi dan menghentikan seluruh penjualan produknya sambil melakukan audit keamanan menyeluruh.

“Setelah adanya temuan dalam laporan tersebut, kami sementara menghentikan distribusi semua produk FoloToy,” tulis perusahaan.

Di situs FoloToy, Kumma masih tercantum, namun statusnya kini berubah menjadi “sold out.”

Insiden ini kembali menjadi pengingat bahwa menyisipkan teknologi kecerdasan buatan ke dalam produk untuk anak kecil tidak bisa dilakukan tanpa pengawasan ketat.

Yang awalnya dimaksudkan sebagai boneka belajar yang ramah, malah berubah menjadi contoh terbaru bagaimana teknologi AI yang kurang dibatasi dapat menimbulkan risiko di dunia nyata bahkan pada mainan yang terlihat tak berbahaya.