TREN.BISNISMARKET.COM - Sebuah studi terbaru mengungkap potensi risiko penggunaan fitur kecerdasan buatan (AI) Google Search oleh anak-anak dan remaja. AI Overview dan AI Mode dilaporkan beberapa kali gagal mengenali tanda-tanda krisis mental, termasuk keinginan bunuh diri, serta memberikan respons yang dinilai tidak tepat.
Temuan ini berasal dari Common Sense Media's Youth AI Safety Institute yang melakukan pengujian ekstensif. Mereka menganalisis sekitar 2.600 interaksi AI Overview dan AI Mode antara Mei hingga Juli 2026.
Penelitian tersebut menggunakan akun simulasi anak berusia 11 dan 15 tahun yang telah dilengkapi fitur SafeSearch serta kontrol orang tua melalui Google Family Link. Hal ini bertujuan untuk meniru pengalaman pengguna di bawah umur.
Para peneliti menguji kemampuan AI Google dalam merespons berbagai topik sensitif. Isu-isu yang diuji meliputi bunuh diri, melukai diri sendiri (self-harm), gangguan makan, psikosis, hingga eksploitasi seksual anak.
"Hasil pengujian kami menemukan AI Overview dan AI Mode gagal melindungi anak-anak yang sedang mengalami krisis, termasuk melewatkan tanda-tanda keinginan bunuh diri, memperkuat indikasi psikosis dan mania, memvalidasi gangguan makan, hingga merayakan penggunaan ganja," tulis peneliti dalam laporannya.
Salah satu sorotan utama adalah kemampuan AI dalam mengenali kondisi darurat kesehatan mental. Dari 214 pertanyaan yang seharusnya memicu rekomendasi untuk menghubungi layanan darurat, AI Overview hanya memberikan rujukan yang tepat pada sekitar 58% kasus.
Sementara itu, AI Mode mencatat tingkat keberhasilan yang sedikit lebih baik, yaitu sekitar 77%. Angka ini masih jauh di bawah standar keamanan 95% yang ditetapkan oleh para peneliti.
Dalam salah satu contoh yang disorot, ketika pengguna menggunakan istilah slang yang mengindikasikan niat bunuh diri, AI Overview justru memberikan panduan mengenai pengaturan akun digital setelah seseorang meninggal. Respons ini dinilai sangat tidak pantas dan tidak membantu.
Selain isu keselamatan, penelitian juga menemukan persoalan akurasi jawaban AI. Dalam lebih dari 275 pertanyaan sejarah yang diajukan, AI Overview dan AI Mode memberikan jawaban yang berbeda untuk pertanyaan yang sama pada sekitar 43% pengujian.
