Grox AI. Foto: Mashable.
JAKARTA, BANGSAONLINE.com - Fitur Grox AI di sosial media X menjadi sorotan berbagai negara, salah satunya di Indonesia. Sejumlah laporan menyebutkan, bahwa konten yang dihasilkan AI tersebut, tidak hanya bersifat sugestif, tetapi melanggar hukum terkait nonconsensual intimate imagery (NCII) dan materi pelecehan seksual anak (CSAM).
Isu ini memicu berbagai reaksi keras dari regulator di berbagai negara. Seperti contohnya, Otoritas komunikasi Inggris, Ofcom, yang mengaku telah melakukan desakan terhadap X dan xAI untuk memastikan kepatuhan terhadap kewajiban hukum dalam melindungi pengguna.
Selain itu, Uni Eropa juga angkat suara. Juru bicara Komisi Eropa Thomas Regnier menyebut keluaran Grok sebagai ilegal dan memprihatinkan.
India pun juga mengambil langkah lebih tegas dengan mengancam akan mencabut kekebalan hukum X atas konten buatan pengguna, kecuali perusahaan segera menjelaskan langkah pencegahan konten ilegal yang telah diambil. Regulator di Australia, Brasil, Prancis, dan Malaysia turut memantau perkembangan kasus ini.
Di Amerika Serikat, perlindungan hukum platform digital melalui Pasal 230 Undang-Undang Kesopanan Komunikasi kembali diperdebatkan.
Senator Ron Wyden, salah satu perumus pasal tersebut, menilai aturan itu tidak seharusnya melindungi keluaran AI buatan perusahaan sendiri. Ia mendesak negara bagian untuk bertindak jika pemerintah federal tidak bergerak.
Sejumlah konten Grok juga dinilai berpotensi melanggar Take It Down Act, undang-undang baru yang memberi kewenangan kepada Departemen Kehakiman AS untuk menindak penyebaran NCII, termasuk yang difasilitasi AI.
Platform yang gagal menghapus konten bermasalah juga dapat disasar oleh Federal Trade Commission (FTC).
Namun demikian, hingga kini masih belum langkah penegakan hukum yang jelas dari otoritas federal. FTC belum memberikan pernyataan resmi, sementara Departemen Kehakiman menyebut akan menindak tegas pelanggaran terkait CSAM.
Sementara itu di Indonesia, Kementerian Komunikasi dan Digital (Kemkomdigi) menegaskan jika X dan Grok AI tak segera berkooperatif dalam memperbaiki sistem keamanan mereka, sanksi berat menanti. Sanksi tersebut mulai dari administratif hingga pemutusan akses layanan (blokir) di wilayah Indonesia.
Bukan sekadar masalah kesusilaan, Kemkomdigi memandang manipulasi digital ini sebagai bentuk perampasan kendali individu atas identitas visualnya.
Praktik deepfake semacam ini berdampak fatal pada kerugian psikologis bagi korban, kerusakan reputasi sosial di ruang publik, dan pelanggaran hak atas citra diri (right to one's image).
Selain sanksi administratif, Kemkomdigi menegaskan bahwa penyedia layanan kecerdasan buatan maupun pengguna yang terbukti memproduksi dan/atau menyebarkan konten pornografi atau manipulasi citra pribadi tanpa hak dapat dikenakan sanksi pidana sesuai ketentuan hukum yang berlaku.
Sejak berlakunya Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-Undang Hukum Pidana (KUHP) pada 2 Januari 2026, pengaturan terkait pornografi tercantum antara lain dalam Pasal 172 dan Pasal 407.
Pasal 172 mendefinisikan pornografi sebagai media yang memuat kecabulan atau eksploitasi seksual yang melanggar norma kesusilaan, sedangkan Pasal 407 mengatur ancaman pidana penjara paling singkat 6 bulan dan paling lama 10 tahun atau pidana denda sesuai ketentuan. (rif)
