Perselisihan melarang server kencan remaja dan berbagi CSAM yang dihasilkan AI

Discord telah memperbarui kebijakannya yang dimaksudkan untuk melindungi anak-anak dan remaja di platformnya setelah muncul laporan bahwa predator telah menggunakan aplikasi tersebut untuk membuat dan menyebarkan materi pelecehan seksual anak (CSAM), serta untuk merawat remaja muda. Platform sekarang secara eksplisit melarang CSAM fotorealistik yang dihasilkan AI. Sebagai Washington Post baru-baru ini dilaporkan, peningkatan AI generatif juga telah menyebabkan ledakan gambar yang menyerupai kehidupan dengan penggambaran seksual anak-anak. Publikasi telah melihat percakapan tentang penggunaan Midjourney – AI generatif teks-ke-gambar di Discord – untuk membuat gambar anak-anak yang tidak pantas.

Selain melarang CSAM yang dihasilkan oleh AI, Discord sekarang juga secara eksplisit melarang konten teks atau media apa pun yang melecehkan anak-anak secara seksual. Platform ini juga telah melarang server kencan remaja, dan telah berjanji untuk mengambil tindakan terhadap pengguna yang terlibat dalam perilaku ini. Sebuah sebelumnya Berita NBC investigasi menemukan server Discord diiklankan sebagai server kencan remaja dengan peserta yang meminta gambar telanjang dari anak di bawah umur.

Pengguna dewasa sebelumnya telah dituntut karena mendandani anak-anak di Discord, dan bahkan ada lingkaran kejahatan yang memeras pengguna di bawah umur untuk mengirim gambar seksual diri mereka sendiri. Melarang sepenuhnya server kencan remaja dapat membantu mengurangi masalah ini. Discord juga memasukkan baris dalam kebijakannya, yang menyatakan bahwa remaja yang lebih tua ditemukan merawat remaja yang lebih muda akan “ditinjau dan ditindaklanjuti berdasarkan [its] Perilaku Seksual yang Tidak Pantas dengan Kebijakan Anak dan Perawatan.”

Selain memperbarui aturannya, Discord baru-baru ini meluncurkan alat Pusat Keluarga yang dapat digunakan orang tua untuk mengawasi aktivitas anak-anak mereka di layanan obrolan. Meskipun orang tua tidak dapat melihat isi sebenarnya dari pesan anak-anak mereka, alat keikutsertaan memungkinkan mereka untuk melihat dengan siapa anak-anak mereka berteman dan dengan siapa mereka berbicara di platform. Discord berharap bahwa tindakan dan alat baru ini dapat membantu menjaga keamanan pengguna di bawah umur bersama dengan tindakan lamanya, yang mencakup pemindaian gambar secara proaktif yang diunggah ke platformnya menggunakan PhotoDNA.