Roblox, het online platform voor het creëren en spelen van games, implementeert kunstmatige intelligentie (AI) om scheldwoorden en andere ongepaste taal in de chatfuncties te detecteren en te vervangen door meer acceptabele bewoordingen. Het doel is om een veiligere en positievere omgeving voor gebruikers te creëren, met name voor de jongere doelgroep die het platform frequent bezoekt.
De inzet van AI voor moderatie is een groeiende trend in de online wereld, waar platforms worstelen met de uitdaging om een veilige omgeving te handhaven. Traditionele methoden, zoals handmatige moderatie en het filteren van specifieke woorden, blijken vaak ontoereikend om de constante stroom aan nieuwe en creatieve manieren van online misbruik aan te pakken. AI biedt de mogelijkheid om patronen en context te herkennen, waardoor het effectiever kan reageren op potentieel schadelijke communicatie.
Roblox heeft in het verleden al maatregelen genomen om de veiligheid van gebruikers te waarborgen, waaronder het implementeren van filters en het aanbieden van tools voor ouders om de activiteiten van hun kinderen op het platform te monitoren. De integratie van AI in de chatmoderatie is een volgende stap in deze inspanningen. Het systeem zal niet alleen expliciete scheldwoorden detecteren, maar ook pogingen om deze te omzeilen, evenals andere vormen van ongepaste taal, zoals bedreigingen en haatzaaien. De vervangen bewoordingen zijn bedoeld om de communicatie respectvoller te maken, zonder de context van het gesprek volledig te veranderen. De effectiviteit van het AI-systeem zal voortdurend worden geëvalueerd en verbeterd op basis van feedback en data-analyse. Het is nog niet bekend of en hoe gebruikers de AI-moderatie kunnen aanpassen of uitschakelen.