Estudio de caso de moderación de contenido: los moderadores de Roblox combaten las recreaciones de tiroteos masivos en el juego (2021)

desde el moderación moderna departamento

La plataforma de juegos en línea Roblox ha pasado de ser una oferta de nicho a un fenómeno cultural durante sus 15 años de existencia. Rivalizando con Minecraft en su capacidad para atraer a usuarios jóvenes, Roblox es jugado por más de la mitad de los niños estadounidenses y tiene un base de usuarios de 164 millones de usuarios activos.

Roblox también brinda a los jugadores acceso a un sólido conjunto de herramientas de creación, lo que permite a los usuarios crear y crear sus propias experiencias, así como disfrutar de las creadas por otros.

Un aumento en los usuarios durante la pandemia COVID-19 creó problemas que los sistemas automatizados de moderación de Roblox, así como sus moderadores humanos, aún están tratando de resolver. Roblox emplea a 1,600 moderadores humanos que no solo manejan el contenido que fluye a través de las funciones de chat del juego, sino también el contenido creado y compartido con otros usuarios que utilizan las herramientas de creación de Roblox.

Los usuarios adoptaron las herramientas de creación, algunas de manera más saludable que otras. Si sucedió en el mundo real, alguien intentará aproximarlo en línea. Los usuarios han utilizado un juego centrado en los niños para crear distritos de luz roja virtuales donde los jugadores pueden reunirse para participar en sexo simulado con otros jugadores – una actividad que tiende a evitar la moderación al utilizar plataformas de chat fuera del juego como Discord para proporcionar enlaces directos a este contenido.

Quizás lo más inquietante es que los jugadores están recreando tiroteos masivos, muchos de ellos con un elemento racial, dentro del juego e invitando a los jugadores a ponerse en la piel de los asesinos en masa. Investigador de la Liga Anti-Difamación Daniel Kelley fue capaz de encontrar recreaciones fácilmente de la mezquita de Christchurch disparando que ocurrió en Nueva Zelanda en 2019.

Si bien Roblox controla de manera proactiva la plataforma en busca de «contenido terrorista», el resurgimiento continuo de contenido como este sigue siendo un problema sin una solución inmediata. Como señala Russell Brandom de The Verge, 40 millones de usuarios diarios generan más contenido del que pueden revisar manualmente los moderadores humanos. Y el uso de una lista de bloqueo de palabras clave haría que los usuarios no pudieran discutir (o recrear) la ciudad de Nueva Zelanda.

Consideraciones de la empresa:

  • ¿Cómo afecta la atención a una base de usuarios más jóvenes los esfuerzos de moderación?
  • ¿Qué pasos se pueden tomar para limitar el acceso o la creación de contenido cuando los usuarios utilizan canales de comunicación que la empresa no puede monitorear directamente?
  • ¿Qué medidas se pueden implementar para limitar la interacción involuntaria con contenido potencialmente dañino por parte de los usuarios más jóvenes? ¿Qué herramientas se pueden utilizar para seleccionar contenido para proporcionar áreas «más seguras» para que los usuarios más jóvenes exploren e interactúen con ellas?

Consideraciones sobre el problema:

  • ¿Cómo deben responder las empresas a los usuarios que desean discutir o interactuar entre sí con contenido que involucra eventos de interés periodístico, pero violentos?
  • ¿Cuánto puede un proceso de informes más sólido aliviar la carga de moderación humana y de inteligencia artificial?
  • ¿Puede el seguimiento directo de los usuarios y sus interacciones crear riesgos legales adicionales cuando la mayoría de los usuarios son menores de edad? ¿Cómo pueden las empresas cuyas bases de usuarios son en su mayoría niños abordar los posibles riesgos legales y, al mismo tiempo, darles a los usuarios libertad para crear y comunicarse en la plataforma?

Resolución:

Roblox actualizó sus Normas Comunitarias para que los usuarios sepan que este tipo de contenido está prohibido. Tambien lo dijo participaría en la «detección proactiva» eso pondría los ojos humanos en el contenido relacionado con términos como este, permitiendo referencias geográficas pero no representaciones del tiroteo en la mezquita.

Publicado originalmente en el Fundación Confianza y Seguridad sitio web.

Esconde esto

Gracias por leer esta publicación de Techdirt. Con tantas cosas compitiendo por la atención de todos estos días, realmente apreciamos que nos brinde su tiempo. Trabajamos duro todos los días para ofrecer contenido de calidad para nuestra comunidad.

Techdirt es uno de los pocos medios de comunicación verdaderamente independientes que quedan. No tenemos una corporación gigante detrás de nosotros, y dependemos en gran medida de nuestra comunidad para que nos apoye, en una época en la que los anunciantes están cada vez menos interesados ​​en patrocinar sitios pequeños e independientes, especialmente un sitio como el nuestro que no está dispuesto a dar golpes en sus informes. y análisis.

Si bien otros sitios web han recurrido a muros de pago, requisitos de registro y publicidad cada vez más molesta / intrusiva, siempre hemos mantenido Techdirt abierto y disponible para todos. Pero para seguir haciéndolo, necesitamos su apoyo. Ofrecemos una variedad de formas para que nuestros lectores nos apoyen, desde donaciones directas hasta suscripciones especiales y productos geniales, y todo ayuda. Gracias.

–El equipo de Techdirt

Filed Under: niños, moderación de contenido, tiroteos masivos
Empresas: roblox

Deja un comentario