The Washington Post por Drew Harwell. Ella tenía 12 años cuando él empezó a exigirle fotos desnuda, diciendo que era bonita, que él era su amigo. Ella creía, porque se habían conectado en Snapchat, que sus fotos y videos desaparecerían.

Ahora, a los 16 años, encabeza una demanda colectiva contra una aplicación que se ha convertido en un pilar de la vida de los adolescentes estadounidenses, alegando que sus diseñadores no han hecho casi nada para evitar la explotación sexual de niñas como ella.

Su caso contra Snapchat revela una inquietante historia de vergüenza y abuso dentro de una aplicación de mensajes de video que durante años pasó desapercibida para los legisladores, incluso cuando superó los 300 millones de usuarios activos y se ganó la reputación de ser un espacio seguro para que los jóvenes intercambien sus imágenes y pensamientos más íntimos.

Pero también plantea preguntas difíciles sobre la privacidad y la seguridad, y arroja una dura luz sobre los gigantes más grandes de la industria tecnológica, argumentando que los sistemas de los que dependen para erradicar las imágenes sexualmente abusivas de los niños tienen fallas fatales.

“No hay un niño en el mundo que no tenga esta aplicación”, dijo la madre de la niña a The Washington Post, “y sin embargo, un adulto puede mantener correspondencia con ellos, manipularlos, en el transcurso de muchos años, y la empresa no hace nada. ¿Cómo sucede eso?".

En la demanda, presentada el lunes en un tribunal federal de California, la niña, que solicita el anonimato como víctima de abuso sexual y a la que se hace referencia solo como LW, y su madre acusan a Snapchat de fallar negligentemente en el diseño de una plataforma que podría proteger a sus usuarios de "atroces abusos". 

El hombre, un infante de marina en servicio activo que fue condenado el año pasado por cargos relacionados con pornografía infantil y abuso sexual en un tribunal militar, guardó sus fotos y videos de Snapchat y los compartió con otras personas en la Web, encontró una investigación criminal.

La empresa matriz de Snapchat, Snap, ha defendido que las características principales de su aplicación de mensajes autoborrables y chats de video instantáneos ayudan a los jóvenes a hablar abiertamente sobre partes importantes de sus vidas.

En un comunicado a The Post, la compañía dijo que emplea "las últimas tecnologías" y desarrolla su propio software "para ayudarnos a encontrar y eliminar contenido que explota o abusa de menores".

“Si bien no podemos comentar sobre litigios activos, esto es trágico y nos alegra que el perpetrador haya sido capturado y condenado”, dijo la portavoz de Snap, Rachel Racusen. “Nada es más importante para nosotros que la seguridad de nuestra comunidad”.

Fundada en 2011, la compañía de Santa Mónica, California, les dijo a los inversionistas el mes pasado que ahora tiene 100 millones de usuarios activos diarios en América del Norte, más del doble de los seguidores de Twitter en los Estados Unidos, y que es utilizado por el 90 por ciento de los residentes de los EE. UU. de 13 a 24 años, un grupo al que denominó "Generación Snapchat".

Por cada usuario en América del Norte, dijo la compañía , recibió alrededor de $31 en ingresos por publicidad el año pasado. Ahora con un valor de casi $ 50 mil millones, la compañía pública ha ampliado sus ofertas para incluir gafas de cámara de realidad aumentada y drones para selfies que vuelan automáticamente .

Pero la demanda compara a Snapchat con un producto defectuoso y dice que se ha centrado más en las innovaciones para captar la atención de los niños que en las herramientas efectivas para mantenerlos seguros.

La aplicación se basa en “un enfoque intrínsecamente reactivo que espera hasta que un niño es dañado y coloca la carga sobre el niño para que denuncie voluntariamente su propio abuso”, escribieron los abogados de la niña. “Estas herramientas y políticas son más efectivas para hacer que estas empresas sean más ricas que para proteger a los niños y adolescentes que las usan”.

Apple y Google también figuran como demandados en el caso por su papel en el alojamiento de una aplicación, Chitter, que el hombre había usado para distribuir las imágenes de la niña. Ambas compañías dijeron que retiraron la aplicación el miércoles de sus tiendas luego de las preguntas de The Post.

El portavoz de Apple, Fred Sainz, dijo en un comunicado que la aplicación había violado repetidamente las reglas de Apple sobre la "moderación adecuada de todo el contenido generado por el usuario". El portavoz de Google, José Castañeda, dijo que la empresa está “profundamente comprometida con la lucha contra la explotación sexual infantil en línea” y ha invertido en técnicas para encontrar y eliminar contenido abusivo. Los desarrolladores de Chitter no respondieron a las solicitudes de comentarios.

La demanda busca al menos $5 millones en daños y garantías de que Snap invertirá más en protección. Pero podría enviar un efecto dominó no solo a Silicon Valley sino también a Washington, al denunciar cómo los fracasos de los legisladores federales para aprobar la regulación tecnológica han dejado a la industria bajo la vigilancia de sí misma.

“No podemos esperar que las mismas empresas que se benefician de que los niños sean dañados vayan y los protejan”, dijo Juyoun Han, el abogado de la niña, en un comunicado. “Para eso está la ley”.

Brian Levine, profesor de la Universidad de Massachusetts en Amherst que estudia la seguridad en línea de los niños y el análisis forense digital y no está involucrado en el litigio, dijo que el desafío legal se suma a la evidencia de que la falta de regulación tecnológica del país ha dejado a los jóvenes en riesgo.

“¿Cómo es que todos los fabricantes de automóviles y todas las demás industrias tienen regulaciones para la seguridad de los niños, y una de las industrias más importantes de Estados Unidos no tiene casi nada?” dijo Levine.

“La explotación da como resultado una victimización de por vida para estos niños”, y está siendo fomentada en plataformas en línea desarrolladas por “los que son esencialmente los fabricantes de juguetes más grandes del mundo, Apple y Google”, agregó. “Están ganando dinero con estas aplicaciones y operan como propietarios ausentes. … Después de algún punto, ¿no tienen alguna responsabilidad?

Un anti-Facebook

Mientras que la mayoría de las redes sociales se enfocan en una fuente central, Snapchat gira en torno a la bandeja de entrada de un usuario de "instantáneas" privadas: las fotos y videos que intercambian con amigos, cada uno de los cuales se autodestruye después de ser visto.

El concepto simple de mensajes que desaparecen se ha celebrado como una especie de anti-Facebook, creando un refugio de bajo riesgo donde cualquiera puede expresarse tan libremente como quiera sin preocuparse por cómo podrían reaccionar los demás.

Snapchat, en sus primeros años, a menudo se ridiculizaba como una "aplicación de sexting", y para algunos usuarios la etiqueta todavía encaja. Pero su popularidad también lo ha consolidado como una parte más ampliamente aceptada de la adolescencia digital: un lugar para bromear, coquetear, organizarse y superar las alegrías y las incomodidades de la vida adolescente.

En los primeros tres meses de este año, Snapchat fue la séptima aplicación más descargada del mundo, instalada el doble de veces que Amazon, Netflix, Twitter o YouTube, según muestran las estimaciones de la firma de análisis Sensor Tower. Jennifer Stout, vicepresidenta de políticas públicas globales de Snap, dijo a un panel del Senado el año pasado que Snapchat era un "antídoto" para las principales redes sociales y su "alimentación interminable de contenido no examinado".

Las fotos, videos y mensajes de Snapchat están diseñados para desaparecer automáticamente una vez que el destinatario los ve o después de 24 horas. Pero la cultura despreocupada de Snapchat ha generado temores de que sea demasiado fácil para los jóvenes compartir imágenes de las que algún día puedan arrepentirse.

Snapchat permite a los destinatarios guardar algunas fotos o videos dentro de la aplicación, y notifica al remitente si un destinatario intenta capturar una foto o video marcado para autoeliminación. Pero las soluciones alternativas de terceros son rampantes, lo que permite a los destinatarios capturarlos sin ser detectados.

A los grupos de padres también les preocupa que la aplicación atraiga a adultos que buscan aprovecharse de una audiencia más joven. Snap ha dicho que tiene en cuenta "las sensibilidades y consideraciones únicas de los menores" al desarrollar la aplicación, que ahora prohíbe a los usuarios menores de 18 años publicar públicamente en lugares como Snap Maps y limita la frecuencia con la que los niños y adolescentes se muestran como "Quick Add"” sugerencias de amigos en las cuentas de otros usuarios. La aplicación alienta a las personas a hablar con amigos que conocen de la vida real y solo permite que alguien se comunique con un destinatario que lo haya marcado como amigo.

La compañía dijo que toma en serio los temores de explotación infantil. En la segunda mitad de 2021, la compañía eliminó aproximadamente 5 millones de piezas de contenido y casi 2 millones de cuentas por infringir sus reglas sobre contenido sexualmente explícito, según un informe de transparencia el mes pasado. Alrededor de 200.000 de esas cuentas fueron eliminadas después de compartir fotos o videos de abuso sexual infantil.

Pero los representantes de Snap han argumentado que sus habilidades están limitadas cuando un usuario conoce a alguien en otro lugar y trae esa conexión a Snapchat. También advirtieron contra el escaneo más agresivo de mensajes personales, diciendo que podría devastar el sentido de privacidad y confianza de los usuarios.

Algunas de sus salvaguardas, sin embargo, son bastante mínimas. Snap dice que los usuarios deben tener 13 años o más, pero la aplicación, como muchas otras plataformas, no usa un sistema de verificación de edad, por lo que cualquier niño que sepa escribir una fecha de cumpleaños falsa puede crear una cuenta. Snap dijo que funciona para identificar y eliminar las cuentas de usuarios menores de 13 años, y la Ley de Protección de la Privacidad Infantil en Línea, o COPPA, prohíbe a las empresas rastrear o dirigirse a usuarios menores de esa edad.

Snap dice que sus servidores eliminan la mayoría de las fotos, videos y mensajes una vez que ambas partes los han visto, y todas las instantáneas sin abrir después de 30 días. Snap dijo que conserva parte de la información de la cuenta, incluido el contenido informado, y la comparte con las fuerzas del orden cuando se solicita legalmente. Pero también le dice a la policía que gran parte de su contenido está "permanentemente eliminado y no disponible", lo que limita lo que puede entregar como parte de una orden de registro o investigación.

En 2014, la empresa acordó resolver los cargos de la Comisión Federal de Comercio que alegaban que Snapchat había engañado a los usuarios sobre la "naturaleza de desaparición" de sus fotos y videos, y recopilado geolocalización y datos de contacto de sus teléfonos sin su conocimiento o consentimiento.

Snapchat, dijo la FTC, tampoco implementó medidas de seguridad básicas, como verificar los números de teléfono de las personas. Algunos usuarios terminaron enviando "instantáneas personales a completos extraños" que se habían registrado con números de teléfono que en realidad no eran los suyos.

Un representante de Snapchat dijo en ese momento que "mientras estábamos enfocados en construir, algunas cosas no recibieron la atención que deberían haber recibido". La FTC exigió que la empresa se sometiera a la supervisión de un "profesional de privacidad independiente" hasta 2034.

'Punto de ruptura'

Al igual que muchas empresas tecnológicas importantes, Snapchat utiliza sistemas automatizados para patrullar en busca de contenido de explotación sexual: PhotoDNA , creado en 2009, para escanear imágenes fijas, y CSAI Match , desarrollado por ingenieros de YouTube en 2014, para analizar videos.

Los sistemas funcionan mediante la búsqueda de coincidencias con una base de datos de material de abuso sexual denunciado previamente y administrada por el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), financiado por el gobierno.

Pero ninguno de los sistemas está diseñado para identificar abusos en fotos o videos recién capturados, a pesar de que se han convertido en las principales formas en que Snapchat y otras aplicaciones de mensajería se usan en la actualidad.

Cuando la niña comenzó a enviar y recibir contenido explícito en 2018, Snap no escaneaba videos en absoluto. La compañía comenzó a usar CSAI Match solo en 2020.

En 2019, un equipo de investigadores de Google, el NCMEC y la organización sin fines de lucro contra el abuso Thorn, argumentaron que incluso sistemas como esos habían llegado a un "punto de ruptura". El “crecimiento exponencial y la frecuencia de imágenes únicas”, argumentaron, requerían una “reimaginación” de las defensas de imágenes de abuso sexual infantil lejos de los sistemas basados ​​en listas negras en los que las empresas tecnológicas habían confiado durante años.

Instaron a las empresas a utilizar los avances recientes en el software de detección facial, clasificación de imágenes y predicción de la edad para marcar automáticamente las escenas en las que un niño parece estar en riesgo de abuso y alertar a los investigadores humanos para una revisión adicional.

“En ausencia de nuevas protecciones, la sociedad no podrá proteger adecuadamente a las víctimas de abuso sexual infantil”, escribieron los investigadores.

Tres años después, dichos sistemas siguen sin utilizarse. Algunos esfuerzos similares también se han detenido debido a las críticas de que podrían entrometerse indebidamente en las conversaciones privadas de las personas o aumentar los riesgos de una coincidencia falsa.

En septiembre, Apple pospuso indefinidamente un sistema propuesto, para detectar posibles imágenes de abuso sexual almacenadas en línea, luego de una tormenta de fuego de que la tecnología podría usarse indebidamente para vigilancia o censura.

Pero desde entonces, la compañía lanzó una función separada de seguridad infantil diseñada para desenfocar las fotos de desnudos enviadas o recibidas en su aplicación Mensajes. La función muestra a los usuarios menores de edad una advertencia de que la imagen es confidencial y les permite elegir verla, bloquear al remitente o enviar un mensaje a un padre o tutor para pedir ayuda.

Los defensores de la privacidad han advertido que una vigilancia en línea más rigurosa podría terminar penalizando a los niños por ser niños. También les preocupa que tales preocupaciones puedan alimentar aún más el pánico moral, en el que algunos activistas conservadores han pedido el despido de maestros LGBTQ que discutan sobre género u orientación sexual con sus alumnos, equiparándolos falsamente con abuso infantil.

Pero el caso se suma a una creciente ola de demandas que desafían a las empresas tecnológicas a asumir una mayor responsabilidad por la seguridad de sus usuarios, y argumentan que los precedentes del pasado ya no deberían aplicarse.

Las empresas han argumentado tradicionalmente en los tribunales que una ley, la Sección 230 de la Ley de Decencia en las Comunicaciones, debería protegerlas de la responsabilidad legal relacionada con el contenido que publican sus usuarios. Pero los abogados han argumentado cada vez más que la protección no debería inocular a la empresa del castigo por las elecciones de diseño que promovieron el uso dañino.

En un caso presentado en 2019, los padres de dos niños que murieron cuando su automóvil se estrelló contra un árbol a 113 mph mientras grababan un video de Snapchat demandaron a la compañía , diciendo que su decisión de "diseño negligente" de permitir a los usuarios imprimir velocímetros en tiempo real en sus los videos habían fomentado la conducción temeraria.

Un juez de California desestimó la demanda citando la Sección 230, pero un tribunal federal de apelaciones revivió el caso el año pasado y dijo que se centraba en las "consecuencias predecibles de diseñar Snapchat de tal manera que supuestamente fomentaba un comportamiento peligroso". Desde entonces, Snap eliminó el "Filtro de velocidad". El caso está en curso.

En una demanda separada, la madre de una niña de 11 años de Connecticut demandó este año a la empresa matriz de Snap e Instagram, Meta , alegando que los hombres la habían presionado de forma rutinaria en las aplicaciones para que enviara fotos sexualmente explícitas de ella, algunas de las cuales se publicaron más tarde y fueron compartidas alrededor de su escuela. La niña se suicidó el verano pasado, dijo la madre, debido en parte a su depresión y vergüenza por el episodio.

El Congreso ha expresado cierto interés en aprobar una regulación más estricta, con un grupo bipartidista de senadores escribiendo una carta a Snap y a docenas de otras compañías tecnológicas en 2019 preguntando qué medidas proactivas habían tomado para detectar y detener el abuso en línea.

Pero los pocos proyectos de ley tecnológicos propuestos han enfrentado inmensas críticas, sin garantía de convertirse en ley. La más notable, la Ley Earn It , que se presentó en 2020 y pasó una votación del comité del Senado en febrero, abriría a las empresas tecnológicas a más demandas por imágenes de abuso sexual infantil, pero los defensores de la tecnología y los derechos civiles lo han criticado por debilitar potencialmente privacidad en línea para todos.

Algunos expertos en tecnología señalan que los depredadores pueden contactar a los niños en cualquier medio de comunicación y que no existe una forma simple de hacer que todas las aplicaciones sean completamente seguras. Los defensores de Snap dicen que la aplicación de algunas salvaguardas tradicionales, como los filtros de desnudez utilizados para filtrar la pornografía en la Web, a los mensajes personales entre amigos que dan su consentimiento generaría sus propios problemas de privacidad.

Pero algunos todavía se preguntan por qué Snap y otras empresas tecnológicas han tenido problemas para diseñar nuevas herramientas para detectar abusos.

Hany Farid, un experto en imágenes forenses de la Universidad de California en Berkeley, que ayudó a desarrollar PhotoDNA, dijo que la seguridad y la privacidad han pasado a un segundo plano durante años frente al compromiso y las ganancias.

El hecho de que PhotoDNA, que ahora tiene más de una década, siga siendo el estándar de la industria “le dice algo sobre la inversión en estas tecnologías”, dijo. “Las empresas están tan aletargadas en términos de cumplimiento y pensando en estos riesgos… al mismo tiempo, están comercializando sus productos a niños cada vez más pequeños”.

Farid, quien ha trabajado como asesor pagado de Snap sobre seguridad en línea, dijo que cree que la compañía podría hacer más, pero que el problema de la explotación infantil afecta a toda la industria.

“No tratamos los daños de la tecnología de la misma manera que tratamos los daños de la lechuga romana”, dijo. “Una persona muere, y sacamos cada cabeza de lechuga romana de cada tienda”, sin embargo, el problema de la explotación infantil tiene décadas de antigüedad. “¿Por qué no tenemos tecnologías espectaculares para proteger a los niños en línea?”

'Pensé que esto sería un secreto'

La niña dijo que el hombre le envió un mensaje al azar un día en Instagram en 2018, justo antes de cumplir 13 años. Él la aduló, dijo, en un momento en que se sentía cohibida. Luego le pidió su cuenta de Snapchat.

“Todas las niñas tienen inseguridades”, dijo la niña, que vive en California. “Conmigo, se alimentaba de esas inseguridades para animarme, lo que construyó una conexión entre nosotros. Luego usó esa conexión para mover los hilos”. The Post no identifica a las víctimas de abuso sexual sin su permiso.

Comenzó a pedirle fotos en ropa interior, luego la presionó para que le enviara videos de ella desnuda, luego videos más explícitos para que coincidieran con los que él mismo enviaba. Cuando ella se negó, él la reprendió hasta que accedió, dice la demanda. Siempre exigió más.

Ella lo bloqueó varias veces, pero él le envió mensajes a través de Instagram o cuentas falsas de Snapchat hasta que ella comenzó a hablar con él nuevamente, escribieron los abogados. Se intercambiaron cientos de fotos y videos durante un lapso de tres años.

Se sentía avergonzada, pero tenía miedo de decírselo a sus padres, dijo la niña a The Post. También le preocupaba lo que él podría hacer si se detenía. Ella pensó que denunciarlo a través de Snapchat no serviría de nada, o que podría hacer que su nombre saliera a la luz y que las fotos la siguieran por el resto de su vida.

“Pensé que esto sería un secreto”, dijo. “Que me guardaría esto para mí para siempre”. (Los funcionarios de Snap dijeron que los usuarios pueden informar de forma anónima sobre mensajes o comportamientos, y que sus equipos de "confianza y seguridad" responden a la mayoría de los informes en dos horas).

La primavera pasada, le dijo a The Post, vio a algunos niños en la escuela riéndose de fotos de niñas desnudas y se dio cuenta de que podría haber sido ella. Ella construyó su confianza durante la próxima semana. Luego se sentó con su madre en su dormitorio y le contó lo que había sucedido.

Su madre le dijo a The Post que había tratado de seguir las cuentas públicas de las redes sociales de la niña y no vio señales de alerta. Sabía que su hija usaba Snapchat, como todos sus amigos, pero la aplicación está diseñada para no dar ninguna indicación de con quién está hablando alguien o qué ha enviado. En la aplicación, cuando miraba el perfil de su hija, todo lo que podía ver era su avatar de dibujos animados.

Los abogados citan la política de privacidad de Snapchat para mostrar que la aplicación recopila gran cantidad de datos sobre sus usuarios, incluida su ubicación y con quién se comunican; argumentan que Snap debería ser capaz de evitar que más usuarios estén "expuestos a situaciones inseguras y desprotegidas". situaciones.”

Stout, el ejecutivo de Snap, le dijo al panel de protección al consumidor del Comité Senatorial de Comercio, Ciencia y Transporte en octubre que la compañía estaba creando herramientas para "dar a los padres más supervisión sin sacrificar la privacidad", lo que incluye permitirles ver la lista de amigos de sus hijos y quiénes son. Hablando a. Un portavoz de la compañía le dijo a The Post que esas características están programadas para su lanzamiento este verano.

Pensando en esos años, la madre dijo que está devastada. Ella cree que la aplicación Snapchat debería haberlo sabido todo, incluso que su hija era una niña. ¿Por qué no marcó que su cuenta estaba enviando y recibiendo tantas fotos y videos explícitos? ¿Por qué nadie se enteró de que un hombre mayor le enviaba mensajes constantemente con frases abiertamente sexuales, diciéndole cosas como “lámela”?

Después de que la familia llamara a la policía, el hombre fue acusado de abuso sexual de un niño que implicaba exposición indecente, así como la producción, distribución y posesión de pornografía infantil.

En ese momento, el hombre era un cabo de primera línea del Cuerpo de Marines de EE. UU. estacionado en una base militar, según los registros de la corte marcial obtenidos por The Post.

Como parte de la investigación criminal del Cuerpo de Marines, se descubrió que el hombre coaccionó a otras niñas menores de edad para que enviaran videos sexualmente explícitos que luego intercambió con otras cuentas en Chitter. La demanda cita una serie de reseñas de usuarios de la App Store de Apple que decían que la aplicación estaba plagada de "creeps" y "pedófilos" que compartían fotos sexuales de niños.

El hombre les dijo a los investigadores que usó Snapchat porque sabía que "los chats desaparecerían". En octubre, fue dado de baja sin honores y sentenciado a siete años de prisión, según muestran los registros de la corte marcial.

La niña dijo que ha sufrido de culpa, ansiedad y depresión después de años de soportar en silencio la explotación y ha intentado suicidarse. El dolor “me está matando más rápido de lo que me está matando la vida”, dijo en la demanda.

Su madre dijo que el último año ha sido devastador y que le preocupan adolescentes como su hija, la chica graciosa con la habitación desordenada, a la que le encanta bailar, que quiere estudiar psicología para poder entender cómo piensa la gente.

“El criminal es castigado, pero la plataforma no. No tiene sentido”, dijo la madre. “Están ganando miles de millones de dólares a costa de sus víctimas, y la carga recae en todos nosotros”.