LO ESENCIAL EN 30 SEGUNDOS
- El OpenAI CSAM Image Classifier, desarrollado con el NCMEC, puntúa imágenes según señales de abuso, incluido material generado por IA, y es gratuito a través de la API para organizaciones aprobadas.
- OpenAI afirma que en las primeras pruebas marcó un 48 % menos de imágenes y encontró el mismo número de imágenes abusivas.
- Los usuarios de ChatGPT que intentan sexualizar a menores reciben una advertencia, se les remite a servicios de apoyo y pierden el acceso durante 24 horas; la reincidencia puede llevar al cierre de la cuenta.
OpenAI anunció el 16 de noviembre un conjunto de medidas de protección infantil: un clasificador de imágenes que abre a otras organizaciones, nuevas advertencias y suspensiones temporales en ChatGPT, una guía para desarrolladores y herramientas para investigadores.
Un clasificador para imágenes nunca vistas
La comparación de huellas digitales (hash) solo detecta archivos que ya figuran en bases de datos de material conocido. El nuevo clasificador, que la documentación para desarrolladores de OpenAI denomina OpenAI CSAM Image Classifier, busca en cambio señales visuales de abuso, por lo que también puede detectar imágenes nuevas o alteradas, incluidas las generadas por IA. Devuelve una puntuación que ayuda a los revisores humanos a decidir qué imágenes atender primero. OpenAI lo desarrolló con el National Center for Missing and Exploited Children (NCMEC) de Estados Unidos. OpenAI asegura que en las primeras pruebas la herramienta marcó un 48 % menos de imágenes que antes e identificó la misma cantidad de imágenes abusivas, y que las imágenes marcadas tenían aproximadamente el doble de probabilidades de contener abuso. Son cifras de la compañía, no verificadas.
El acceso es gratuito a través de la API de OpenAI, pero el modelo no se puede descargar libremente ni está abierto a cualquiera. Las organizaciones deben solicitarlo, superar una verificación de identidad con Persona, completar la incorporación y aceptar las condiciones. TechCrunch informa de que OpenAI colabora con la Tech Coalition y ROOST para ampliar el acceso.
Advertencias y pausas en ChatGPT
ChatGPT ya bloqueaba las peticiones de este tipo de material. Ahora, quienes intentan sexualizar a menores ven además una advertencia que explica el daño y se les remite a servicios especializados para dejar esa conducta. Su acceso queda suspendido durante 24 horas. Business Standard añade que la conversación marcada se elimina y que la reincidencia puede acarrear restricciones más largas, el cierre de la cuenta y denuncias a las autoridades. OpenAI redactó los mensajes con Protect Children, la Lucy Faithfull Foundation y Joel Scanlan, de la Universidad de Tasmania, que evaluó de forma independiente una prueba de mensajes disuasorios.
Desarrolladores e investigadores
OpenAI también publicó una guía para que los desarrolladores prevengan, detecten y denuncien este material. Recomienda normas de uso, canales de denuncia y el registro ante el NCMEC o una línea de denuncia local. A las unidades especializadas en protección infantil de Estados Unidos, la empresa les ofrece herramientas de IA y formación. Según Business Standard, la primera herramienta ayuda a revisar largos historiales de chat y documentos judiciales y a reconstruir cronologías. OpenAI se ha unido además a Lantern, el programa de intercambio de señales de la Tech Coalition.
OpenAI afronta además varias demandas por presuntos daños a usuarios, en especial menores.
