El fiscal general de California, Rob Bonta, envió el 16 de enero de 2026 una carta de cese y desistimiento a xAI , la empresa de inteligencia artificial asociada a Elon Musk, exigiendo que detenga de inmediato la creación y difusión de imágenes íntimas generadas por IA sin consentimiento, incluidas aquellas que podrían constituir material de abuso sexual infantil (CSAM). La acción llegó tras una investigación abierta por la oficina del fiscal general sobre cientos de denuncias y ejemplos de imágenes manipuladas que se habrían difundido a través de Grok, el modelo conversacional de xAI.

La preocupación se alimentó por un aumento de informes y análisis que señalaron la proliferación de imágenes sexualizadas , algunas con apariencia de menores, y por reacciones regulatorias y bloqueos en varios países. El caso ha reavivado el debate sobre la responsabilidad legal de las compañías que desarrollan y despliegan modelos multimodales capaces de editar y generar fotografías realistas.

Qué exige la orden de la fiscalía

La carta del fiscal general pide a xAI que cese «inmediatamente» la creación, divulgación y publicación de imágenes íntimas digitalizadas que muestren a personas sin su consentimiento, y subraya que la producción o difusión de material que involucre a menores es un delito penal. El comunicado oficial menciona además artículos concretos del derecho californiano que podrían haberse vulnerado, y solicita una respuesta sobre las medidas adoptadas en un plazo breve.

Entre las figuras legales citadas por la oficina del fiscal se encuentran la California Civil Code section 1708.86 (protección contra divulgación no consentida de imágenes íntimas), secciones del Penal Code relativas al material obsceno y CSAM, y la Business & Professions Code para prácticas comerciales desleales. La misiva convierte el asunto en una potencial causa de responsabilidad tanto criminal como civil para la compañía.

El documento exige a xAI confirmar, en un corto plazo, las acciones concretas que tomará para remediar la situación y prevenir futuros abusos, y advierte de consecuencias legales en caso de incumplimiento. La fiscalía también habilitó canales para que potenciales víctimas informen sobre imágenes falsas que les afecten.

Respuesta de xAI y medidas técnicas implantadas

Ante la presión pública y regulatorias, xAI informó que había impuesto medidas tecnológicas para limitar la edición de imágenes de personas reales en ropa reveladora (por ejemplo, bikinis) y que ciertos controles se aplicarían de forma geográfica en lugares donde esa conducta es ilegal. La compañía también anunció que restringiría algunas funciones a usuarios de pago para facilitar la trazabilidad.

Sin embargo, investigaciones periodísticas y verificaciones técnicas detectaron lagunas en estas medidas: en algunos flujos de uso , por ejemplo, a través de botones de edición o en la web, la generación o edición seguía siendo posible para cuentas gratuitas, lo que dejó dudas sobre la eficacia real de los controles. Los críticos sostienen que las mitigaciones parciales no bastan si el modelo mantiene la capacidad de crear deepfakes sexuales.

xAI afirmó que aplicaría sanciones a usuarios que crearan contenido ilegal y que colaboraría con investigaciones, pero enfrentó escepticismo por la rapidez y alcance de sus correcciones. La tensión entre acelerar despliegues comerciales y garantizar salvaguardas ha quedado en el centro del debate.

Alcance internacional y reacciones de gobiernos

La controversia superó pronto fronteras: autoridades de varios países informaron bloqueos temporales, investigaciones o solicitudes de datos relacionadas con Grok y la difusión de imágenes sexualizadas. Naciones del sudeste asiático y reguladores europeos alertaron sobre riesgos de explotación y protección infantil. Esta respuesta multilateral muestra que el problema no es local sino global.

En Europa y en jurisdicciones como Irlanda, fuerzas policiales emitieron órdenes de preservación de datos y solicitaron cooperación para identificar presuntos casos de abuso infantil y redes de distribución. Las autoridades subrayaron la necesidad de retener registros y metadatos para garantizar investigaciones efectivas.

El escrutinio internacional también puso presión sobre tiendas de aplicaciones, plataformas de pago y buscadores para que limiten la accesibilidad a herramientas que faciliten la creación o difusión de deepfakes pornográficos, y ha provocado llamados a estándares comunes sobre mitigación y auditoría de modelos.

Implicaciones legales y riesgos para xAI

Además del cese y desistimiento de California, xAI puede afrontar investigaciones penales por distribución de CSAM, demandas civiles por daños a la privacidad y acciones regulatorias por prácticas comerciales engañosas si se interpreta que permitió la propagación masiva de imágenes no consentidas. El caso ilustra cómo la ley existente , sumada a nuevas normas específicas sobre deepfakes en algunos estados, se aplicará rápidamente a tecnologías emergentes.

La imposición de responsabilidades depende de pruebas técnicas (logs, historial de prompts, modelos usados) que las autoridades buscarán obtener. Por eso las órdenes de preservación y las solicitudes de información juegan un papel clave para determinar si hubo negligencia o complicidad en la facilitación de delitos.

Si los tribunales concluyen que xAI violó leyes estatales o federales, las sanciones podrían abarcar multas, remedios civiles, y exigencias de cambio estructural en los procesos de control del producto, lo que sentaría precedentes para otras empresas de IA.

Por qué los modelos generan deepfakes y las limitaciones técnicas

Los grandes modelos multimodales como Grok se entrenan con ingentes cantidades de imágenes y texto, lo que les permite aprender asociaciones visuales complejas. Sin embargo, esas capacidades facilitan también la manipulación realista de rostros y cuerpos cuando se combinan con instrucciones (prompts) diseñadas para «desvestir» o sexualizar sujetos a partir de fotos ordinarias. Esa potencia técnica, sin filtros robustos, explica la rapidez con la que surgieron deepfakes pornográficos.

Las medidas técnicas habituales , como detección automática de CSAM, filtros por edad estimada, marcas digitales (watermarking) y límites en edición de imágenes de personas reales, ayudan, pero no son infalibles. Los atacantes refinan prompts y flujos alternativos para evadir controles, por lo que la defensa exige combinaciones de diseño seguro, monitoreo humano y trazabilidad.

Expertos piden evaluaciones de riesgo previas al despliegue (red-teaming), auditorías independientes y requisitos regulatorios que obliguen a las empresas a documentar fuentes de datos y a demostrar mitigaciones efectivas antes de ofrecer capacidades sensibles al público. Sin estos cambios, la tecnología seguirá presentando riesgos significativos para privacidad y seguridad.

Qué pueden hacer las víctimas y qué esperar del proceso

Las personas afectadas por deepfakes íntimos pueden reportar las imágenes a las autoridades estatales y federales, a los equipos de cumplimiento de las plataformas donde se difunden, y a organizaciones que ofrecen apoyo legal y psicológico a víctimas de explotación digital. La oficina del fiscal general de California habilitó recursos y mecanismos de denuncia para atender estos casos.

En el plano técnico, existen herramientas de detección y servicios que ayudan a localizar y solicitar la retirada de imágenes no consentidas, aunque la eliminación completa en internet no está garantizada. Legalmente, las víctimas pueden explorar acciones civiles por daños a la privacidad y exigir a las plataformas que retengan pruebas para apoyar procesos penales.

Es probable que el proceso investigativo incluya solicitudes de preservación de datos, citaciones y cooperación internacional. Mientras tanto, las víctimas y defensores piden respuestas rápidas de las empresas y políticas más claras para prevenir la reinserción de material manipulado.

En resumen, la orden de California a xAI representa un punto de inflexión en la regulación práctica de la IA generativa: por primera vez una autoridad estatal exige a un desarrollador que detenga funciones concretas por su potencial de daño masivo y no consentido. El caso podría acelerar normas, auditorías y responsabilidades para toda la industria.

El desenlace dependerá de la respuesta de xAI, de las pruebas recabadas por las autoridades y de si los reguladores y legisladores aprovechan la ocasión para establecer estándares operativos obligatorios. Para las víctimas, la prioridad inmediata es la contención y la obtención de recursos legales y técnicos que limiten el daño.