California, la IA y la prudencia activa: el giro de Newsom ante la etiqueta de “riesgo de la cadena de suministro”

La orden ejecutiva del gobernador de California, Gavin Newsom, representa un movimiento estratégico que ambas reconoce y responde a dos realidades clave: la concentración de empresas de inteligencia artificial en el estado y la creciente preferencia por regulaciones proactivas que mitiguen riesgos para derechos civiles y seguridad pública. Tras la designación del fabricante de herramientas de IA Anthropic como “riesgo de la cadena de suministro” por parte del Departamento de Defensa (DoD) —una decisión que, temporalmente, fue bloqueada por una orden judicial—, la Casa del Gobernador decidió arrojar luz propia sobre cómo y con quién hace negocios el estado.

La medida y su propósito

La orden ejecutiva obliga a las agencias estatales de California a desarrollar recomendaciones y estándares contractuales relacionados con la IA, enfocándose en áreas sensibles como la generación de material sexual infantil, la protección de libertades civiles y derechos civiles, y la prevención de discriminación, detenciones y vigilancia ilegales. Al mismo tiempo, busca acelerar el uso responsable de herramientas de IA por parte de empleados públicos, promoviendo el acceso a «herramientas de IA generativa revisadas» y la integración de dichas tecnologías para simplificar servicios gubernamentales.

¿Por qué una intervención estatal cuando existe una designación federal?

La respuesta corta es: autonomía y contexto. Aunque el gobierno federal, mediante organismos como el DoD, puede imponer restricciones por motivos de seguridad nacional, los estados administran contratos, prestan servicios y atienden a sus ciudadanos de forma directa. California está aclarando que no aceptará automáticamente toda etiqueta federal sin una evaluación propia sobre impacto, riesgos y beneficios para las operaciones estatales y para la protección de la ciudadanía.

La orden refleja una tensión contemporánea: por un lado, la urgencia por modernizar la administración pública con herramientas que mejoren eficiencia, transparencia y accesibilidad; por otro, la necesidad de evitar que tecnologías sin salvaguardas entren a operar en contexts sensibles, especialmente aquellas capaces de generar contenido o tomar decisiones que afecten derechos humanos fundamentales.

Mandatos clave y su alcance operativo

• Normas contractuales de IA: Las agencias deben recomendar cláusulas contractuales que limiten usos no deseados de IA (por ejemplo, para vigilancia masiva o armamento autónomo) y exigir garantías sobre la generación de contenido ilegal o dañino.
• Acceso a herramientas revisadas: El estado promoverá que empleados usen versiones de IA que hayan pasado auditorías internas o externas, reduciendo riesgos de sesgo, fuga de datos o generación de contenido dañino.
• Estrategia digital actualizada: El plan digital estatal se revisará para identificar áreas donde la IA generativa pueda mejorar la transparencia, rendición de cuentas y servicio al ciudadano.
• Desarrollo de soluciones públicas: Incentivo a crear o adaptar IA que facilite el acceso a servicios gubernamentales, con énfasis en equidad y privacidad.
• Marcado de contenidos generados por IA: Orientación sobre cómo y cuándo colocar marcas o “watermarks” en imágenes y videos generados por IA para evitar engaños y manipulaciones.

Implicaciones para empresas de IA y contratistas

Para startups y grandes empresas de IA asentadas en California, la orden ejecutiva significa que la adjudicación de contratos estatales dependerá de más que una calificación o sello federal. Las firmas deberán demostrar prácticas de gobernanza, mitigación de sesgos y controles técnicos y legales claros. En la práctica, esto puede dar lugar a criterios técnicos exigentes (auditorías de modelos, evaluaciones de riesgo de privacidad, pruebas de robustez frente a usos maliciosos) y condiciones contractuales específicas (limitaciones de uso, cláusulas de responsabilidad, requisitos de transparencia).

Además, la orientación sobre marcas en contenidos generados por IA podría afectar a empresas que suministran material multimedia: deberán incorporar procedimientos para etiquetar salidas verificadas, una medida que favorece la trazabilidad y combate la desinformación.

¿Un modelo estatal replicable?

California no es el único actor legislando sobre IA, pero sí uno de los más influyentes. El estado concentra buena parte del ecosistema tecnológico de EE. UU., lo que le otorga poder de mercado real: si California define estándares estrictos para suministros tecnológicos al sector público, muchas compañías —incluso con clientes federales o internacionales— ajustarán prácticas para no perder acceso a un mercado enorme.

Algunos aspectos a considerar para replicabilidad:

1. Capacidad técnica del sector público: Formular estándares es una cosa; auditar y verificar su cumplimiento, otra. El estado necesitará personal y herramientas para evaluar modelos y proveedores.
2. Equilibrio entre innovación y seguridad: Regulaciones excesivamente rígidas podrían frenar la adopción de soluciones útiles; demasiada laxitud, en cambio, puede exponer a la ciudadanía a daños evitables.
3. Coordinación intergubernamental: Estados y gobiernos locales pueden coordinar criterios para evitar fragmentación que complique el mercado y la adopción.

Riesgos y críticas previsibles

La medida de Newsom no está exenta de críticas. Algunos defensores de la innovación temen que requisitos contractuales excesivos desincentiven a startups a competir por contratos públicos. Otros advierten que sin transparencia en las evaluaciones estatales, la revisión de designaciones federales podría convertirse en un proceso opaco con influencias políticas.

También existe la preocupación por la capacidad de las agencias para distinguir entre riesgos reales y disputas comerciales: el caso Anthropic ejemplifica una fricción contractual concreta (condiciones sobre uso militar) que escaló hasta una etiqueta federal. Si los estados comienzan a replicar investigaciones paralelas, esto podría generar fricciones regulatorias entre niveles de gobierno.

Ventajas potenciales

A la inversa, la iniciativa de California aporta beneficios claros:

• Protección de derechos civiles: Al exigir cláusulas que impidan el uso de IA para vigilancia masiva o prácticas discriminatorias, el estado prioriza libertades fundamentales.
• Impulso a la transparencia: La obligatoriedad de marcas en contenidos generados por IA y la evaluación de sesgos promueven confianza pública.
• Estímulo a la gobernanza responsable: Exigir auditorías y estándares contractuales posiciona al estado como mercado que premia buenas prácticas, incentivando cambios internos en las empresas.

¿Qué deberían preparar las organizaciones que buscan contratos con California?

Si tu empresa ofrece soluciones basadas en IA y aspira a ser proveedor del estado, considera estas recomendaciones prácticas:

1. Documentar procesos de desarrollo del modelo: registros de entrenamiento, fuentes de datos, controles de calidad y medidas para mitigar sesgos.
2. Implementar evaluaciones externas o auditorías de terceros que validen seguridad, privacidad y equidad.
3. Preparar cláusulas contractuales estándar que limiten usos prohibidos y establezcan responsabilidades ante daños.
4. Incorporar capacidades técnicas para insertar marcas en contenidos generados por IA o para demostrar trazabilidad de las salidas.
5. Establecer canales de transparencia y respuesta ante incidentes, con planes de remediación y comunicación pública.

Un paso en la evolución regulatoria de la IA

La orden ejecutiva de California es otra señal de que la gobernanza de la inteligencia artificial está migrando desde debates teóricos hacia reglas concretas que afectan contratos, contratación pública y operaciones diarias del sector público. No se trata solo de prohibir o permitir tecnologías, sino de construir marcos que permitan su uso en beneficio público sin sacrificar derechos básicos.

Aunque la tensión entre autoridades federales y estatales puede generar conflictos jurisdiccionales, la intervención estatal también ofrece la oportunidad de poner en práctica principios de gobernanza: auditoría, transparencia, responsabilidad y equidad. En un paisaje donde las decisiones tecnológicas influyen cada vez más en la vida ciudadana, estos instrumentos no son meras formalidades, sino herramientas para alinear innovación con valores democráticos.

Nota: la coyuntura que motivó la orden —incluyendo la disputa entre Anthropic y el Departamento de Defensa— subraya la complejidad del cruce entre seguridad nacional, libertad empresarial y protección de los derechos civiles en la era de la IA.