Cómo los equipos de seguridad combaten la IA

La mayoría de las empresas conectan un modelo a sus bases de datos, cruzan los dedos y le llaman innovación. Asumen que si nadie conoce la dirección interna del servidor, están a salvo. Para quien busca vulnerabilidades, esa ingenuidad es el terreno ideal.

Los equipos serios de seguridad no defienden esperando el golpe. Atacan primero. Se llama red teaming, y frente a la inteligencia artificial cambió de método: ya no buscan errores de sintaxis en el código, buscan grietas en el juicio probabilístico del modelo.

Quién gana con esto

Gana quien entiende que un modelo de lenguaje no falla como un programa tradicional. En el software clásico, dos más dos siempre da cuatro; si da cinco, hay un bug en la línea tal. En un modelo generativo, la respuesta depende del contexto, del sesgo y de cómo se formulen las palabras. Un atacante no necesita descifrar una llave criptográfica: solo necesita encontrar la combinación de frases que haga que el sistema ignore sus propias restricciones.

Por eso los equipos defensivos —como el AI Red Team de Microsoft— crearon herramientas como PyRIT para automatizar pruebas adversarias continuas. Simulan miles de ataques simultáneos: inyecciones de instrucciones, fuga de datos confidenciales y desvío de comportamiento, antes de que el usuario final interactúe con el sistema.

El red teaming no busca que el sistema sea infalible. Asume que se va a romper y averigua exactamente por dónde.

Qué pasa cuando falla

Cuando una organización no hace este ejercicio bajo control, el adversario lo hace en producción, gratis y sin avisar. Y cuando el sistema falla, casi nunca es culpa de la IA: es de la arquitectura ciega que le dio permisos excesivos sin supervisión. Según el marco de riesgos de OWASP para sistemas agentic, los peores incidentes ocurren cuando los agentes tienen capacidad de ejecución sin puntos de control intermedios.

La defensa no se improvisa cuando llega el rescate. Dos pasos para auditar cualquier integración antes de abrirla al público:

1. Simula al adversario interno y externo. Pon a alguien de tu equipo técnico a intentar que el modelo revele información restringida o ejecute comandos prohibidos usando lenguaje natural. Si logran burlarlo en diez minutos de charla, un atacante tardará dos.
2. Defensa en capas, no un filtro único. No confíes en que el “prompt del sistema” le prohíba portarse mal. El filtro de entrada, la validación de salida y los permisos de las herramientas deben ser independientes entre sí.

Quien audita sus sistemas con complacencia está diseñando su propio incidente. Quien los ataca en serio es quien de verdad los protege.

Fuentes

• Microsoft AI Red Team building future of safer AI (Microsoft Security Blog)
• Announcing Microsoft’s open automation framework to red team generative AI Systems (Microsoft Security Blog)
• Addressing the OWASP Top 10 Risks in Agentic AI (Microsoft Security Blog)