Pregunta 09 · 🛡️ Pruebas de seguridad
¿Cuál es la diferencia entre un agente de seguridad y un modelo sin censura con algunas herramientas?
Es común pensar que basta con un modelo de IA sin barreras para tener una herramienta de seguridad poderosa. En la práctica, lo que hace que el trabajo rinda es el sistema construido alrededor del modelo.
Un “modelo sin censura” es un modelo de IA al que alguien le quitó las barreras que hacen que rechace solicitudes riesgosas. Eso por sí solo no lo convierte en una herramienta de seguridad: el software que rodea al modelo define qué herramientas puede usar, qué recuerda, cómo da seguimiento a un hallazgo y qué intenta cuando un enfoque falla.
Un sistema diseñado para pruebas de seguridad ofrece al modelo un flujo de trabajo mucho más útil que una ventana de chat genérica. Las charlas de conferencias de seguridad, como Black Hat, son una buena base para ver cómo se construyen estos agentes y sus herramientas.
Por eso conviene separar siempre el modelo de la estructura que lo rodea: el mismo modelo ofrece resultados muy distintos según cómo esté construido el sistema.
Qué es el harness
Harness (arnés, en inglés) es el software que rodea al modelo. Le proporciona herramientas, guarda lo que ya se hizo, decide el siguiente paso y establece límites. El modelo sugiere acciones; el harness las ejecuta, verifica el resultado y se lo devuelve al modelo.
Sin eso, el modelo es solo una conversación. Puede explicar una técnica, pero no prueba nada ni recuerda lo que ya intentó.
Las cuatro partes
Herramientas: scanners (programas que analizan un sistema en busca de fallas conocidas), navegador, terminal; cada uno habilitado para una tarea. Memoria: el registro de lo que se revisó, los objetivos y las hipótesis. Seguimiento: cuando encuentra algo, el sistema profundiza en ese punto en vez de saltar a otro tema. Plan B: cuando un enfoque falla, hay una lista de alternativas en lugar de repetirlo a ciegas.
Las herramientas suelen conectarse mediante MCP (un estándar para conectar herramientas externas con modelos de IA) o mediante scripts propios.
Quitar las barreras no basta
Un modelo sin censura simplemente deja de rechazar solicitudes. No adquiere método, memoria ni acceso a herramientas. En muchos casos, un modelo común dentro de un sistema bien diseñado y con un alcance claro rinde más. Quien use un modelo sin barreras también debe establecer los límites por su cuenta: qué se puede tocar, hasta dónde llegar y cuándo detenerse.
Cómo evaluar un sistema
Al comparar herramientas, cambia la pregunta "¿qué modelo usa?" por estas otras: qué herramientas activa, cómo guarda el progreso, qué hace cuando falla un paso, cómo respeta el alcance y si deja un registro de lo que hizo. Las charlas de conferencias de seguridad, como Black Hat, muestran ejemplos de estas arquitecturas.
- Define por escrito el alcance y los sistemas autorizados.
- Elige las herramientas que podrá usar el agente y habilita solo esas.
- Crea un registro persistente de hallazgos e intentos.
- Especifica qué debe intentar el agente cuando falle un paso.
- Compara los sistemas por su estructura, no solo por el nombre del modelo.
- Pensar que quitarle las barreras al modelo crea una herramienta de seguridad.
- Dar acceso amplio a herramientas sin limitar el alcance.
- Evaluar a un agente sin revisar el registro de lo que realmente ejecutó.
- Modelo ≠ sistema.
- Las herramientas, la memoria y la estrategia marcan la diferencia.
- Mismo modelo, distintos resultados.