Pregunta 12 · 🛡️ Pruebas de seguridad
¿El agente se vuelve «más inteligente» a medida que prueba? ¿Y tratar de cambiar un precio equivale a lograrlo?
Los informes de seguridad hechos con agentes de IA suelen venir llenos de hallazgos. La pregunta que distingue un trabajo serio de uno apresurado es sencilla: ¿esto se intentó o se comprobó?
Piensa en una prueba autorizada en una tienda en línea pequeña: el agente intenta comprar un producto cambiando el precio en el proceso.
Hay una gran diferencia entre que el agente intente algo y demostrar que funcionó. Ver un intento de cambiar un precio no demuestra que el servidor (la computadora de la tienda que registra el pedido de verdad) haya aceptado el cambio.
Durante las pruebas, el sistema reúne información: un método que falló puede revelar una dirección o un detalle que valga la pena investigar en el siguiente intento. En la práctica, sigue siendo útil que una persona guíe al agente; anota qué funcionó para repetir la prueba sin tener que explicarlo todo de nuevo.
Intentar y probar no son lo mismo
El agente puede cambiar el precio de un producto durante la compra y mostrarlo en el registro. Eso es solo un intento. Quien decide es el servidor (la computadora de la tienda que registra el pedido de verdad).
La prueba aparece cuando el servidor lo acepta: el pedido queda registrado con el precio alterado, se cobra el monto incorrecto y el sistema lo confirma. Sin esa confirmación, el hallazgo es una hipótesis, no una falla.
Cómo comprobar si funcionó
Revisa la respuesta del servidor, no solo lo que envió el agente. Comprueba el estado final: el pedido en el panel de la tienda, el monto en el carrito después de volver a cargar la página o el registro en la base de datos de prueba.
Una buena regla es repetir la prueba desde cero. Si la falla aparece una sola vez y no vuelve a aparecer, desconfía. Pídele al agente la evidencia (captura de pantalla, respuesta completa, número de pedido) junto con cada afirmación.
El agente aprende durante la prueba
En una misma sesión, el agente reúne información. Un intento fallido puede revelar una dirección interna, un mensaje de error o un campo oculto que conviene investigar a continuación. En ese sentido, se vuelve más hábil a lo largo de la prueba.
Pero, en general, ese aprendizaje no queda guardado para la próxima vez. Si nadie anota lo que funcionó, la siguiente prueba empieza desde cero.
Por qué todavía se necesita a alguien
Una persona que orienta decide qué pistas vale la pena seguir, descarta caminos inútiles y comprueba si la prueba es real. También se asegura de que el agente no salga del alcance acordado. Todo esto solo en un entorno propio o con autorización por escrito del dueño del sistema.
- Acuerda el alcance y obtén autorización por escrito antes de empezar.
- Pídele al agente evidencia de cada hallazgo, no solo una descripción.
- Comprueba el resultado en el estado final del sistema, por ejemplo, el pedido registrado.
- Repite desde cero los hallazgos importantes para confirmar si se repiten.
- Anota qué funcionó, qué falló y qué pistas aparecieron.
- Usa esas notas como punto de partida para la siguiente prueba.
- Presentar un intento en el informe como si fuera una falla confirmada, lo que resta credibilidad al trabajo.
- Confiar solo en el registro del agente sin revisar lo que el servidor realmente guardó.
- No registrar lo que funcionó y tener que volver a explicar todo en cada prueba.
- Intento ≠ prueba.
- Cada fallo puede enseñar algo para el siguiente intento.
- Todavía hace falta que una persona lo guíe.