Define el éxito observable
¿Qué es? Cada tarea declara el estado inicial, el resultado esperado, los efectos prohibidos y las tolerancias.
Por qué aprender: Sin un oráculo, la fluidez de la respuesta se convierte en un sustituto engañoso de la finalización real.
Antes de modelar
Escribe la solicitud de la persona, el estado actual y la evidencia que demostrará la finalización.
Error de partida
Empezar por el nombre de una función o por un botón produce una tool sin un objetivo humano claro.
Anticípate antes de abrir el código
¿Qué información cambia la decisión? ¿Qué efecto debe aparecer en la interfaz? Responde antes de implementar.
expected: { enrollmentStatus: "draft" }
forbidden: { chargeCreated: true }Profundiza: evidencia que vale la pena guardar
Registra la entrada, el estado anterior, la decisión tomada, el resultado y el cambio visible en la página.
Incluye también una falla provocada y el comportamiento observado sin soporte de WebMCP.
Conceptos clave
initial state
expected effect
forbidden effect
oracle
Construye un dataset representativo
¿Qué es? Los casos cubren frecuencia, riesgo, ambigüedad, fallas y variación lingüística real.
Por qué aprender: Un promedio dominado por casos fáciles oculta regresiones críticas.
| Pregunta | Contrato sólido | Contrato débil |
|---|---|---|
| ¿Cuándo usarlo? | La descripción especifica la intención y el contexto. | “Hace cosas” o “gestiona”. |
| ¿Qué recibe? | Solo los datos necesarios. | Objeto genérico e ilimitado. |
| ¿Qué devuelve? | Estado y siguiente acción verificables. | Texto sin protocolo. |
| ¿Cómo falla? | Código, motivo y recuperación. | Excepción opaca. |
Haz
- ✓ Usa verbos específicos.
- ✓ Delimita las entradas.
- ✓ Declara la evidencia.
Evita
- ✗ Mezclar intenciones.
- ✗ Aceptar cualquier objeto.
- ✗ Ocultar efectos.
dataset = stratify(cases, ["happy", "ambiguous", "failure", "adversarial"]);Profundiza: evidencia que vale la pena guardar
Registra la entrada, el estado anterior, la decisión tomada, el resultado y el cambio visible en la página.
Incluye también una falla provocada y el comportamiento observado sin soporte de WebMCP.
Conceptos clave
estratos
ponderación del riesgo
paraphrase
edge case
Evalúa cada etapa del pipeline
¿Qué es? El descubrimiento, la elección, los argumentos, la política, la ejecución y la respuesta reciben métricas propias.
Por qué aprender: La descomposición permite localizar la regresión y orienta la corrección.
Observa
Captura el estado, la entrada y el contexto antes de la acción.
Decide
Valida las precondiciones y elige la transición permitida.
Ejecuta
Aplica la regla compartida y respeta la cancelación.
Demuestra
Actualiza la interfaz y devuelve un resultado estructurado.
Punto de control
Si la etapa 2 falla, la tool no intenta “arreglárselas”: devuelve una recuperación explícita.
metrics = { discoveryRecall, correctTool, validArgs, policyCompliance, taskSuccess };Profundiza: evidencia que vale la pena guardar
Registra la entrada, el estado anterior, la decisión tomada, el resultado y el cambio visible en la página.
Incluye también una falla provocada y el comportamiento observado sin soporte de WebMCP.
Conceptos clave
retrieval recall
precisión de la herramienta
validez del esquema
éxito de la tarea
Instrumenta traces sin filtrar datos
¿Qué es? Los spans correlacionan turnos y llamadas con atributos saneados, versiones y duración.
Por qué aprender: Una observabilidad útil conserva el diagnóstico sin almacenar prompts ni PII innecesarios.
CÓDIGO DE REFERENCIA
span.setAttributes({ toolName, catalogVersion, outcome, durationMs });
span.addEvent("policy.denied", { reasonCode });Es pequeña, está descrita y se puede validar.
Reutiliza la regla real de la aplicación.
Permite verificar el efecto y continuar.
Lee el código como un contrato
Subraya dónde se valida la entrada, dónde ocurre el efecto, dónde llega la cancelación y dónde se actualiza la UI.
Profundiza: evidencia que vale la pena guardar
Registra la entrada, el estado anterior, la decisión tomada, el resultado y el cambio visible en la página.
Incluye también una falla provocada y el comportamiento observado sin soporte de WebMCP.
Conceptos clave
OpenTelemetry
span
redaction
muestreo
Detecta regresiones y drift
¿Qué es? Las baselines versionadas permiten comparar modelos, prompts, catálogos y navegadores a lo largo del tiempo.
Por qué aprender: Los cambios aparentemente aislados pueden alterar la selección y la tasa de éxito.
Falla provocada
Ejecuta el escenario con estado ausente, entrada no válida o capacidad no disponible.
Recuperación esperada
La respuesta informa qué falló, qué sigue siendo seguro y qué acción puede continuar.
Matriz mínima de pruebas
✓ recorrido feliz reproducible
✓ entrada inválida que permite actuar
✓ la cancelación termina el trabajo
✓ el fallback preserva el recorrido
✓ la interfaz refleja el estado
✓ el backend mantiene la autorización
gate.failIf(taskSuccess < baseline - 0.02 || unauthorizedEffects > 0);Profundiza: evidencia que vale la pena guardar
Registra la entrada, el estado anterior, la decisión tomada, el resultado y el cambio visible en la página.
Incluye también una falla provocada y el comportamiento observado sin soporte de WebMCP.
Conceptos clave
baseline
confidence interval
drift
canary
Convierte la evaluación en un criterio obligatorio para publicar
¿Qué es? Los criterios mínimos por riesgo bloquean la publicación, mientras que las alertas no críticas generan seguimiento.
Por qué aprender: Las evaluaciones pasan de ser un informe decorativo a un control operativo.
Ejercicio de síntesis
- 1. Explica el problema sin usar el nombre de la tecnología.
- 2. Diseña el estado anterior y posterior.
- 3. Implementa la prueba funcional más pequeña.
- 4. Provoca una falla y registra la recuperación.
- 5. Entrega código, evidencia y una limitación conocida.
Desafío del módulo
Arma un harness de eval con casos felices, ambiguos y adversariales, y publica un panel de decisión para el release.
Criterio de experto responsable
La entrega debe funcionar, explicar sus límites y preservar la ruta humana cuando la capacidad experimental no exista.
release.requires([security.zeroUnauthorized, p95Latency.lt(3000), criticalTasks.gte(0.98)]);Profundiza: evidencia que vale la pena guardar
Registra la entrada, el estado anterior, la decisión tomada, el resultado y el cambio visible en la página.
Incluye también una falla provocada y el comportamiento observado sin soporte de WebMCP.
Conceptos clave
quality gate
nivel de riesgo
exención
evidence
📦 Entrega del módulo
Arma un harness de eval con casos felices, ambiguos y adversariales, y publica un panel de decisión para el release.
Criterio de aceptación
La entrega funciona con soporte para WebMCP y mantiene la ruta manual cuando la API no existe.
Evidencia
Incluye el código, el escenario probado, el resultado observado y una limitación conocida.
Fuentes técnicas
- Borrador y repositorio oficial de WebMCP
- Especificación renderizada
- Snapshot oficial: 26/08/2026 · commit 41d12f0. La API declarativa sigue siendo experimental; valida el draft antes de producción.