Construir y evaluar

Qué es: El estado enviado al modelo debe contener la información necesaria para la pregunta. Más contenido no significa automáticamente más calidad. Documentos irrelevantes pueden dificultar la decisión y aumentar el costo. Empieza identificando qué campos sostienen el juicio.

¿Por qué aprender: Construir una requisición y manejar errores manteniendo credenciales en el servidor.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 9.1.

Qué es: La API recibe model, state y questions. Cada pregunta tiene una clave elegida por la aplicación, un tipo e instrucciones. Choice agrega un mapa de alternativas; Score, una lista de niveles ordenados; Noul puede incluir criterios para verdadero y falso. El laboratorio exporta un JSON de ejemplo sin credenciales.

¿Por qué aprender: Construir una requisición y manejar errores manteniendo credenciales en el servidor.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 9.2.

Qué es: Una integración debe prever fallas antes de recibir la primera respuesta. Credencial inválida, contrato rechazado, límite de requisiciones y indisponibilidad no son la misma situación. Repetir varias veces un error de autenticación normalmente solo desperdicia tiempo; una sobrecarga temporal puede permitir un nuevo intento controlado.

¿Por qué aprender: Construir una requisición y manejar errores manteniendo credenciales en el servidor.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 9.3.

Qué es: Una evaluación empieza con definir qué es correcto. Si las etiquetas cambian de una persona a otra, la métrica podría estar midiendo desacuerdo de proceso. Crea una guía de etiquetado, revisa ejemplos y documenta los casos que no encajan bien.

¿Por qué aprender: Comparar métodos sin confundir ejemplos ajustados con evidencia independiente.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 10.1.

Qué es: Usa la misma tarea y los mismos datos para comparar reglas, Jev, un modelo generativo con salida estructurada y un flujo híbrido. Registra configuraciones y versiones. Las diferencias en la entrada o en los criterios dificultan interpretar la comparación.

¿Por qué aprender: Comparar métodos sin confundir ejemplos ajustados con evidencia independiente.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 10.2.

Qué es: Al aumentar un umbral, normalmente pasan menos respuestas a la sugerencia automática. Esto puede reducir algunos errores, pero incrementa la revisión y puede dejar pasar los errores más confiables. Necesitamos medir dos cosas juntas: la calidad de los casos aceptados y la cobertura, la fracción de casos que la política acepta.

¿Por qué aprender: Comparar métodos sin confundir ejemplos ajustados con evidencia independiente.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 10.3.

Qué es: El modo de observación significa que la nueva etapa calcula una sugerencia, pero el flujo anterior sigue siendo responsable de la decisión. Así podemos comparar el comportamiento con la operación real sin aplicar automáticamente los errores del piloto.

¿Por qué aprender: Preparar logs, seguimiento y retorno sin perder control de la operación.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 11.1.

Qué es: Un log útil vincula el evento con la versión de la pregunta, la política y el modelo usado. También registra el tiempo, tokens, resultado y la eventual corrección. Sin esa información, es difícil saber si un cambio de comportamiento vino del modelo, del contexto o de una modificación en el código.

¿Por qué aprender: Preparar logs, seguimiento y retorno sin perder control de la operación.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 11.2.

Qué es: Un alias de modelo puede apuntar a una nueva versión sin cambiar su requisición. Esto facilita las actualizaciones, pero dificulta atribuir variación cuando los umbrales se ajustaron para una versión anterior. Registra el identificador resuelto y fija versiones en los experimentos que necesiten reproducirse.

¿Por qué aprender: Preparar logs, seguimiento y retorno sin perder control de la operación.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 11.3.

Qué es: El proyecto final es una triage de atención en portugués. Empieza describiendo quién recibe los tickets, qué colas existen y qué problema quieres reducir. Evita prometer automatización total. La primera entrega es una especificación que otra persona puede revisar.

¿Por qué aprender: Entregar una decisión de adopción fundamentada, incluso cuando la respuesta sea no automatizar.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 12.1.

Qué es: Presenta tu evaluación de modo que otra persona pueda repetirla. Identifica el dataset, su origen, las particiones y las configuraciones. Muestra la cantidad de casos por clase, los errores importantes y las limitaciones. Un gráfico de precisión sin contexto no es suficiente.

¿Por qué aprender: Entregar una decisión de adopción fundamentada, incluso cuando la respuesta sea no automatizar.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 12.2.

Qué es: La última etapa es una decisión de proyecto. Hay tres salidas legítimas: continuar con una implementación limitada, recopilar más datos o no adoptar. La elección depende de calidad, costo, cobertura, esfuerzo de revisión y capacidad operativa, no de la popularidad del modelo.

¿Por qué aprender: Entregar una decisión de adopción fundamentada, incluso cuando la respuesta sea no automatizar.

Conceptos clave: contexto, criterios y evidencia aplicados a la lección 12.3.