Instalación e primera inferencia
Ejecuta pesos reales en tu máquina.
- Código, entorno y pesos
- Elige CPU o GPU con consciencia
- Descarga solo el modelo necesario
- Primera clasificación por terminal
- Revisa las versiones y el origen
- Resuelve fallas sin reconstruirlo todo
Código, entorno y pesos
Qué es
El clon incluye el SDK y la aplicación práctica; los pesos se descargan por separado desde Hugging Face. Un entorno virtual aísla las dependencias de Python del resto de la máquina. El proyecto mantiene el historial y la licencia del upstream, con la adaptación identificada en los archivos practical y docs.
Por qué aprender
Clonar el Git no descarga automáticamente el checkpoint. La primera ejecución puede tardar mucho más que una inferencia con el modelo residente. Separa estas dos etapas al explicar la experiencia a otra persona o al medir la latencia.
git clone https://github.com/inematds/laya.git; después crea el entorno e instala el paquete desde el clon.
✓ Aplicar con criterio
Puede descargar archivos, construir la arquitectura y cargar los pesos. La medición de inferencia del laboratorio comienza después de esta preparación.
✗ Evitar la conclusión automática
¿Por qué la primera llamada tarda más?
No aceptes una respuesta solo por el nombre del campo o por cómo se ve la precisión. Revisa la definición y el contexto de esta sección.
Conceptos clave
código versionado
aislamiento de Python
pesos entrenados
archivos ya descargados
Prueba tu comprensión
¿Por qué la primera llamada tarda más?
Revisar respuesta comentada
Puede descargar archivos, construir la arquitectura y cargar los pesos. La medición de inferencia del laboratorio comienza después de esta preparación.
Elige CPU o GPU con consciencia
Qué es
La aplicación usa CPU por defecto, lo que permite experimentar sin una GPU compatible. El argumento --device cuda pide aceleración NVIDIA. El SDK puede volver a CPU en algunas fallas; por eso el resultado informa el dispositivo que se usó efectivamente. El tipo de hardware influye mucho en la latencia.
Por qué aprender
No copies los 33 ms publicados para describir tu máquina. Anota la versión de Python, PyTorch, transformers, el dispositivo, el número de preguntas y el tamaño de las entradas. Con GPU, la compatibilidad entre el driver, la arquitectura y el paquete de PyTorch importa tanto como la cantidad de memoria.
python3 -m practical --device cuda triage --message "Fui cobrado dos veces."
-
1
Observa
python3 -m practical --device cuda triage --message "Fui cobrado dos veces."
-
2
Define
La aplicación usa CPU de forma predeterminada, lo que te permite experimentar sin una GPU compatible.
-
3
Revisa
No. Revisa runtime.device en la respuesta y las advertencias del terminal. El SDK tiene rutas de fallback para CPU.
Conceptos clave
ejecución general
aceleración NVIDIA
dispositivo alternativo
versiones reales
Prueba tu comprensión
¿El argumento cuda garantiza que la inferencia ocurrió en la GPU?
Revisar respuesta comentada
No. Revisa runtime.device en la respuesta y las advertencias del terminal. El SDK tiene rutas de fallback para CPU.
Descarga solo el modelo necesario
Qué es
La adaptación precarga solo multilingual, usando el subdirectorio correspondiente del repositorio de modelos. Esto atiende al laboratorio en portugués sin mantener tres checkpoints en memoria. El comando download carga el modelo y confirma el dispositivo antes de abrir la interfaz.
Por qué aprender
Precargar todos los modelos puede ser adecuado para tráfico variado, pero aumenta la memoria residente. Una aplicación con un ámbito lingüístico conocido debe empezar con el conjunto mínimo necesario. No confundas el número de parámetros con el consumo exacto de memoria en ejecución.
python3 -m practical --device cpu download
Comando / esquema de referencia
git clone https://github.com/inematds/laya.git
cd laya
python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install -e . -r practical/requirements.txt
python3 -m practical download
python3 -m practical triage --message "Quero meu reembolso."
Conceptos clave
carga anticipada
modelo en memoria
variante del bundle
pesos e intermedios
Prueba tu comprensión
¿Qué gana quien ejecuta la descarga antes de servir?
Revisar respuesta comentada
Los archivos quedan en caché y los problemas de descarga aparecen antes de la atención. El proceso todavía necesita cargar los pesos en la memoria propia.
Primera clasificación por terminal
Qué es
El comando triage recibe un mensaje y un asunto opcional, ejecuta las cuatro preguntas e imprime JSON. El resultado incluye answers, routing, usage, runtime y policy. Lee primero el departamento sugerido, luego las señales y las razones de la revisión; por último, revisa los detalles de ejecución.
Por qué aprender
El comando debe finalizar con error cuando la entrada sea inválida o si el modelo falla. Esto permite integrar la herramienta en scripts sin confundir indisponibilidad con una recomendación válida. Conserva la salida JSON de una prueba exitosa como evidencia de instalación.
python3 -m practical triage --message "Quiero contratar veinte licencias." --subject "Nuevo contrato"
✓ Aplicar con criterio
Ninguno: el laboratorio no devuelve dinero. automated_action_executed permanece en false y la acción operativa es human_review.
✗ Evitar la conclusión automática
¿Qué campo informa que se devolvió dinero?
No aceptes una respuesta solo por el nombre del campo o por cómo se ve la precisión. Revisa la definición y el contexto de esta sección.
Conceptos clave
interfaz de comando
resultado del proceso
predicciones
decisión operativa
Prueba tu comprensión
¿Qué campo informa que se devolvió dinero?
Revisar respuesta comentada
Ninguno: el laboratorio no devuelve dinero. automated_action_executed permanece en false y la acción operativa es human_review.
Revisa las versiones y el origen
Qué es
El fork parte del commit upstream registrado en la documentación. La adaptación incrementa la versión de 0.3.4 a 0.4.4 según la convención del proyecto, manteniendo el patch al aumentar el minor. Código, entorno y checkpoint son tres identidades diferentes que deben acompañar una evaluación.
Por qué aprender
Si un resultado cambia, compara primero esas identidades. Los pesos remotos pueden evolucionar aun con el mismo nombre de repositorio. Para experimentos formales, fija una revisión del modelo o conserva un snapshot local y usa --model-path para cargarlo.
git rev-parse HEAD identifica código; el snapshot de la caché identifica los pesos; pip freeze registra bibliotecas.
Conceptos clave
commit exacto
versión de los pesos
biblioteca
repetir condiciones
Prueba tu comprensión
¿Basta con registrar el nombre laya-multilingual para reproducir un resultado?
Revisar respuesta comentada
No. Registra también la revisión de los pesos, la versión del código, las dependencias, el esquema, los datos y las condiciones de ejecución.
Resuelve fallas sin reconstruirlo todo
Qué es
Empieza identificando la capa de la falla: importación, descarga, carga, tokenización o forward pass. USE_TF=0 es una orientación del upstream para evitar sondeos de TensorFlow en entornos problemáticos. Una falla de red no se resuelve cambiando preguntas; un error de entrada no exige reinstalar el modelo.
Por qué aprender
El laboratorio expone fallas en la API y no inventa una clasificación sustituta. Mantenga el log técnico en la terminal y un mensaje objetivo en la interfaz. Después de corregir, repita el test más pequeño que recorre la etapa afectada, seguido de una inferencia real.
La descarga falló: test de acceso al checkpoint. El texto excedió los tokens: reduzca la entrada. Resultado malo: revise el esquema y la evaluación.
Conceptos clave
localizar capa
intervención local
ejecución corta
falla reconocible
Prueba tu comprensión
Si el modelo clasifica mal un texto, ¿debo reinstalarlo todo?
Revisar respuesta comentada
No. Primero confirme el checkpoint, el idioma y el esquema. Luego compárelo con ejemplos con etiquetas; la reinstalación solo tiene sentido si hay evidencia de que el entorno está roto.
Resumen del módulo
- Puede descargar archivos, construir la arquitectura y cargar los pesos. La medición de inferencia del laboratorio comienza después de esta preparación.
- Los archivos quedan en caché y los problemas de descarga aparecen antes de la atención. El proceso todavía necesita cargar los pesos en la memoria propia.
- No. Registra también la revisión de los pesos, la versión del código, las dependencias, el esquema, los datos y las condiciones de ejecución.
Selecciona un fragmento de la lección para resaltarlo o anotarlo. Las dudas y notas quedan en tu recorrido; exporta el JSON para hacer respaldo.