Router, contexto e processamento
Evite encaminhar uma entrada ao modelo errado.
- O Router escolhe antes de prever
- Português precisa de escolha explícita no laboratório
- Orçamento de tokens é compartilhado
- Muitas classes competem pelo mesmo espaço
- Modelo residente e alternância de idioma
- Batching e latência percebida
O Router escolhe antes de prever
O que é
Router.route pode selecionar um checkpoint sem executar a rede neural. A decisão usa indicação explícita de modelo ou tarefa, configuração opcional de workflow, idioma informado e detecção de escrita ou idioma. Isso evita usar apenas a confiança posterior como defesa contra um modelo que não entende o texto.
Por que aprender
O código atual deve prevalecer sobre diagramas simplificados. typed-decisions não é selecionado automaticamente por padrão. Ativar auto_task_detection faz correspondência exata dos identificadores de quatro workflows; isso não é um entendimento universal do domínio.
Router().route({"message":"Cobrança duplicada"}, questions, lang="pt") escolhe multilingual.
✓ Aplicar com critério
Não. A detecção opcional exige o conjunto exato de identificadores de um workflow, e vem desabilitada por padrão.
✗ Evitar a conclusão automática
Um campo urgency é suficiente para selecionar typed-decisions?
Não aceite uma resposta só pelo nome do campo ou pela aparência de precisão. Confira a definição e o contexto desta seção.
Conceitos-chave
seleção prévia
indicação explícita
sistema de escrita
esquema especializado
Teste sua compreensão
Um campo urgency é suficiente para selecionar typed-decisions?
Conferir resposta comentada
Não. A detecção opcional exige o conjunto exato de identificadores de um workflow, e vem desabilitada por padrão.
Português precisa de escolha explícita no laboratório
O que é
Português usa alfabeto latino, como inglês, e mensagens muito curtas oferecem pouca evidência para detecção automática. Como o contrato deste laboratório já declara atendimento em português, a implementação fixa multilingual. O SDK continua disponível para quem quiser experimentar roteamento dinâmico em outro fluxo.
Por que aprender
Uma regra simples baseada em informação confiável do produto pode superar uma heurística de idioma. Se a interface sabe que a fila é brasileira, não precisa adivinhar isso em cada ticket. Teste separadamente abreviações, erros de digitação e mensagens misturadas.
Olá contém pouca informação; a fila de atendimento define o checkpoint, não a confiança de uma previsão posterior.
-
1
Observe
Olá contém pouca informação; a fila de atendimento define o checkpoint, não a confiança de uma previsão posterior.
-
2
Defina
Português usa alfabeto latino, como inglês, e mensagens muito curtas oferecem pouca evidência para detecção automática.
-
3
Confira
Não. Cobertura declarada de idiomas não garante desempenho no vocabulário, nos produtos e nas expressões dos seus clientes.
Conceitos-chave
metadado confiável
pouca evidência
aproximação
escopo
Teste sua compreensão
O modelo multilíngue dispensa testes em português?
Conferir resposta comentada
Não. Cobertura declarada de idiomas não garante desempenho no vocabulário, nos produtos e nas expressões dos seus clientes.
Orçamento de tokens é compartilhado
O que é
O prompt interno reserva espaço para pergunta e opções; o restante acomoda o estado. O checkpoint multilingual usa normalmente max_len 1024 e head_max_len 256. Esses números não equivalem a caracteres nem asseguram que qualquer documento com menos de 1024 palavras caiba.
Por que aprender
O SDK pode truncar o estado. Na adaptação, calculamos o espaço disponível para cada pergunta e rejeitamos entradas que perderiam tokens. Cortar o final de uma mensagem pode remover justamente a negação, a data ou o pedido principal.
Um histórico longo termina com já recebi o estorno. Se esse trecho for cortado, a decisão pode representar uma situação superada.
Comando / esquema de referência
from laya import Router
from practical.engine import QUESTIONS
router = Router(max_loaded=1)
router.preload(["multilingual"])
result = router.predict(
{"message": "Fui cobrado duas vezes."},
QUESTIONS, model="multilingual", lang="pt")
Conceitos-chave
unidade do tokenizer
pergunta e opções
conteúdo do ticket
perda de entrada
Teste sua compreensão
Por que o limite da interface em caracteres não basta?
Conferir resposta comentada
A relação entre caracteres e tokens varia. A proteção definitiva usa o tokenizer real e o menor espaço disponível entre as quatro perguntas.
Muitas classes competem pelo mesmo espaço
O que é
Cada alternativa precisa ter marcadores e texto suficiente para permanecer distinguível. Dezenas de opções consomem o orçamento do cabeçalho. Em classificações grandes, rótulos parecidos podem ficar quase idênticos após cortes. O relatório do projeto usa Banking77 para mostrar esse limite.
Por que aprender
Uma alternativa é hierarquia: primeiro escolha uma família e depois uma subcategoria. Isso reduz opções por etapa, mas erros da primeira escolha se propagam. Compare o conjunto completo e mantenha um caminho de revisão para casos entre famílias.
Primeiro financeiro versus técnico; depois cobrança duplicada versus nota fiscal, dentro da família escolhida.
✓ Aplicar com critério
Não. Pode reduzir o espaço do estado e aumentar custo; ainda é necessário medir qualidade, memória e latência com as novas configurações.
✗ Evitar a conclusão automática
Aumentar head_max_len resolve qualquer número de categorias?
Não aceite uma resposta só pelo nome do campo ou pela aparência de precisão. Confira a definição e o contexto desta seção.
Conceitos-chave
número de classes
etapas de seleção
erro encadeado
sinal discriminativo
Teste sua compreensão
Aumentar head_max_len resolve qualquer número de categorias?
Conferir resposta comentada
Não. Pode reduzir o espaço do estado e aumentar custo; ainda é necessário medir qualidade, memória e latência com as novas configurações.
Modelo residente e alternância de idioma
O que é
O Router padrão mantém poucos modelos quentes e pode descartar o menos recente. Quando duas línguas alternam checkpoints e só um cabe na política de cache, o custo de reconstrução domina a chamada. Preload ou max_loaded maior resolve a troca, desde que a memória comporte os modelos.
Por que aprender
Medições devem distinguir o caminho quente da primeira carga e das trocas. A aplicação prática evita alternância ao manter apenas multilingual. O lock impede que duas requisições mexam simultaneamente no carregamento e no runtime compartilhado.
Uma API que recria Router a cada ticket perde o benefício de residência. Crie uma instância por processo.
Conceitos-chave
descarte por uso
modelo carregado
primeira carga
acesso serializado
Teste sua compreensão
Mais workers sempre aumentam a capacidade?
Conferir resposta comentada
Não. Cada processo pode carregar sua própria cópia dos pesos. Meça memória e throughput antes de aumentar o número de workers.
Batching e latência percebida
O que é
Laya agrupa as perguntas de um estado em uma chamada. O laboratório não implementa agregação de vários tickets de usuários diferentes. A latência vista na interface inclui espera, HTTP, carregamento inicial e inferência; runtime.inference_ms informa apenas a etapa medida pelo motor após preparação.
Por que aprender
Comparar milissegundos sem declarar fronteiras de medição gera conclusões frágeis. Registre número de perguntas e distribuição de comprimento das entradas. Para operação, percentis altos e falhas importam tanto quanto a média; uma amostra pequena não estima bem a cauda.
Quatro perguntas em um ticket não são quatro clientes atendidos. Throughput de perguntas e throughput de tickets têm denominadores diferentes.
Conceitos-chave
lote de perguntas
mediana
cauda de latência
unidades por segundo
Teste sua compreensão
É correto dividir qualquer latência por quatro e prometer esse tempo por ticket?
Conferir resposta comentada
Não. Dividir pode estimar custo médio por pergunta naquele lote; o usuário espera a conclusão do ticket completo.
Resumo do módulo
- Não. A detecção opcional exige o conjunto exato de identificadores de um workflow, e vem desabilitada por padrão.
- A relação entre caracteres e tokens varia. A proteção definitiva usa o tokenizer real e o menor espaço disponível entre as quatro perguntas.
- Não. Cada processo pode carregar sua própria cópia dos pesos. Meça memória e throughput antes de aumentar o número de workers.
Selecione um trecho da aula para destacar ou anotar. Dúvidas e notas ficam na sua jornada; exporte o JSON para fazer backup.