⚙️ Motor local
Saia do esquema no papel para uma inferência real em português.
Mapa da trilha
⚙️ Instalação e primeira inferência
Execute pesos reais na sua máquina.
⚙️ Router, contexto e processamento
Evite encaminhar uma entrada ao modelo errado.
Conteúdo detalhado
Instalação e primeira inferência
Execute pesos reais na sua máquina.
O que é
O clone contém o SDK e a aplicação prática; os pesos são baixados separadamente do Hugging Face.
Por que aprender
Clonar o Git não baixa automaticamente o checkpoint.
Conceitos-chave
código versionado
isolamento Python
pesos treinados
arquivos já baixados
O que é
A aplicação usa CPU por padrão, permitindo experimentar sem uma GPU compatível.
Por que aprender
Não copie os 33 ms publicados para descrever a sua máquina.
Conceitos-chave
execução geral
aceleração NVIDIA
dispositivo alternativo
versões reais
O que é
A adaptação pré-carrega apenas multilingual, usando o subdiretório correspondente do repositório de modelos.
Por que aprender
Preload de todos os modelos pode ser adequado para tráfego variado, mas aumenta a memória residente.
Conceitos-chave
carga antecipada
modelo em memória
variante do bundle
pesos e intermediários
O que é
O comando triage recebe mensagem e assunto opcional, executa as quatro perguntas e imprime JSON.
Por que aprender
O comando deve encerrar com erro quando a entrada é inválida ou o modelo falha.
Conceitos-chave
interface de comando
resultado do processo
previsões
decisão operacional
O que é
O fork parte do commit upstream registrado na documentação.
Por que aprender
Se um resultado mudar, compare primeiro essas identidades.
Conceitos-chave
commit exato
versão dos pesos
biblioteca
repetir condições
O que é
Comece identificando a camada da falha: importação, download, carregamento, tokenização ou forward pass.
Por que aprender
O laboratório expõe falhas na API e não inventa uma classificação substituta.
Conceitos-chave
localizar camada
intervenção local
execução curta
falha reconhecível
Router, contexto e processamento
Evite encaminhar uma entrada ao modelo errado.
O que é
Router.route pode selecionar um checkpoint sem executar a rede neural.
Por que aprender
O código atual deve prevalecer sobre diagramas simplificados.
Conceitos-chave
seleção prévia
indicação explícita
sistema de escrita
esquema especializado
O que é
Português usa alfabeto latino, como inglês, e mensagens muito curtas oferecem pouca evidência para detecção automática.
Por que aprender
Uma regra simples baseada em informação confiável do produto pode superar uma heurística de idioma.
Conceitos-chave
metadado confiável
pouca evidência
aproximação
escopo
O que é
O prompt interno reserva espaço para pergunta e opções; o restante acomoda o estado.
Por que aprender
O SDK pode truncar o estado.
Conceitos-chave
unidade do tokenizer
pergunta e opções
conteúdo do ticket
perda de entrada
O que é
Cada alternativa precisa ter marcadores e texto suficiente para permanecer distinguível.
Por que aprender
Uma alternativa é hierarquia: primeiro escolha uma família e depois uma subcategoria.
Conceitos-chave
número de classes
etapas de seleção
erro encadeado
sinal discriminativo
O que é
O Router padrão mantém poucos modelos quentes e pode descartar o menos recente.
Por que aprender
Medições devem distinguir o caminho quente da primeira carga e das trocas.
Conceitos-chave
descarte por uso
modelo carregado
primeira carga
acesso serializado
O que é
Laya agrupa as perguntas de um estado em uma chamada.
Por que aprender
Comparar milissegundos sem declarar fronteiras de medição gera conclusões frágeis.
Conceitos-chave
lote de perguntas
mediana
cauda de latência
unidades por segundo