🧠 O que é computer use, em termos exatos
Quando você pede a um modelo de IA que "abra o Descript e suba este vídeo", ele não tem um botão mágico para isso. O que ele tem é um ciclo: captura a tela, olha, decide a próxima ação (clicar em tal coordenada, digitar tal texto, rolar), executa, captura de novo. Esse ciclo repetido, com um objetivo declarado no início, é o que se chama de computer use.
🚫 O que computer use não é
- •Não é um script gravado: um script repete coordenadas fixas e quebra quando a tela muda; o agente lê a tela a cada passo.
- •Não é uma API: a API conversa com o sistema por trás da tela; computer use conversa com a tela em si.
- •Não é um MCP: um servidor MCP expõe funções nomeadas para o modelo chamar; computer use é o que você usa quando ninguém escreveu esse servidor.
🚀 Por que o Astra mudou a conversa
Computer use não é novidade. O que mudou é o modelo por trás. A página de lançamento do GPT-6 Astra publica dois testes que importam diretamente para este curso: um mede se o modelo acha o controle certo na tela (ScreenSpot Pro) e outro mede se ele termina tarefas reais num computador (OSWorld 2.0). Nos dois, a comparação é com o modelo anterior, o GPT-5.6, chamado de Sol.
📊 O que esses números não dizem
- •Não medem o seu app nem o seu fluxo. São tarefas de benchmark, não o Descript nem o espelhamento do iPhone.
- •Não garantem que o navegador ou o controle de tela esteja habilitado na sua conta. O nome do modelo não liga a ferramenta.
- •Não substituem a prova de conclusão. Um agente com 92% de acerto ainda erra 1 em 13 cliques; o fluxo precisa verificar.
Modo high
Mais raciocínio por passo. No vídeo-fonte, é o modo recomendado para computer use: menos cliques errados, mais verificação.
Modo fast
Menos latência por ação. Útil quando a tarefa é repetitiva e a interface é estável, como uma busca já mapeada.
Tarefas longas
O Astra aguenta horas numa tarefa com muitos passos. É o que permite "manda e volta depois", como o polling de render a cada 30 minutos.
🔌 A tese: onde não existe API, conector nem MCP
A frase que resume o vídeo-fonte é simples: dominar computer use "permite destravar fluxos que não têm coisas como conectores ou APIs". Toda decisão deste curso parte daí. Antes de mandar um agente clicar, pergunte: existe um caminho por trás da tela? Se existe, use-o. Se não existe, computer use é o caminho.
✓ Computer use é a escolha certa quando
- ✓O app é de desktop ou celular e não expõe nada programático (Descript na parte da interface, Instagram nas configurações).
- ✓O site tem interface mas não tem API, e você precisa dele repetidamente (Google Flights).
- ✓Você quer testar a experiência real do usuário, não a função por trás (instalar um MCP e usá-lo como cliente novo).
- ✓A tarefa é fazer o primeiro mapeamento de uma interface para depois transformá-la em ferramenta.
✗ Computer use é a escolha errada quando
- ✗Existe API documentada: cada clique custa segundos e uma chamada custa milissegundos.
- ✗Existe um MCP ou conector pronto para o mesmo serviço.
- ✗A tarefa envolve pagamento, envio de mensagem ou alteração irreversível sem revisão humana.
- ✗Você não consegue definir como vai verificar o resultado (sem prova, não há fluxo).
⚠️ O custo escondido
Cada passo de computer use é uma captura de tela, uma rodada de raciocínio e uma ação. Uma busca de voo pode levar 50 a 80 segundos por esse caminho. É por isso que o primeiro fluxo da Trilha 2 ensina a usar computer use uma vez para mapear a interface e depois gerar uma ferramenta de linha de comando que roda com modelo mais barato.
🖥️ Três superfícies: navegador, desktop e celular espelhado
| Superfície | Exemplo no vídeo-fonte | O que você prepara antes | Risco típico |
|---|---|---|---|
| Navegador interno | Busca de voo Montreal → Sydney | Nada além de dizer "use o navegador interno" | O agente escolher seu Chrome em vez do interno e mexer nas suas sessões |
| App de desktop | Abrir o Claude Desktop e testar um MCP; abrir o Descript e subir um vídeo | App instalado, conta logada, janela visível | Login ou segredo no meio do caminho; janela errada |
| Celular espelhado | Configurar o Instagram novo pelo iPhone Mirroring no Mac | Espelhamento aberto e autenticado por você | Mexer na conta errada; tocar em configuração de privacidade ou pagamento |
Navegador interno
Previsível e isolado. Comece por aqui. É onde o fluxo 01 (busca vira ferramenta) roda inteiro.
Desktop
Alcança tudo que está instalado. Fluxos 02, 03 e 04. Exige que você deixe o app aberto e logado.
Celular espelhado
O mais surpreendente do vídeo: o agente "assume o telefone" pela janela de espelhamento. Fluxo 05.
🛡️ Limites e segurança antes da primeira execução
O guia de campo que acompanha o kit de prompts tem uma seção chamada "antes da primeira execução". Ela cabe em cinco regras, e todas aparecem, com variações, nos cinco prompts da Trilha 2.
As cinco regras antes de rodar
Use uma sessão que realmente exponha as ferramentas
O nome do modelo não garante navegador, controle de desktop ou de celular. Confirme que a tarefa do Codex tem a ferramenta habilitada antes de escrever o prompt.
Faça login você mesmo
Entre nos apps-alvo com a sua conta antes de começar. O agente não deve digitar senha nem passar por desafio de autenticação.
Troque todos os marcadores
Cada <PLACEHOLDER> vira o seu app, arquivo, rota ou conta. Um marcador esquecido é um agente adivinhando.
Trabalhe em cópia de teste
Para qualquer mudança (configuração, edição de vídeo, código), use uma cópia. O original permanece intocado até você comparar.
Segredos e desafios são seus
Quando aparecer um campo de senha, um código de dois fatores ou um captcha, o agente para, você resolve, a tarefa continua.
✓ O agente pode
- ✓Navegar, ler, comparar, exportar dados para arquivo.
- ✓Preencher formulários com dados de teste claramente marcados.
- ✓Alterar configurações que você listou explicitamente, e reportar antes/depois.
- ✓Parar e descrever o bloqueio exato quando algo faltar.
✗ O agente nunca faz sozinho
- ✗Comprar, reservar ou digitar dados de pagamento ("search only; do not book").
- ✗Enviar mensagem, e-mail ou DM para outra pessoa.
- ✗Alterar privacidade, segurança, recuperação de conta ou recursos pagos.
- ✗Publicar, fazer deploy ou apagar trabalho não relacionado.
⚠️ A resposta útil quando algo dá errado
O guia é direto: "estes são modelos práticos, não resultados garantidos. Mudança de interface, acesso à conta e ferramenta ausente podem bloquear uma execução. A resposta útil é um bloqueio exato com evidência." Um agente que inventa que terminou é pior do que um que para na tela certa e diz o que falta.
🗺️ Os cinco fluxos num mapa
Cada fluxo da Trilha 2 é um módulo. Todos seguem a mesma anatomia: um app nomeado, entradas explícitas, um resultado observável e uma prova de que terminou. Escolha pelo que dói no seu trabalho hoje, não pelo que parece mais impressionante.
| # | Fluxo | Superfície | Resultado | Prova de conclusão |
|---|---|---|---|---|
| 01 | Busca vira ferramenta | Navegador interno | Uma ferramenta de linha de comando reutilizável para buscar voos | Dois pares de datas produzem execuções separadas; ao menos uma tarifa exportada bate com a tela |
| 02 | Testar ferramentas dentro do app | Desktop (Claude Desktop, Codex) | Relatório da jornada de um usuário novo com seu MCP ou skill | O app invoca a ferramenta certa; follow-ups mantêm contexto; uma afirmação confere com a fonte |
| 03 | Um agente testa outro | Desktop (seu app) | Falha reproduzida, ligada ao código e retestada | O app testado executa as próprias ações; a falha fica registrada; o reparo passa no mesmo teste |
| 04 | Entrega da edição | Desktop (Descript) + Drive | Vídeo limpo de forma conservadora, exportado e conferido | Original intacto; conteúdo único sobrevive; o arquivo exportado decodifica e tem imagem e som |
| 05 | Celular pelo computador | iPhone Mirroring | Configuração específica aplicada no app do celular | Conta certa visível; valor alvo atingido; persiste ao reabrir a tela |
💡 Por onde começar
Se você nunca rodou computer use, comece pelo fluxo 01 no navegador interno: é isolado, não toca em conta sua e produz um arquivo que você abre. Se você publica MCPs ou skills, o fluxo 02 paga o curso sozinho. Os fluxos 04 e 05 dependem de apps específicos (Descript, iPhone) e ficam para quando os dois primeiros estiverem confortáveis.
🧪 Teste rápido do módulo
Três perguntas. Clique numa opção para ver a resposta.
1. Qual frase descreve computer use com precisão?
2. Existe uma API documentada para o serviço que você quer automatizar. O que fazer?
3. O agente chegou a um campo de senha no meio de um fluxo. Qual é o comportamento correto?
📋 Resumo do módulo
Próximo módulo:
1.2 - O contrato de prompt em quatro partes