🎯 O Que E o Agent Control Plane
Cole Medin construiu o Agent Control Plane como resposta direta aos problemas que identificou com loop engineering puro. E um dashboard open source no GitHub que funciona como o sistema nervoso central de qualquer setup de loops: durabilidade, observabilidade e human-in-the-loop num unico lugar.
"I've built this dashboard that I'm really excited to show you right now. I actually have it open sourced on GitHub. And I have built this to solve for a lot of the problems that we have with loop engineering right now."
🧩 Os Tres Pilares do Dashboard
Durabilidade
Todos os loops, eventos e logs ficam em Postgres. Se o agente cair, o orchestrator retoma de onde parou lendo o state do banco.
Observabilidade
Ver em tempo real as decisoes do orchestrator, progresso dos workers, e custo acumulado por run.
Human-in-the-Loop
Pausar o loop entre rounds, validar resultados, aprovar ou rejeitar antes de continuar.
Contexto: por que isso existe
Cole e honesto ao dizer que isso e "more experimental". Mas a motivacao e concreta: sem um dashboard, loops sao caixas pretas. Voce dispara, vai embora, e quando volta, nao sabe se o resultado e bom ou se queimou tokens atoa. O Agent Control Plane e a tentativa de resolver isso de forma pratica e replicavel.
💾 Postgres/Neon como State Store
O coracao do sistema e um banco Postgres hospedado no Neon (Postgres serverless). Todo o estado dos loops vive ali: qual round estamos, quais workers foram disparados, quais completaram, quais falharam, e qual o custo acumulado.
"We're managing all of our state in an external database. So we're not relying on that staying in any coding agent session."
🔄 O Ciclo Orchestrator-State-Workers
Orchestrator le o state
Consulta o banco para saber: quais tarefas estao pendentes? Quais workers completaram? Qual o progresso geral?
Orchestrator decide e despacha workers
Com base no state, planeja o proximo round e dispara workers com prompts especificos.
Workers atualizam o state
Cada worker grava seu resultado no banco. O orchestrator no proximo round ve o estado atualizado.
Loop continua ate conclusao
O ciclo repete ate que o orchestrator determine que todas as tarefas estao completas ou ate human-in-the-loop intervir.
🔍 Observabilidade: Decisoes em Tempo Real
O poder real do dashboard esta em ver exatamente o que o orchestrator decide em cada round: quantos workers dispara, quais prompts envia, e como reage aos resultados que voltam. Sem isso, voce esta pilotando no escuro.
"Just being able to see exactly the decisions that are going on here means that it's easier for me to look at this, even have my coding agent analyze the runs in the database, and then figure out how to improve the loop."
O que voce ve no dashboard
- ✓Historico completo de runs com todos os rounds
- ✓Decisoes do orchestrator por round (quantos workers, quais tarefas)
- ✓Tokens consumidos por round e por worker
- ✓Status de cada worker: completou, falhou, em progresso
A Demo ao Vivo
Cole demonstrou ao vivo no video: criou um prompt para construir um Kanban board como single-page app e disparou o loop. No dashboard, era possivel ver o orchestrator planejando, gastando 6.000 tokens no planejamento inicial, e despachando tres workers no primeiro round. "We can see that the orchestrator is deciding how to split up the work right now."
💡 Insight: Dashboard como Ferramenta de Melhoria
Cole aponta que a observabilidade nao serve so para monitorar, mas para melhorar. Ao analisar os logs no banco, voce (ou ate seu coding agent) pode identificar patterns de ineficiencia e ajustar o harness. O dashboard vira uma ferramenta de aprendizado continuo sobre o proprio sistema.
💰 Cost Tracking por Run
Um dos recursos mais praticos do dashboard e o cost tracking integrado. Cole construiu isso porque percebeu que sem visibilidade de custo, e impossivel saber se o loop esta sendo eficiente ou queimando dinheiro.
"For a single run, it costed me over a million tokens just to build a relatively simple application. And yes, I'm sure there are a lot of optimizations that I can do here. But I think you can see just by looking at this why it would be so expensive."
📈 O que o Cost Tracking Revela
Custo do orchestrator vs workers
O orchestrator gasta tokens raciocinando sobre o estado e planejando. Os workers gastam tokens executando. Ver o breakdown mostra onde otimizar.
Custo por round
Se o custo por round esta subindo, pode indicar context bloat ou orchestrator ineficiente. Se esta estavel, o sistema e saudavel.
Custo total do run
A pergunta final: o valor entregue pelo loop justifica o custo? Se um Kanban board custou 1M tokens, vale repensar a abordagem.
⚠️ O Numero que Assusta
1 milhao de tokens para um app relativamente simples. E Cole usando Kimi (modelo mais barato), nao Opus. Sem cost tracking, esse tipo de gasto passa despercebido. O dashboard transforma um numero invisivel em algo acionavel.
✋ Human-in-the-Loop: Pause + Approve
Cole considera human-in-the-loop a guardrail mais importante para loop engineering. O dashboard permite pausar o loop apos qualquer round e exigir aprovacao humana antes de continuar. Isso resolve o problema classico de loops descontrolados.
"We can even have human in the loop so that we get to actually take a look at what has happened in the first round before the orchestrator moves on to the next. That is the kind of reliability that I feel like we really need to have right now."
Como Funciona na Pratica
Pause entre rounds
O loop completa um round, grava o estado no banco, e para. O humano recebe notificacao (ou ve no dashboard) e decide: aprovar e continuar, ou intervir e ajustar.
Approve com identidade
O botao "approve and resume" no dashboard verifica a identidade do usuario via Retool. So quem tem permissao pode aprovar a continuacao do loop. Isso e essencial para uso em equipe.
Status check via orchestrator
Enquanto os workflows rodam, voce pode perguntar ao orchestrator o status. "You can even ask for a status update while the Archon workflows are running."
🎯 Ponto de Reflexao
O problema com muitos setups de loop engineering e que as pessoas "set up these systems to just go, go, go, go. And then you have a run for a day. And by the time it comes back, you just have crap." HITL nao e overhead: e a diferenca entre um loop util e um loop destrutivo.
❓ Questionamentos e Deploy com Retool
Cole demonstra como o dashboard local pode ser deployado na cloud via Retool, transformando uma ferramenta pessoal em infraestrutura de equipe. O processo e simples: importar o React, conectar ao Neon, e ter uma URL acessivel de qualquer lugar.
"We can even take this kind of dashboard and deploy it to the cloud as well. So we can access it from anywhere, maybe even start to share our loop setup with our teammates."
Deploy em 3 Passos
Import o zip do frontend React para o Retool. O agente do Retool conecta tudo automaticamente.
Conectar ao banco Neon criando um resource Postgres no Retool com as credenciais de conexao.
Configurar permission groups para controlar quem pode aprovar/rejeitar rounds do loop.
O dashboard precisa existir?
Sim, se voce pretende usar loops de forma seria. Sem visibilidade, voce esta operando no escuro. Cole foi direto: ele construiu o dashboard porque precisava dele, nao como exercicio academico. A observabilidade e um requisito, nao um nice-to-have.
Nao precisa ser sofisticado
O ponto nao e construir um dashboard enterprise. E ter o minimo de visibilidade: quais rounds rodaram, quanto custaram, e onde o orchestrator errou. Ate um script que consulta o banco e gera um relatorio ja e melhor que nada.
O futuro: dashboards como "second brain"
Cole menciona que esta integrando dashboards como parte do seu "second brain" para gerenciar tarefas autonomas. A ideia e que o dashboard nao e so para loops de codigo, mas para qualquer sistema onde agentes trabalham de forma autonoma e precisam de supervisao.
📋 Resumo do Modulo
Proximo Modulo:
3.4 - Otimizacao de Custos: mix de providers, model routing, state externo e metricas para manter loops viaveis