Programação · Blog de engenharia · 🇦🇺 Austrália · via agentusecases.ai
Laboratório testa agente por um mês: a maioria falhou
A Answer.AI deu ao Devin tarefas reais e documentou que poucas deram certo.
- Profissão
- Pesquisador
- Ferramentas
- Devin
- Fonte
- answer.ai ↗
- País
- 🇦🇺 Austrália
- Encontrado via
- agentusecases.ai (Alex Finn) ↗
- Data do relato
- 08/01/2025
- Verificado em
- 25/10/2026
O que fizeram
A Answer.AI, de Jeremy Howard, usou o Devin por um mês. Entre as tarefas, extrair os 25 artigos mais recentes de um autor no Google Scholar, pulando paywalls.
Como foi
Das tarefas testadas, a maioria falhou ou exigiu muito retrabalho; o texto é uma das avaliações críticas mais citadas.
Vale saber
Vale ler antes de contratar agentes caros: separa promessa de resultado.
O prompt
Quero testar uma ferramenta de IA em [tarefa] antes de pagar. Monte um plano de avaliação com 5 tarefas reais, o critério de sucesso de cada uma e como registrar o tempo gasto corrigindo.
Troque o que está entre [colchetes]. Prompt escrito por nós a partir do relato, não é cópia literal da fonte. Não cole dados pessoais de terceiros (LGPD).
Resumo em nossas palavras. Resultados conforme o relato original; não testamos nem auditamos. Ler a fonte ↗ Caso encontrado via agentusecases.ai (Alex Finn); texto e prompt reescritos por nós. Achou um erro?
Casos parecidos
01Pedir à IA um algoritmo específico para um projeto de pesquisa
Dev cético com LLMs usou o Gemini para gerar circuitos quânticos aleatórios no projeto QCOP.
02Deixar o agente fazer deploy e ler os erros de produção sozinho
Fundador de uma plataforma de deploy conta como desenhou um servidor MCP para tirar o humano do "copiar e colar log".
03Lançar um app de hábitos sozinho e fazer o marketing com IA
Dev criou o Kada, app de hábitos sem conta e sem anúncios, e usou IA no marketing.
04Fazer uma "TV de internet" em 6 dias com uma equipe de agentes
Dev criou a Crom TV, com canais 24h de vídeos do YouTube, coordenando vários agentes de IA.
05Ensinar um agente a usar a API do seu banco
Dev criou uma skill open source para Codex e Claude Code integrarem a API do Banco Inter.
06Construir uma plataforma inteira sem ser programador
Empresário de inspeção na construção civil no Cazaquistão usou só o Claude Code por ~6 meses para criar mais de 30 módulos.
07Montar um ambiente de programação com IA 100% local
Dev júnior integrou modelos locais ao VS Code com Ollama e Cline, sem APIs pagas.
08Criar um site para acompanhar a Copa com ajuda de IA
Engenheiro construiu a Central da Copa 2026 e explica por que não foi "só pedir para a IA fazer".