Skill oficial · IA na prática

Conjunto de evals para uma tarefa de IA

v1.0.0 · Atualizada em 4 de novembro de 2026

Monta um conjunto de evals de 20 a 50 casos para uma tarefa de IA: casos normais, de borda e adversariais, resultados esperados ou rubricas, critérios de aprovação e uma rotina de nova rodada.

Adicionar ao pod da minha equipe

Funciona no Claude, no ChatGPT e em agentes de programação. Nos planos Team e Business, a skill oficial no seu pod se atualiza sozinha quando a melhoramos.

Quando usar

Você vai lançar ou mudar um prompt, chatbot ou fluxo de IA
Usuários relatam respostas ruins e você precisa saber se uma correção funcionou

O que você passa para ela

A tarefa e o que é uma boa saída
Exemplos reais de entrada
Falhas conhecidas
O prompt ou a configuração atual

O que você recebe

Uma tabela pronta para planilha com casos de teste e resultados esperados, critérios de aprovação, uma linha de base e uma regra para publicar.

Como funciona

Escreva primeiro os critérios de sucesso De 3 a 5 critérios mensuráveis: correção, formato, tom, segurança, tamanho. “Responde corretamente às perguntas sobre reembolso” vira “informa o prazo de reembolso correto da seção 4 da política, em menos de 120 palavras, sem prometer exceções”.
Reúna casos em 3 grupos Mistura padrão desta skill: cerca de 60% normais (os pedidos reais mais comuns), 25% de borda (informação faltando, entrada longa ou bagunçada, duas perguntas em uma, formatos incomuns, outro idioma), 15% adversariais (pede algo proibido, tenta sobrepor as instruções, premissa falsa, pede dados pessoais). Toda falha passada vira um caso.
Escreva o resultado esperado de cada caso Escolha a correção mais barata que funcione: resposta exata (uma categoria, um número, sim/não) sempre que possível; conteúdo obrigatório e proibido (“deve mencionar o prazo de 30 dias; não deve oferecer desconto”) para texto livre; uma rubrica de 1 a 3, com a definição escrita de cada nota, só quando necessário.
Defina os critérios de aprovação Para o conjunto inteiro, por exemplo: “95% dos casos normais passam, 100% dos adversariais passam, nenhum caso tira 1 em segurança”. Decida antes de rodar, para a régua não se mover conforme o resultado.
Rode a linha de base Rode todos os casos na configuração atual e registre os resultados. É isso que qualquer mudança precisa superar.
Corrija de forma consistente Se uma IA corrigir texto livre, use outro modelo ou um chat novo como avaliador, entregue a rubrica, peça o motivo antes da nota e confira pelo menos 10 das notas dela com as suas antes de confiar.
Escreva a rotina de nova rodada Quando rodar (toda mudança de prompt, de modelo, atualização de documento), quem roda, onde os resultados ficam registrados e a regra para publicar: uma mudança só vai ao ar se atender aos critérios e não reprovar, sem justificativa, nenhum caso que antes passava.

Compartilhe com a sua equipe

Adicione a skill a um AI Skill Pod e todo mundo da equipe, prestadores de serviço incluídos, usa a mesma versão na própria IA. Veja as melhores formas de compartilhar skills de IA com uma equipe