Avaliar um assistente ou agente de IA exige definir qualidade em tarefas que possam ser verificadas. Uma resposta agradável não demonstra fonte correta, acesso autorizado ou efeito confirmado. A Grupo Agentic estrutura conjuntos de avaliação, rubricas e testes de regressão para que a empresa compare configurações com evidências da tarefa e de seus limites.
Da impressão de qualidade ao resultado esperado
O serviço se aplica a empresas que já usam ou estão implantando assistentes e agentes internos. A avaliação pode apoiar escolha de modelo, revisão de instruções, integração de ferramentas ou decisão de ampliar acesso. O primeiro passo é definir a tarefa: qual entrada é recebida, quais fontes podem ser consultadas e o que torna a saída utilizável.
Um assistente documental pode exigir resposta com trecho verificável e indicação de ausência. Um agente operacional pode exigir também respeito à autorização, recuperação de falha e confirmação do efeito. Os critérios são diferentes. A avaliação conserva essa diferença e evita reduzir todo comportamento a uma nota média que oculta falhas relevantes.
Um exemplo de ficha por tarefa
| Campo | Definição | Evidência |
|---|---|---|
| Objetivo | Resumir pedido autorizado para revisão | Resultado com campos exigidos |
| Fonte | Pedido e anexos na revisão recebida | Localização de cada afirmação relevante |
| Limite | Não enviar comunicação nem alterar registro | Ferramentas e estado final conferidos |
| Ausência | Não completar prazo que não foi informado | Pendência explícita na resposta |
| Aceite | Campos corretos, fontes presentes e limites respeitados | Rubrica e decisão registrada |
A referência técnica da Anthropic sobre avaliações de agentes organiza tarefas, tentativas e avaliadores. O conjunto da empresa precisa refletir sua operação. Uma comparação de modelos feita em tarefas distintas ou com acesso diferente não isola a mudança avaliada. Por isso, versões, condições e critérios ficam registrados.
Como o conjunto é construído
- Selecionar tarefas e limites relevantes ao processo.
- Preparar entradas sintéticas ou dados autorizados e anonimizados.
- Definir resultados esperados e critérios de erro.
- Implementar verificações determinísticas e rubricas humanas.
- Executar tentativas com configuração registrada.
- Investigar falhas e comparar alternativas equivalentes.
- Manter regressão para alterações posteriores.
O conjunto inclui casos normais e de limite. Fonte conflitante, campo ausente, acesso negado e ferramenta indisponível exigem respostas próprias. Para sistemas conectados, entram testes de aprovação, repetição e instruções maliciosas em fonte externa. Esses testes usam ambiente isolado e operações simuladas para observar comportamento sem consequência real.
Dados anonimizados precisam continuar úteis para a tarefa. Remover um campo que define a decisão pode tornar o caso impossível ou artificialmente fácil. O processo verifica tanto privacidade quanto validade do exemplo. Quando o uso de dados reais não é adequado, cenários sintéticos reproduzem o mecanismo da falha, com limite de representatividade declarado.
Validação por código e revisão por especialista
Campos exatos, formato, identificador e valores podem ser conferidos por código. Clareza da explicação, relevância e interpretação de conflito podem exigir avaliação humana. O avaliador recebe rubrica com exemplos de aceitação e rejeição. Quando um modelo auxilia a avaliação, seus julgamentos precisam ser comparados com revisão especializada e tratados como parte do método, não como verdade independente.
Repetições ajudam a observar variabilidade. Em um exemplo exclusivamente ilustrativo, dez tarefas executadas três vezes geram 30 tentativas. Se 24 forem aceitas, a taxa por tentativa será 24 ÷ 30 = 80%. Essa conta não informa por si quais tarefas falharam nem a gravidade dos erros. O relatório apresenta distribuição por tarefa, dimensão e consequência, mantendo o denominador visível.
Entregas para sustentar uma decisão
- Contrato de qualidade por tarefa e fonte.
- Conjunto de avaliação identificado e versionado.
- Rubricas humanas e verificações determinísticas acordadas.
- Resultados com tentativas, denominadores e limites.
- Diagnóstico de falhas por mecanismo e consequência.
- Comparação das configurações incluídas no escopo.
- Procedimento de regressão e critérios de decisão.
O aceite do serviço se refere ao protocolo executado e às evidências produzidas, não à obrigação de aprovar a solução avaliada. Encontrar um bloqueio pode ser o resultado mais útil. O conjunto informa o que foi testado; ausência de falha numa amostra não demonstra desempenho universal. O NIST AI Risk Management Framework situa avaliação dentro da gestão de riscos da aplicação.
Escopo e condições comerciais
A proposta considera número de tarefas, versões comparadas, repetições, integrações, disponibilidade de especialista e necessidade de cenários adversariais. Consumo de modelo e ferramentas integra o orçamento previsto. A organização define responsáveis que possam julgar a tarefa e disponibilizar acesso autorizado ao ambiente de teste. Avaliação sem resultado esperado ou sem evidência do sistema conectado tem alcance limitado.
O diagnóstico parte de uma tarefa que a empresa precisa confiar ao assistente. A conversa identifica o resultado esperado, os erros que impedem uso e a primeira amostra útil. Com esse contrato, a decisão sobre manter, ajustar ou ampliar a solução pode se apoiar em evidências específicas e em limites compreensíveis.