Rubricas e casos de teste para avaliar respostas de IA

Uma resposta pode soar profissional e ainda falhar no trabalho. Para sair da impressão subjetiva, precisamos definir critérios antes de comparar versões. Nesta aula, você vai criar uma rubrica, uma lista de propriedades avaliáveis, e um conjunto de casos que representa o uso esperado, as fronteiras e algumas tentativas de desvio. Esse é o passo que transforma edição de prompt em processo de melhoria.

Pense numa prova prática de direção. Não basta dizer que a pessoa “dirigiu bem”. O avaliador observa parada, sinalização, controle e respeito às regras em situações previstas. A analogia ajuda a separar critérios, mas tem limite: uma prova ocorre num ambiente controlado e não cobre toda situação real. Evals de IA também fornecem evidência limitada ao conjunto, modelo e configuração testados.

Comece pelo que precisa ser verdadeiro

Uma rubrica deriva do risco e do objetivo. Para triagem de atendimento, a categoria correta importa, mas talvez seja ainda mais crítico não inventar número de pedido e encaminhar risco financeiro. Para resumo, critérios podem ser cobertura de decisões, ausência de afirmações externas e preservação de alertas.

Escreva cada critério de modo que duas pessoas consigam discutir a mesma evidência:

Fraco: a resposta é boa e completa.
Verificável: todas as decisões registradas no documento aparecem no resumo.
Verificável: nenhuma data ausente no documento é preenchida pela resposta.
Verificável: cada pendência inclui o trecho que justificou sua identificação.

Alguns critérios são binários; outros aceitam escala. Use escala somente quando os níveis têm descrição. “Tom: de 1 a 5” transfere a ambiguidade para o número. “Adequado” pode significar linguagem respeitosa, ausência de acusação e termos compreensíveis para o público definido. Amostras de cada nível ajudam a calibrar avaliadores humanos.

O conjunto precisa representar mais que o caminho feliz

Inclua casos comuns, mas também informação ausente, texto contraditório, entrada longa, formato inesperado e fronteiras entre categorias. Casos adversariais tentam violar uma regra relevante, como um documento que manda ignorar a tarefa. Não é necessário começar com centenas: dez casos escolhidos podem ensinar mais que cem cópias semelhantes.

Para cada caso, guarde entrada, expectativa e motivo. A expectativa pode ser um rótulo exato, campos obrigatórios ou propriedades. Evite exigir a mesma frase se variações de redação são aceitáveis.

Caso: mensagem sem número de pedido.
Deve: usar "ausente" e manter a categoria baseada no conteúdo.
Não deve: criar sequência numérica nem afirmar que consultou sistema.
Motivo: previne preenchimento de lacuna com dado inventado.

Reserve parte do conjunto. Se você lê todos os casos enquanto edita, pode criar uma regra específica para a prova. Casos de retenção ajudam a descobrir se a melhoria se estende a entradas não vistas. Quando o uso real revelar uma falha, anonimize-a, revise a expectativa e acrescente uma versão segura ao conjunto.

Controle as variáveis da comparação

Registre prompt, modelo, data, parâmetros, ferramentas disponíveis e versão dos dados. Compare duas versões com o mesmo conjunto e, sempre que possível, repita para observar variação. Se também trocar o modelo, faça uma matriz separada. Sem esse cuidado, uma melhora pode ter vindo do fornecedor, da busca conectada ou de uma mudança nos documentos, não do prompt.

Uma tabela de execução pode guardar:

run_id | prompt | modelo | caso | critério | passou | evidência | revisor

O laboratório prepara essa ficha, mas não executa um modelo e não apresenta pontuação. Depois de testar numa ferramenta autorizada, preencha somente o que observou, preservando a resposta quando a política permitir. Não transforme uma saída inventada para demonstração em evidência de desempenho.

Escolha avaliador proporcional ao critério

Validação por código funciona bem para JSON válido, presença de campo, faixa numérica e lista fechada. Uma pessoa especialista é necessária quando qualidade depende de contexto de domínio ou dano potencial. Outro modelo pode ajudar a classificar avaliações em grande escala, mas ele também erra; calibre-o contra decisões humanas, registre sua versão e mantenha amostras revisadas.

Métricas agregadas escondem falhas graves. Noventa e cinco por cento de acerto não é aceitável se os cinco por cento restantes expõem dado pessoal ou autorizam uma ação indevida. Separe critérios críticos e bloqueie publicação quando algum deles regredir. Para critérios de preferência, uma troca pode ser aceitável desde que documentada.

O erro comum é escolher a melhor resposta entre duas tentativas e declarar a versão vencedora. Isso favorece sorte e gosto pessoal. Rode o conjunto, aplique a mesma rubrica e investigue os casos que mudaram. Você concluiu a aula quando consegue mostrar qual critério melhorou, qual piorou e sob quais condições a comparação foi feita — inclusive quando a conclusão honesta é “a evidência ainda não basta”.