# LLM-as-a-judge — modelo como avaliador > LLM-as-a-judge é o uso de um modelo de linguagem para avaliar respostas ou outros artefatos segundo critérios fornecidos. O avaliador pode atribuir categorias, notas ou preferências entre alternativas. Seu julgamento é uma medição produzida por um sistema falível, dependente da rubrica, do contexto e do modelo, não uma confirmação automática de verdade ou qualidade universal. **URL canônica:** https://glossario.quaerion.com.br/llm-as-judge **Categoria:** Avaliação · rubricas e vieses **Revisão:** 2026-09-10 ## Definição LLM-as-a-judge é o uso de um modelo de linguagem para avaliar respostas ou outros artefatos segundo critérios fornecidos. O avaliador pode atribuir categorias, notas ou preferências entre alternativas. Seu julgamento é uma medição produzida por um sistema falível, dependente da rubrica, do contexto e do modelo, não uma confirmação automática de verdade ou qualidade universal. ## O que não significa Não é substituir uma referência verificável por uma opinião persuasiva do próprio sistema. Também não equivale a revisão independente quando gerador e avaliador compartilham limitações. Uma nota só ganha significado quando explicamos a tarefa, o critério, as evidências permitidas e como as divergências serão tratadas. ## Como funciona Primeiro se define o que deve ser avaliado, com exemplos de acertos e falhas. O modelo recebe o artefato e a rubrica em condições registradas. A proposta Quaerion é separar avaliação automática de validação factual, usando revisão humana em uma amostra para investigar discordâncias antes de adotar o julgamento como indicador operacional. 1. Fixar rubrica, tarefa e material de referência permitido. 2. Aplicar o avaliador com modelo e configuração registrados. 3. Conferir divergências com revisão humana e verificações objetivas. 4. Reavaliar resultados quando rubrica ou modelo forem alterados. ## Como medir Informe concordância com revisores, variação entre execuções e resultados por critério. Em comparações pareadas, alterne a ordem das alternativas para investigar preferência pela posição. Preserve a distribuição das notas e os casos discordantes. Uma média isolada pode ocultar erros sistemáticos, especialmente quando textos mais longos recebem preferência sem responder melhor à pergunta. ## Exemplo didático Em uma avaliação fictícia de páginas explicativas, a equipe pede ao juiz que verifique se a resposta define o termo e declara seus limites. Ela não pede uma nota genérica de excelência. Uma resposta elegante recebe avaliação positiva, mas omite uma condição importante presente na referência. A revisão humana registra a divergência e ajusta o critério para futuras rodadas, preservando o resultado anterior. O experimento compara julgamentos sobre conteúdo, não mede presença da marca em buscas nem comprova que um visitante tomará uma decisão comercial. ## Perguntas frequentes ### O modelo pode avaliar suas próprias respostas? Pode tecnicamente, mas essa configuração exige cuidado com preferências pelo próprio estilo e erros compartilhados. Compare com referências externas, critérios objetivos e revisão humana. Chamar a segunda resposta de auditoria não a torna independente. ### Uma justificativa detalhada torna a nota confiável? Não por si só. Uma explicação também pode estar errada ou apenas racionalizar a nota. Confira se os critérios citados foram aplicados ao conteúdo correto e se o resultado permanece consistente em casos de teste conhecidos. ### Essa nota pode virar selo automaticamente? O julgamento automático, sozinho, não oferece fundamento suficiente para essa conclusão. Qualquer reconhecimento exige critérios próprios, evidências adequadas e revisão correspondente. O verbete não institui selo, certificação ou aprovação automática para produtos da Quaerion. ## Limitações - O avaliador pode favorecer estilo, extensão ou familiaridade com uma resposta em vez do critério realmente solicitado. - Concordância observada em um conjunto não demonstra o mesmo desempenho em outro idioma ou domínio. - A rubrica pode recompensar uma resposta convincente mesmo quando as fontes não sustentam suas afirmações verificáveis. ## Fontes 1. [Zheng et al. — Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://arxiv.org/abs/2306.05685) — Pesquisa sobre concordância com preferências humanas e vieses de posição, extensão e autoavaliação. 2. [Liu et al. — G-Eval](https://arxiv.org/abs/2303.16634) — Avaliação estruturada de geração textual e limites de alinhamento com julgamentos humanos. 3. [Koo et al. — Benchmarking Cognitive Biases in Large Language Models as Evaluators](https://arxiv.org/abs/2309.17012) — Pesquisa original sobre vieses dos avaliadores; resultados dependem dos modelos e tarefas estudados. ## Continue a leitura - [Benchmark de IA](https://glossario.quaerion.com.br/benchmark-ia) - [Human-in-the-loop](https://glossario.quaerion.com.br/human-in-the-loop) - [Observabilidade de agentes](https://glossario.quaerion.com.br/observabilidade-de-agentes) - [Guia Quaerion: preparar o site para agentes](https://quaerion.blog/blog/site-pronto-para-agentes-de-ia/) --- ## Sobre a Quaerion A Quaerion é uma empresa brasileira de Answer Intelligence. Integra SEO, AEO, AIO e GEO para tornar marcas encontráveis, compreensíveis, citáveis e recomendáveis por buscadores e IAs. Sites, conteúdo, dados, automação e mídia são infraestrutura de suporte. - Site: https://quaerion.com.br - Blog: https://quaerion.blog - Glossário: https://glossario.quaerion.com.br - Radar: https://radar.quaerion.com.br - Contato: contato@quaerion.com.br A Quaerion não promete controlar ranking, citação ou recomendação de plataformas de terceiros. Evidências técnicas, presença observada e resultado comercial permanecem separados.