# Cobertura válida de modelos > Cobertura válida de modelos é, neste roteiro da Quaerion, a proporção de modelos planejados que entregaram respostas utilizáveis segundo critérios declarados de coleta. Acompanha taxas de menção ou citação para mostrar quanto da bateria foi realmente observado. Falha de rede, resposta vazia e conteúdo incompleto não demonstram ausência da marca. Cobertura técnica, cobertura das perguntas e representatividade da amostra são dimensões separadas. **URL canônica:** https://glossario.quaerion.com.br/cobertura-valida-de-modelos **Categoria:** Medição · amostra e disponibilidade **Autoria:** [Quaerion](https://quaerion.com.br/sobre) **Revisão:** 2026-10-06 ## Definição Cobertura válida de modelos é, neste roteiro da Quaerion, a proporção de modelos planejados que entregaram respostas utilizáveis segundo critérios declarados de coleta. Acompanha taxas de menção ou citação para mostrar quanto da bateria foi realmente observado. Falha de rede, resposta vazia e conteúdo incompleto não demonstram ausência da marca. Cobertura técnica, cobertura das perguntas e representatividade da amostra são dimensões separadas. ## O que não significa Não é uma métrica padronizada dos provedores, um score da qualidade de um modelo nem uma estimativa da presença da marca em toda a IA. Se dois dos seis modelos planejados entregaram respostas válidas, a cobertura de modelos é 2/6; isso não autoriza atribuir zero aos outros quatro. ## Como funciona Defina a bateria antes de coletar. O protocolo editorial abaixo trata a disponibilidade como informação do relatório, sem escondê-la dentro do resultado de visibilidade. 1. Declare modelos planejados, perguntas, repetições, idioma, data, limite de espera e modalidade de busca. Registre a versão ou identificador retornado quando disponível. Categorias genéricas como ChatGPT não substituem o nome do modelo e o endpoint efetivamente usados. 2. Verifique transporte e conteúdo. A documentação do OpenRouter descreve erros no corpo ou no streaming e situações sem texto utilizável, inclusive sob HTTP 200. Status HTTP de sucesso não é suficiente para classificar uma resposta como medição válida. [Fonte 1](https://openrouter.ai/docs/api_reference/errors-and-debugging) 3. Aplique critérios prévios de validade: resposta concluída, conteúdo interpretável, pergunta correta e ausência de erro que invalide a tarefa. Registre timeout, limitação de uso, recusa, truncamento e resposta vazia com estados próprios; defina como cada caso entra ou sai da amostra. 4. Conte respostas válidas por modelo e cobertura por pergunta. Um modelo pode responder duas perguntas de uma bateria de dez; chamá-lo apenas de válido esconde a coleta parcial. Publique o número de observações aproveitadas e o de observações planejadas. 5. Calcule menções ou citações apenas sobre unidades válidas, com método de agregação explícito. Uma média que dá o mesmo peso a cada modelo pode diferir de uma taxa calculada sobre todas as respostas. Registre retries sem contá-los como novas observações independentes. ## Como medir Exemplo de cálculo editorial: seis modelos foram planejados; quatro responderam de forma válida, totalizando vinte respostas. Há cobertura de modelos de 4/6 e cinco menções nas vinte respostas, ou 25% por resposta. Se um modelo entregou dez respostas e cada outro modelo entregou quantidades distintas, uma média simples das taxas por modelo pode dar outro valor. Declare qual agregação utiliza, mantenha os dois modelos indisponíveis fora do denominador de menção e publique a cobertura ao lado do resultado. ## Exemplo didático Uma bateria fictícia consulta quatro modelos sobre cafeterias de uma cidade. Dois devolvem listas sem a marca Aurora, um retorna erro e outro produz texto vazio. O relatório apresenta zero menções nas duas respostas válidas e cobertura de 2/4 modelos. Não publica 0/4 como se as falhas tivessem produzido listas, nem anuncia que Aurora esteja ausente de todas as plataformas. ## Conceitos próximos - **Taxa de menção:** Conta ocorrências da marca nas unidades válidas; não informa, sozinha, a fração da bateria que foi executada. - **Cobertura de perguntas:** Mostra quantas perguntas planejadas possuem observação utilizável, podendo variar dentro de um mesmo modelo. - **Benchmark de IA:** Inclui tarefas, dados e critérios de avaliação. A cobertura é uma condição da coleta, não o resultado completo do benchmark. ## Perguntas frequentes ### Uma resposta sem a marca deve virar zero? Se for válida para a pergunta e o detector estiver correto, pode representar zero menções naquela unidade. Se a resposta estiver vazia, truncada ou vier acompanhada de erro invalidante, a ausência do nome não permite essa conclusão. ### Se todos os modelos responderam, o relatório é completo? Ele pode ter completado a bateria planejada. A amplitude das perguntas, as repetições, os idiomas e as superfícies ainda limitam a interpretação. Completude operacional não equivale a uma auditoria universal da presença da marca. ## Limitações - Uma cobertura de 100% confirma a execução da bateria definida. Não confirma que as perguntas representem os clientes, todos os produtos ou todas as situações de busca. - A disponibilidade pode variar por horário, provedor, conta e limites operacionais. Trocar modelo ou rota entre ciclos altera as condições e precisa ser registrado. - Um zero só é interpretável quando existem observações válidas e a regra de detecção foi conferida. Nenhuma resposta válida significa resultado indisponível. - A geração é variável. Uma observação por modelo tem alcance limitado; comparações exigem perguntas equivalentes e protocolo estável, sem transformar variação em causalidade. [Fonte 2](https://developers.openai.com/api/docs/guides/evaluation-best-practices) ## O que conferir antes de aplicar - Definir bateria e validade antes da execução. - Guardar prompt, resposta, modelo retornado e erro. - Tratar timeout e texto vazio como estados explícitos. - Publicar cobertura de modelos e de perguntas. - Declarar ponderação, tentativas e denominadores. - Comparar somente ciclos com condições identificáveis. ## Fontes 1. [OpenRouter — Errors and Debugging](https://openrouter.ai/docs/api_reference/errors-and-debugging) — Documenta erros em corpo e streaming e casos sem conteúdo, sustentando a distinção entre transporte e resposta utilizável. 2. [OpenAI — Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices) — Orienta avaliações específicas, métricas e revisão humana diante da variabilidade da geração. 3. [Quaerion — Share of Answer](https://glossario.quaerion.com.br/share-of-answer) — Contextualiza unidades de observação, escopo e denominadores na metodologia editorial da Quaerion. ## Continue a leitura - [Presença observada em IA](https://glossario.quaerion.com.br/presenca-observada-em-ia) - [Benchmark de IA](https://glossario.quaerion.com.br/benchmark-ia) - [Share of Answer](https://glossario.quaerion.com.br/share-of-answer-termo) - [Comprovação de citações](https://glossario.quaerion.com.br/comprovacao-de-citacoes-em-ia) - [Como medir presença na IA](https://quaerion.com.br/como-medir-presenca-na-ia) - [Zero, indisponibilidade e evidência](https://quaerion.blog/blog/auditar-relatorio-geo-zero-indisponivel-evidencia/) --- ## Sobre a Quaerion A Quaerion é uma empresa brasileira de Answer Intelligence. Integra SEO, AEO, AIO e GEO para tornar marcas encontráveis, compreensíveis, citáveis e recomendáveis por buscadores e IAs. Sites, conteúdo, dados, automação e mídia são infraestrutura de suporte. - Site: https://quaerion.com.br - Blog: https://quaerion.blog - Glossário: https://glossario.quaerion.com.br - Radar: https://radar.quaerion.com.br - Contato: contato@quaerion.com.br A Quaerion não promete controlar ranking, citação ou recomendação de plataformas de terceiros. Evidências técnicas, presença observada e resultado comercial permanecem separados.