Por que o RAG recupera o documento errado? Diagnóstico por etapa

Localize a falha entre ingestão, extração, segmentação, busca, seleção e resposta antes de trocar o modelo.

19 de outubro de 2026, 6 min de leitura

Quando um RAG responde usando o documento errado, trocar o modelo de linguagem é uma intervenção tardia. Primeiro é preciso descobrir onde a evidência correta saiu do caminho: o arquivo não entrou no acervo, o texto foi extraído incorretamente, o trecho perdeu contexto, a busca falhou ou a seleção final descartou a passagem útil.

Esse diagnóstico exige inspecionar resultados intermediários. A resposta final mostra o efeito combinado de várias etapas. Sem observar o caminho da pergunta ao contexto, duas falhas diferentes podem parecer o mesmo problema e receber a mesma correção ineficaz.

Congele a pergunta e a evidência esperada

Escolha uma pergunta que falha de forma observável. Registre o documento, a versão e a passagem que deveriam sustentar a resposta. Fixe a versão do índice, os filtros de acesso, o modelo de embeddings e a configuração de busca. Esse registro cria uma comparação justa antes e depois da alteração.

Evite testar apenas perguntas escritas com as mesmas palavras do documento. Inclua código exato, sinônimo usado pela operação e pergunta que depende de duas condições. Uma instrução sobre “desligamento de emergência” pode ser procurada como “parada”, enquanto um código técnico precisa de correspondência precisa. A análise de recuperação contextual da Anthropic discute o complemento entre busca lexical e semântica e a perda de contexto em fragmentos.

Inspecione cada estágio separadamente

Diagnóstico por artefato observável
EstágioO que conferirFalha provável
IngestãoArquivo e versão presentesFonte ausente ou atualização incompleta
ExtraçãoTexto e tabela equivalentes ao originalColunas misturadas, números ou títulos perdidos
SegmentaçãoPassagem preserva condiçõesRegra separada da exceção ou do cabeçalho
BuscaEvidência aparece nos candidatosConsulta, índice ou filtro inadequado
ReordenaçãoEvidência permanece no contexto finalSeleção prioriza conteúdo parecido e inadequado
GeraçãoResposta respeita contexto entregueSíntese sem suporte ou condição omitida

Verificar presença do arquivo é diferente de verificar indexação da versão correta. Uma atualização pode ter alterado o catálogo e deixado o índice antigo. Guarde identificadores que permitam rastrear documento, trecho e revisão ao longo do processamento. O nome do arquivo sozinho não resolve essa associação.

Um erro de tabela pode parecer erro de busca

Considere um manual sintético com duas linhas: equipamento AX-12 exige 4 N·m de torque; equipamento AX-21 exige 9 N·m. Na extração, a ferramenta concatena códigos e valores fora de ordem. A pergunta “qual torque do AX-12?” encontra o trecho porque o código está presente, mas o texto entregue permite associação incorreta.

A correção começa comparando a tabela extraída ao original. Preserve cabeçalhos e vínculo entre linha, coluna e unidade. Transformar cada linha em uma frase com equipamento, propriedade e valor pode facilitar recuperação, desde que essa representação seja verificada e mantenha referência à fonte. Reordenar resultados não conserta uma associação já perdida na extração.

A orientação do Amazon Textract identifica estruturas de tabela como um ponto de atenção. O tipo de documento precisa entrar na avaliação: PDF com texto selecionável, imagem digitalizada e planilha não têm o mesmo caminho de extração. Teste os formatos que realmente aparecem no processo.

Segmentação deve preservar sentido operacional

Um corte fixo pode separar “aplica-se somente a unidades nacionais” da regra seguinte. O trecho resultante permanece gramatical, mas perde a condição que limita seu uso. Acrescente metadados de escopo e preserve seções semanticamente relacionadas. Tamanho de trecho e sobreposição devem ser comparados com perguntas concretas, em vez de tratados como receita universal.

Trechos grandes demais aumentam mistura de assuntos. Trechos pequenos demais exigem reconstruir relações que desapareceram. Uma solução possível é recuperar passagem específica e expandir para seção ou documento de origem antes da síntese. Essa expansão precisa manter controle de acesso e limite de contexto; não vale recuperar conteúdo restrito porque está perto de um trecho permitido.

Busca lexical, vetorial e reordenação têm trabalhos distintos

Busca lexical ajuda a encontrar palavras, códigos e identificadores. Busca vetorial procura proximidade de significado. Reordenação compara candidatos já recuperados com a pergunta. Se a fonte correta nunca entra nos candidatos, o reordenador não tem como promovê-la. Separe cobertura da busca da qualidade da seleção posterior.

Filtre unidade, versão e permissão usando informação explícita quando a pergunta ou a identidade do usuário fornecem esses dados. Não peça à similaridade semântica que descubra autorização. Se filtros eliminam toda evidência, registre o motivo. Retirar filtros para conseguir uma resposta aparentemente melhor cria um defeito diferente e mais grave.

Meça recuperação antes de medir a resposta

Para cada pergunta, defina quais passagens são relevantes. Observe se elas aparecem entre os primeiros candidatos e entre os trechos efetivamente enviados ao modelo. Registre também documentos inadequados que entram: versão vencida, unidade errada, material sem permissão ou regra sem exceção. Uma métrica agregada pode esconder um erro crítico raro.

Depois avalie a geração com contexto correto fornecido diretamente. Se a resposta ainda falha, o problema está na instrução, na interpretação ou no modelo. Se ela acerta com contexto correto e falha no fluxo completo, concentre a investigação nas etapas anteriores. A referência da Anthropic sobre avaliações ajuda a estruturar tarefas com critérios verificáveis.

Evite a correção que apenas muda o exemplo

Aumentar a quantidade de trechos pode fazer a evidência entrar, mas também elevar latência, custo e conteúdo contraditório. Alterar todas as etapas de uma vez impede saber qual mudança ajudou. Use um conjunto de perguntas reservado e compare uma alteração por vez, registrando perdas além dos ganhos.

O diagnóstico termina quando existe uma cadeia explicável: pergunta, fonte esperada, estágio da falha, intervenção e verificação no conjunto de teste. A qualidade de uma base com IA depende dessa rastreabilidade. Fluência da resposta não substitui a passagem correta no contexto.

Continue a leitura

Agendar diagnóstico gratuito

  • rag recuperação de documentos

Cookies essenciais mantêm o site. Análise mede o uso; marketing depende de seu aceite. Leia a Política de Cookies.