Quando um RAG responde usando o documento errado, trocar o modelo de linguagem é uma intervenção tardia. Primeiro é preciso descobrir onde a evidência correta saiu do caminho: o arquivo não entrou no acervo, o texto foi extraído incorretamente, o trecho perdeu contexto, a busca falhou ou a seleção final descartou a passagem útil.
Esse diagnóstico exige inspecionar resultados intermediários. A resposta final mostra o efeito combinado de várias etapas. Sem observar o caminho da pergunta ao contexto, duas falhas diferentes podem parecer o mesmo problema e receber a mesma correção ineficaz.
Congele a pergunta e a evidência esperada
Escolha uma pergunta que falha de forma observável. Registre o documento, a versão e a passagem que deveriam sustentar a resposta. Fixe a versão do índice, os filtros de acesso, o modelo de embeddings e a configuração de busca. Esse registro cria uma comparação justa antes e depois da alteração.
Evite testar apenas perguntas escritas com as mesmas palavras do documento. Inclua código exato, sinônimo usado pela operação e pergunta que depende de duas condições. Uma instrução sobre “desligamento de emergência” pode ser procurada como “parada”, enquanto um código técnico precisa de correspondência precisa. A análise de recuperação contextual da Anthropic discute o complemento entre busca lexical e semântica e a perda de contexto em fragmentos.
Inspecione cada estágio separadamente
| Estágio | O que conferir | Falha provável |
|---|---|---|
| Ingestão | Arquivo e versão presentes | Fonte ausente ou atualização incompleta |
| Extração | Texto e tabela equivalentes ao original | Colunas misturadas, números ou títulos perdidos |
| Segmentação | Passagem preserva condições | Regra separada da exceção ou do cabeçalho |
| Busca | Evidência aparece nos candidatos | Consulta, índice ou filtro inadequado |
| Reordenação | Evidência permanece no contexto final | Seleção prioriza conteúdo parecido e inadequado |
| Geração | Resposta respeita contexto entregue | Síntese sem suporte ou condição omitida |
Verificar presença do arquivo é diferente de verificar indexação da versão correta. Uma atualização pode ter alterado o catálogo e deixado o índice antigo. Guarde identificadores que permitam rastrear documento, trecho e revisão ao longo do processamento. O nome do arquivo sozinho não resolve essa associação.
Um erro de tabela pode parecer erro de busca
Considere um manual sintético com duas linhas: equipamento AX-12 exige 4 N·m de torque; equipamento AX-21 exige 9 N·m. Na extração, a ferramenta concatena códigos e valores fora de ordem. A pergunta “qual torque do AX-12?” encontra o trecho porque o código está presente, mas o texto entregue permite associação incorreta.
A correção começa comparando a tabela extraída ao original. Preserve cabeçalhos e vínculo entre linha, coluna e unidade. Transformar cada linha em uma frase com equipamento, propriedade e valor pode facilitar recuperação, desde que essa representação seja verificada e mantenha referência à fonte. Reordenar resultados não conserta uma associação já perdida na extração.
A orientação do Amazon Textract identifica estruturas de tabela como um ponto de atenção. O tipo de documento precisa entrar na avaliação: PDF com texto selecionável, imagem digitalizada e planilha não têm o mesmo caminho de extração. Teste os formatos que realmente aparecem no processo.
Segmentação deve preservar sentido operacional
Um corte fixo pode separar “aplica-se somente a unidades nacionais” da regra seguinte. O trecho resultante permanece gramatical, mas perde a condição que limita seu uso. Acrescente metadados de escopo e preserve seções semanticamente relacionadas. Tamanho de trecho e sobreposição devem ser comparados com perguntas concretas, em vez de tratados como receita universal.
Trechos grandes demais aumentam mistura de assuntos. Trechos pequenos demais exigem reconstruir relações que desapareceram. Uma solução possível é recuperar passagem específica e expandir para seção ou documento de origem antes da síntese. Essa expansão precisa manter controle de acesso e limite de contexto; não vale recuperar conteúdo restrito porque está perto de um trecho permitido.
Busca lexical, vetorial e reordenação têm trabalhos distintos
Busca lexical ajuda a encontrar palavras, códigos e identificadores. Busca vetorial procura proximidade de significado. Reordenação compara candidatos já recuperados com a pergunta. Se a fonte correta nunca entra nos candidatos, o reordenador não tem como promovê-la. Separe cobertura da busca da qualidade da seleção posterior.
Filtre unidade, versão e permissão usando informação explícita quando a pergunta ou a identidade do usuário fornecem esses dados. Não peça à similaridade semântica que descubra autorização. Se filtros eliminam toda evidência, registre o motivo. Retirar filtros para conseguir uma resposta aparentemente melhor cria um defeito diferente e mais grave.
Meça recuperação antes de medir a resposta
Para cada pergunta, defina quais passagens são relevantes. Observe se elas aparecem entre os primeiros candidatos e entre os trechos efetivamente enviados ao modelo. Registre também documentos inadequados que entram: versão vencida, unidade errada, material sem permissão ou regra sem exceção. Uma métrica agregada pode esconder um erro crítico raro.
Depois avalie a geração com contexto correto fornecido diretamente. Se a resposta ainda falha, o problema está na instrução, na interpretação ou no modelo. Se ela acerta com contexto correto e falha no fluxo completo, concentre a investigação nas etapas anteriores. A referência da Anthropic sobre avaliações ajuda a estruturar tarefas com critérios verificáveis.
Evite a correção que apenas muda o exemplo
Aumentar a quantidade de trechos pode fazer a evidência entrar, mas também elevar latência, custo e conteúdo contraditório. Alterar todas as etapas de uma vez impede saber qual mudança ajudou. Use um conjunto de perguntas reservado e compare uma alteração por vez, registrando perdas além dos ganhos.
O diagnóstico termina quando existe uma cadeia explicável: pergunta, fonte esperada, estágio da falha, intervenção e verificação no conjunto de teste. A qualidade de uma base com IA depende dessa rastreabilidade. Fluência da resposta não substitui a passagem correta no contexto.
Continue a leitura
- rag recuperação de documentos