Um assistente de base de conhecimento precisa separar três situações: existe evidência aplicável, existem documentos que se contradizem ou a informação necessária não está disponível. Essas situações exigem respostas diferentes. Inserir um link no fim de um texto fluente não demonstra que a fonte sustenta a orientação dada.
A qualidade depende do vínculo entre pergunta, documento, versão e afirmação. A base de conhecimento com IA deve permitir conferir esse vínculo, respeitar o acesso do usuário e interromper conclusões que o acervo não autoriza. A seguir, um exemplo de política de reembolso mostra como definir esse comportamento sem confundir plausibilidade com evidência.
O que a recuperação entrega ao modelo
Em uma arquitetura RAG, trechos selecionados do acervo são apresentados ao modelo para apoiar a resposta. A explicação técnica da Anthropic sobre recuperação contextual descreve esse mecanismo e o problema de fragmentos que perdem contexto. Recuperar uma passagem, porém, ainda deixa trabalho a fazer: determinar se ela vale para a pergunta, se está vigente e se pode ser mostrada àquela pessoa.
Um procedimento de viagem pode distinguir empregados e prestadores, deslocamentos nacionais e internacionais ou despesas com autorização prévia. Um trecho que diz apenas “o limite é R$ 180” não basta. Falta saber qual despesa, para quem, em qual versão e sob quais condições. Cada parte relevante da resposta precisa carregar contexto suficiente para não mudar a regra original.
Três perguntas sobre um acervo sintético
Considere uma empresa fictícia com uma política vigente de viagens nacionais, revisão 4. Ela permite reembolso de alimentação até R$ 180 por dia, exige comprovante e exclui bebidas alcoólicas. Uma revisão anterior permite R$ 150. O acervo não contém política internacional. Os valores e documentos deste exemplo são ilustrativos.
| Pergunta | Evidência encontrada | Resposta adequada |
|---|---|---|
| Qual o limite diário em viagem nacional? | Revisão 4, alimentação, R$ 180 | Informar limite, comprovante e exclusão, citando a seção |
| O limite ainda é R$ 150? | Revisões 3 e 4, com sucessão documentada | Explicar que a revisão 4 substitui a anterior |
| Quanto posso gastar no exterior? | Regra internacional ausente | Informar ausência e encaminhar ao responsável |
Na terceira pergunta, responder R$ 180 por analogia amplia o escopo de uma política nacional. A falha acontece mesmo que o valor tenha sido copiado corretamente. A resposta útil diz: “A base consultada contém apenas viagens nacionais. Não encontrei regra para viagens internacionais; a definição precisa ser confirmada com o responsável pela política”. Isso preserva o que se sabe e explica o próximo passo.
Vigência é uma propriedade do documento
Data de upload não prova vigência. Um arquivo antigo pode ter sido enviado ontem, e uma nova revisão pode estar em aprovação. Um registro mínimo contém identificador estável, versão, responsável, estado de aprovação, data de início de vigência e vínculo com o documento substituído. Quando uma regra depende de unidade ou categoria de trabalhador, esses campos também precisam estar explícitos.
Manter versões anteriores pode ser necessário para perguntas históricas. A solução é distinguir consulta à regra atual de consulta à regra aplicável em uma data passada. Apagar todo histórico ou apresentar todas as versões sem filtro prejudica usos diferentes. A curadoria deve registrar sucessão e escopo antes de a engenharia de busca tentar resolver conflitos por similaridade textual.
Defina um contrato de resposta verificável
- Conclusão
- Orientação restrita à pergunta e às condições documentadas.
- Evidência
- Documento, versão e localização que sustentam cada afirmação decisiva.
- Limite
- Condições ausentes, escopo não coberto ou divergências não resolvidas.
- Encaminhamento
- Responsável ou processo que pode resolver a pendência.
Esse contrato pode ser conferido sem avaliar estilo. Se a conclusão menciona prazo, a fonte precisa sustentar aquele prazo. Se cita exceção, a passagem precisa conter a exceção ou remeter explicitamente à norma que a define. A presença de uma fonte relacionada ao tema não basta para autorizar uma afirmação particular.
Quando o assistente deve se abster
Abstenção é uma decisão sobre suficiência da evidência. A aplicação pode interromper a resposta quando não encontra uma regra aplicável, quando documentos igualmente válidos divergem ou quando a autorização impede acessar a fonte necessária. Essas razões devem ter registros distintos. Uma resposta vazia por indisponibilidade técnica não deve aparecer como se a empresa não tivesse uma política.
Um escore de similaridade não fornece sozinho essa decisão. É possível recuperar um documento muito parecido e de outra unidade. Também é possível encontrar exatamente o documento correto com passagem incompleta. Prefira testes que verifiquem condições concretas, como cobertura de todos os elementos da pergunta, existência da versão aprovada e consistência entre fontes.
Avalie respostas e recusas no mesmo conjunto
Monte perguntas com evidência presente, ausente, vencida, contraditória e restrita. Para cada pergunta, registre o resultado esperado e a passagem de referência. Não treine a equipe a considerar toda recusa uma falha: uma resposta indevida em caso sem evidência pode ser pior que um encaminhamento necessário.
A discussão da Anthropic sobre avaliações de agentes trata da importância de tarefas e critérios explícitos. Neste caso, use critérios separados para encontrar a fonte, apoiar a conclusão e preservar o limite. Conte respostas completas sem suporte, recusas desnecessárias e vazamentos de acesso como defeitos diferentes. Essa separação orienta a correção.
O perfil de IA generativa do NIST oferece referência para tratar riscos desse tipo. O desenho operacional precisa traduzir o risco em comportamento observável. Comece pela pergunta que mais custa responder errado e construa o caminho completo, da fonte ao encaminhamento. Assim a base deixa de depender de uma impressão de confiança.
Continue a leitura
- base de conhecimento com ia