“Vocês parcelam?”: como testar perguntas equivalentes na base de conhecimento da IA

Como verificar se a IA entende perguntas feitas de outro jeito

Para verificar, teste diferentes formas de fazer a mesma pergunta e compare cada resposta com uma referência aprovada pela empresa. Registre tudo em uma planilha: pergunta, informação de referência, resposta esperada, resposta recebida e aprovação ou reprovação. Ter a informação cadastrada é apenas o começo; o teste mostra se ela aparece corretamente na conversa.

O foco aqui não é atualizar preços ou prazos. É avaliar uma informação que continua válida, mas pode ser perguntada com sinônimos, abreviações ou frases incompletas.

A documentação da Microsoft sobre recuperação de informações descreve dificuldades com consultas vagas, falta de palavras relevantes e significado pouco claro. Isso justifica testar variações, sem presumir que qualquer formulação será compreendida.

Monte a planilha antes de começar os testes

Escolha um assunto recorrente do atendimento, como formas de pagamento. Separe a regra aprovada e escreva o que uma resposta precisa comunicar. Evite usar apenas “responder corretamente” como referência: esse critério não ajuda a identificar o erro.

Crie cinco colunas: pergunta de teste; informação de referência; resposta esperada; resposta recebida; resultado. Na última, marque “aprovado” ou “reprovado” e explique o motivo.

A OpenAI, em suas boas práticas de avaliação, recomenda definir objetivo, conjunto de testes e critérios de avaliação. Para este exercício, o objetivo pode ser: explicar as condições cadastradas sem acrescentar benefícios, exigências ou exceções.

Exemplo ilustrativo: seis maneiras de perguntar sobre pagamento

Cenário fictício, apenas ilustrativo: uma loja aceita Pix e cartão de crédito, com parcelamento em até três vezes sem juros. Não há informação aprovada sobre desconto no Pix. Essa regra deve constar na coluna de referência; as perguntas e os resultados esperados podem ser registrados assim:

“Vocês parcelam?” → Informar o parcelamento no cartão em até três vezes sem juros.

“Dá pra dividir em 3?” → Explicar a mesma condição, sem criar valor mínimo de compra ou outra exigência.

“parcela no cartao?” → Responder conforme a regra, apesar da escrita informal.

“Divide?” → Pedir esclarecimento quando não houver contexto que indique pagamento.

“Faz em seis vezes?” → Não ampliar o limite cadastrado; explicar a condição disponível.

“No Pix tem desconto?” → Não inventar desconto; informar que essa condição precisa ser confirmada.

A OpenAI inclui mensagens muito curtas e erros de digitação entre os desafios que merecem avaliação. Também recomenda casos típicos e casos-limite. Por isso, a lista não deve conter somente perguntas fáceis ou próximas do texto cadastrado.

Execute sem dar pistas e aprove pelo conteúdo

Envie cada pergunta sem acrescentar a resposta na própria mensagem. Para testar uma dúvida isolada, comece uma conversa sem contexto anterior; para avaliar continuidade, registre também as mensagens anteriores. Copie a resposta completa para a planilha.

Aprove quando a resposta preservar as condições da referência, não inventar regras e pedir esclarecimento quando necessário. Não exija palavras idênticas: “até três parcelas” e “até três vezes” podem comunicar a mesma condição.

No caso de informação ausente, avalie se a resposta reconhece o limite. A documentação do Google para o Dialogflow CX orienta configurar esse comportamento quando faltam informações. Essa é uma referência de avaliação, não uma funcionalidade confirmada da Teledroid.

Registre as falhas e revise as informações ou a configuração com o responsável técnico. Depois, repita os mesmos casos. Conforme recomenda a OpenAI, amplie os testes e reavalie após mudanças: aprovar essa lista não comprova acerto em todas as conversas.

Como a Implementação da IA da Teledroid pode ajudar

A Implementação da IA da Teledroid inclui cadastro das informações da empresa, configuração do tom e do fluxo de atendimento, além de testes e ajustes iniciais. Essas etapas permitem levar as regras aprovadas e discutir como validar respostas a diferentes perguntas.

O pré-requisito é possuir o Chat.teledroid. O catálogo prevê análise do projeto e orçamento personalizado; a execução da planilha e eventuais ajustes devem ser combinados no escopo, sem pressupor testes automáticos.

Prepare sua regra de referência e seis perguntas de teste. Depois, envie esse material para contato@teledroid.com.br e solicite uma conversa com a equipe sobre a Implementação da IA.