Compreensão do chatbot

Para utilizar o Tesutā é fundamental integrar heurísticas para oferecer suporte aos passos delineados. As heurísticas, baseadas em conhecimento especializado e experiência prática, servirão como diretrizes úteis para os testadores durante a execução das diferentes etapas do processo de teste. Elas ajudarão a orientar a análise do chatbot, a seleção e aplicação dos metamorfos, a execução dos testes, a avaliação dos resultados e a tomada de decisões para refinamento e melhoria contínua. Ao empregar heurísticas específicas, os utilizadores poderão abordar de forma mais eficaz os desafios e complexidades inerentes ao teste de Chatbot, garantindo uma abordagem mais abrangente e precisa na avaliação de sua funcionalidade e desempenho. Desta forma, a seguir, apresentam-se as heurísticas para apoiar a aplicação do Tesutā.

Compreensão do chatbot

H1: Verificar a documentação de requisitos do chatbot e analisar quais são os requisitos funcionais e não funcionais a serem validados. Se necessário, levante mais informações com o cliente/público alvo; H2: Identificar em qual domínio o chatbot enquadra-se; H3: Identificar quais são os comportamentos esperados do Chatbot;

Seleção de metamorfismos

H4: Identificar, a partir dos requisitos levantados, quais são elegíveis a sofrerem metamorfismo, isto é, quais são passíveis de receber mudança no input; H5: Garantir que as funcionalidades principais do Chatbot sejam selecionadas;

Geração de metamorfos

H6: A partir das funcionalidades selecionadas, crie casos de teste que refletem os metamorfismos selecionados. Por exemplo: testar diferentes comprimentos de entrada; variações de ortografia; perguntas formuladas de maneiras diferentes; inserir caracteres que não correspondem necessariamente a ação esperada; adição de variações linguísticas, etc;

Execução dos testes

H7: Assegurar que os metamorfos identificados foram incluídos no caso de teste; H8: Registrar as respostas geradas para cada conjunto de metamorfos; H9: Registar desvio de comportamento, caso haja;

Avaliar resultados

H10: Comparar os resultados obtidos com as expectativas definidas;

Refinamento dos metamorfos

H11: A partir dos resultados obtidos, ajuste os metamorfos caso encontre variações que o Chatbot não lide corretamente, ou seja, faça mais testes no problema encontrado para garantir que não haja mais situações semelhantes;

Execução de Testes adicionais

H12: Considere um conjunto de metamorfos diferentes dos iniciais nesta etapa;

Execução dos testes

H13: Após o refinamento dos metamorfos e a seleção de um novo conjunto, execute novamente os testes obedecendo as heurísticas H7, H8 e H9;

Automação dos testes

H14: Considere utilizar a automação de testes para aumentar a eficiência do processo, analise se o Chatbot em questão pode ser automatizado com as ferramentas disponíveis no mercado;

Documentação

H15: Documentar os metamorfos utilizados em cada caso de teste; H16: Documentar os resultados obtidos e quais problemas foram identificados. É importante ter em mente que a forma de documentação pode variar de empresa para empresa, portanto, este tópico está aberto;

Especificação da documentação

H17: Faça uma análise dos resultados obtidos e problemas encontrados para aprimorar o Chatbot;

Monitoramento contínuo

H18: Implemente um sistema/processo de monitoramento contínuo, ou seja, para cada feature/bug fix seja realizado uma nova verificação do caso de teste;