What do we know about usability evaluation for chatbots? a systematic mapping study

Abstract

Contexto: Dado o atual cenário de avanços tecnológicos, é inegável que a indústria de software está investindo cada vez mais no design, desenvolvimento e avaliação de agentes conversacionais baseados em texto, chamados chatbots. Os chatbots estão em ascensão porque fornecem suporte tecnológico eficiente e escalável, além de interação com o usuário. Problema: Embora exista um mercado promissor para essas tecnologias, ainda há a necessidade de mais conhecimento para avaliar a qualidade dos chatbots sob a perspectiva da usabilidade, o que resulta em uma falta de consenso sobre as melhores práticas e critérios de avaliação a serem aplicados. Método: Este artigo descreve um Mapeamento Sistemático da Literatura (MSL) que busca caracterizar estudos que abordam tecnologias de avaliação de usabilidade (métodos, técnicas, abordagens, ferramentas) projetadas para ajudar os profissionais de software a melhorar a qualidade dos chatbots sob a perspectiva da usabilidade. Teoria de SI: Não aplicável. Resumo dos Resultados: Identificamos 27 estudos relevantes, dos quais 4 são revisões sistemáticas da literatura. Questionários, métricas, métodos e técnicas de avaliação estão entre as tecnologias identificadas. Contribuições e Impacto na área de SI: Com base nesses estudos e em outros selecionados, foi possível realizar uma análise abrangente e caracterização das tecnologias de avaliação utilizadas, o que ajudou em uma compreensão mais aprofundada, apresentando insights valiosos que não apenas preenchem lacunas no conhecimento atual desses sistemas, mas também fornecem direcionamento na escolha cuidadosa dos métodos de avaliação mais apropriados. Este artigo foi publicado nos Anais do XX Simpósio Brasileiro de Sistemas de Informação (CARVALHO et al., 2024). Palavras-chaves: Chatbots, Agentes Conversacionais, Métodos de avaliação de usabilidade, Mapeamento Sistemático da Literatura.