Use este identificador para citar ou linkar para este item: https://repositorio.unipampa.edu.br/jspui/handle/riu/9472
Tipo: Trabalho de Conclusão de Curso
Título: What do we know about usability evaluation for chatbots? a systematic mapping study
Autor(es): Carvalho, Lucas Vieira de
Primeiro Orientador: Silva, Williamson Alison Freitas
Resumo: Context: Given the current scenario of technological advances, it is undeniable that the software industry is increasingly investing in designing, developing, and evaluating text-based conversational agents called chatbots. Chatbots are rising because they provide efficient and scalable technological support and user interaction. Problem: Although there is a promising market for these technologies, there is still a need for more knowledge to evaluate the quality of chatbots from the usability perspective, which results in a lack of consensus on the best practices and evaluation criteria to be applied. Method: This paper aims to describe a Systematic Mapping Study (SMS) seeking to characterize studies that address usability evaluation technologies (methods, techniques, approaches, tools) designed to assist software professionals in improving chatbots’ quality from the usability perspective. IS Theory: Not applicable. Summary of Results: We identified 27 relevant studies, of which 4 are systematic literature reviews. Questionnaires, metrics, methods, and evaluation techniques are among the identified technologies. Contributions and Impact in the IS area: Based on these studies and others selected, it was possible to carry out a comprehensive analysis and characterization of the assessment technologies used, which helped in a more in-depth understanding, presenting valuable insights that not only fill gaps in the current knowledge of these systems but also provide direction in a careful choice of the most appropriate evaluation methods is significant. This paper was published in the Proceedings of the XX Brazilian Symposium on Information Systems (CARVALHO et al., 2024). Keywords: Chatbots, Conversational Agents, Usability Evaluation Methods, Systematic Mapping Study.
Abstract: Contexto: Dado o atual cenário de avanços tecnológicos, é inegável que a indústria de software está investindo cada vez mais no design, desenvolvimento e avaliação de agentes conversacionais baseados em texto, chamados chatbots. Os chatbots estão em ascensão porque fornecem suporte tecnológico eficiente e escalável, além de interação com o usuário. Problema: Embora exista um mercado promissor para essas tecnologias, ainda há a necessidade de mais conhecimento para avaliar a qualidade dos chatbots sob a perspectiva da usabilidade, o que resulta em uma falta de consenso sobre as melhores práticas e critérios de avaliação a serem aplicados. Método: Este artigo descreve um Mapeamento Sistemático da Literatura (MSL) que busca caracterizar estudos que abordam tecnologias de avaliação de usabilidade (métodos, técnicas, abordagens, ferramentas) projetadas para ajudar os profissionais de software a melhorar a qualidade dos chatbots sob a perspectiva da usabilidade. Teoria de SI: Não aplicável. Resumo dos Resultados: Identificamos 27 estudos relevantes, dos quais 4 são revisões sistemáticas da literatura. Questionários, métricas, métodos e técnicas de avaliação estão entre as tecnologias identificadas. Contribuições e Impacto na área de SI: Com base nesses estudos e em outros selecionados, foi possível realizar uma análise abrangente e caracterização das tecnologias de avaliação utilizadas, o que ajudou em uma compreensão mais aprofundada, apresentando insights valiosos que não apenas preenchem lacunas no conhecimento atual desses sistemas, mas também fornecem direcionamento na escolha cuidadosa dos métodos de avaliação mais apropriados. Este artigo foi publicado nos Anais do XX Simpósio Brasileiro de Sistemas de Informação (CARVALHO et al., 2024). Palavras-chaves: Chatbots, Agentes Conversacionais, Métodos de avaliação de usabilidade, Mapeamento Sistemático da Literatura.
Palavras-chave: Engenharia de software
Chatbots
Agentes conversacionais
Métodos de avaliação de usabilidade
Software engineering
Conversational agents
Usability evaluation methods
CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA
Idioma: eng
País: Brasil
Editor: Universidade Federal do Pampa
Sigla da Instituição: UNIPAMPA
Campus: Campus Alegrete
Citação: CARVALHO, L. V. d. et al. What do we know about usability evaluation for chatbots?: a systematic mapping study. In: Proceedings of the 20th Brazilian Symposium on Information Systems. [S.l.: s.n.], 2024. p. 1–11.
Tipo de Acesso: Acesso Aberto
URI: https://repositorio.unipampa.edu.br/jspui/handle/riu/9472
Data do documento: 3-Jul-2024
Aparece nas coleções:Engenharia de Software

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
Lucas Vieira de Carvalho - 2024 resumo.pdf41.08 kBAdobe PDFVisualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.