Analysis of software testing tools in agile environments and CI/CD pipeline.

Authors

DOI:

https://doi.org/10.47385/cadunifoa.v21.n56.6067

Keywords:

Software Testing, Agile Methodologies, Test Automation, Continuous Delivery

Abstract

This paper analyzes and compares software testing tools, with a focus on their suitability for agile methodologies and the continuous delivery context. The research was structured in three phases: a literature review of unit, integration, functional, performance, security, and usability testing tools; an experimental implementation of their behavior in practical scenarios; and a comparative analysis based on criteria such as ease of use, performance, and integration capabilities. The results indicated that tools such as Cypress and Postman are ideal for agile teams, offering agility and simplicity, while more robust solutions, such as LoadRunner and Burp Suite, are better suited for complex enterprise environments. The analysis revealed that there is no single ideal tool; the choice should consider both project requirements and team composition. The study concludes that a combination of tools, integrated into CI/CD pipelines, is the most effective approach for ensuring comprehensive coverage and higher software quality.

Downloads

Download data is not yet available.

Author Biographies

Matheus Vinícius Ferreira Pinheiro, Universidade Federal Rural do Semi-Árido, Mossoró, Rio Grande do Norte.

Graduando em Engenharia de Software pela Universidade Federal Rural do Semi-Árido. Graduado em Tecnologia da Informação pela Universidade Federal Rural do Semi-Árido.

Alysson Filgueira Milanez, Universidade Federal Rural do Semi-Árido, Mossoró, Rio Grande do Norte.

Doutor em Ciência da Computação pela Universidade Federal de Campina Grande. Professor na Universidade Federal Rural do Semi-Árido.

Reudismam Rolim de Sousa, Universidade Federal Rural do Semi-Árido, Mossoró, Rio Grande do Norte.

Doutor em Ciência da Computação pela Universidade Federal de Campina Grande. Professor na Universidade Federal Rural do Semi-Árido. 

References

ACHARYA, Shivani; PANDYA, Vidhi. Bridge between Black Box and White Box – Gray Box Testing Technique. International Journal of Electronics and Computer Science Engineering, v. 2, n. 1, p. 175-185, 2012. Disponível em: https://www.academia.edu/32153458/Bridge_between_Black_Box_and_White_Box_Gray_Box_Testing_Technique. Acesso em: 27 abr. 2026.

STACK OVERFLOW. 2024 Developer Survey: Technology. 2024. Disponível em: https://survey.stackoverflow.co/2024/technology. Acesso em: 27 abr. 2026.

BEIZER, B. Software Testing Techniques. 2. ed. New York: Van Nostrand Reinhold, 1990. Disponível em: https://dl.acm.org/doi/10.5555/79060. Acesso em: 27 abr. 2026.

DELAMARO, M. E.; MALDONADO, J. C.; JINO, M. Introdução ao Teste de Software. 2. ed. [S. l.]: GEN LTC, 2016. Disponível em: https://minhabiblioteca.com.br/catalogo/livro/78492/introdu-o-ao-teste-de-software/. Acesso em: 27 abr. 2026.

DIAS, Jailson da Costa. Teste de software com IA: um mapeamento sistemático da literatura. 2023. 65 p. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Centro de Informática, Universidade Federal de Pernambuco, Recife, 2023. Disponível em: https://repositorio.ufpe.br/bitstream/123456789/50401/1/TCC%20Jailson%20da%20Costa%20Dias.pdf. Acesso em: 27 abr. 2026.

GIANNECCHINI, Nilo. Integração contínua com aplicação de testes de regressão. 2018. Dissertação (Mestrado em Tecnologia) – Faculdade de Tecnologia, Universidade Estadual de Campinas, Limeira, 2018. Disponível em: https://repositorio.unicamp.br/acervo/detalhe/1021914. Acesso em: 27 abr. 2026.

HALILI, E. H. Apache JMeter: A Practical Beginner's Guide to Automated Testing and Performance Measurement for Your Websites. [S. l.]: Packt Pub Ltd, 2008. Disponível em: https://unov.tind.io/record/34368?ln=ru. Acesso em: 27 abr. 2026.

HAMILTON, B. NUnit Pocket Reference. [S. l.]: O'Reilly Media, Inc., 2004. Disponível em: https://www.oreilly.com/library/view/nunit-pocket-reference/9780596007393/. Acesso em: 27 abr. 2026.

HOLMES, Antawan; KELLOGG, Marc. Automating functional tests using Selenium. In: AGILE 2006. Washington, DC: IEEE, 2006. p. 270-275. DOI: 10.1109/AGILE.2006.19. Disponível em: https://ieeexplore.ieee.org/document/1667589. Acesso em: 27 abr. 2026. DOI: https://doi.org/10.1109/AGILE.2006.19

HONORATO, Viviane Silva. A importância dos testes manuais e automatizados em sistemas críticos perante um cenário pandêmico e remoto. 2022. 21 f. Trabalho de Conclusão de Curso (Artigo) – Departamento de Computação, Universidade Estadual da Paraíba, Campina Grande, 2022. Disponível em: https://repositorio.uepb.edu.br/items/7965cb63-197c-4aff-8f71-53d79959211d. Acesso em: 27 abr. 2026.

JORGENSEN, P. C. Software Testing: A Craftsman's Approach. 4. ed. Boca Raton: CRC Press, 2013. Disponível em: https://www.oreilly.com/library/view/software-testing-4th/9781466560680/. Acesso em: 27 abr. 2026.

CHALVATZIS, Ilias; KARRAS, Dimitrios A.; PAPADEMETRIOU, Rallis C. Evaluation of Security Vulnerability Scanners for Small and Medium Enterprises Business Networks Resilience towards Risk Assessment. In: IEEE International Conference on Artificial Intelligence and Computer Applications. Dalian: IEEE, 2019. p. 52-58. DOI: 10.1109/ICAICA.2019.8873438. Disponível em: https://ieeexplore.ieee.org/document/8873438. Acesso em: 27 abr. 2026. DOI: https://doi.org/10.1109/ICAICA.2019.8873438

RAJAPAKSE, Roshan N.; ZAHEDI, Mansooreh; BABAR, Muhammad Ali; SHEN, Haifeng. Challenges and solutions when adopting DevSecOps: a systematic review. Information and Software Technology, v. 141, p. 106700, 2022. DOI: 10.1016/j.infsof.2021.106700. Disponível em: https://www.sciencedirect.com/science/article/pii/S0950584921001543?via%3Dihub. Acesso em: 27 abr. 2026. DOI: https://doi.org/10.1016/j.infsof.2021.106700

TENABLE. Tenable Nessus Documentation. [S. l.], [s. d.]. Disponível em: https://docs.tenable.com/Nessus.htm. Acesso em: 27 abr. 2026.

SHAHIN, Mojtaba; BABAR, Muhammad Ali; ZHU, Liming. Continuous integration, delivery and deployment: a systematic review on approaches, tools, challenges and practices. IEEE Access, v. 5, p. 3909-3943, 2017. DOI: 10.1109/ACCESS.2017.2685629. Disponível em: https://ieeexplore.ieee.org/document/7884954. Acesso em: 27 abr. 2026. DOI: https://doi.org/10.1109/ACCESS.2017.2685629

MALDONADO, José Carlos; BARBOSA, Ellen Francine; VINCENZI, Auri Marcelo Rizzo; DELAMARO, Márcio Eduardo; SOUZA, Simone do Rocio Senger de; JINO, Mario. Introdução ao teste de software. São Carlos: ICMC-USP, 2004. Disponível em: https://web.icmc.usp.br/SCATUSU/RT/Notas_Didaticas/nd_65.pdf. Acesso em: 27 abr. 2026.

MWAURA, W. End-to-End Web Testing with Cypress: Explore techniques for automated frontend web testing with Cypress and JavaScript. [S. l.]: Packt Publishing, 2021. Disponível em: https://www.oreilly.com/library/view/end-to-end-web-testing/9781839213854/. Acesso em: 27 abr. 2026.

O’KEEFFE, Juan Franciso Fonseca. Análise de fatores de impacto no erro de estimativa de esforço e de duração em projetos de software. 2012. 92 f. Dissertação (Mestrado em Administração e Negócios) – Faculdade de Administração, Contabilidade e Economia, Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2012. Disponível em: https://tede2.pucrs.br/tede2/bitstream/tede/5640/1/438587.pdf. Acesso em: 27 abr. 2026.

AMANKWAH, Richard; CHEN, Jinfu; KUDJO, Patrick Kwaku; TOWEY, Dave. An empirical comparison of commercial and open-source web vulnerability scanners. Software: Practice and Experience, v. 50, n. 9, p. 1842-1857, 2020. DOI: 10.1002/spe.2870. Disponível em: https://onlinelibrary.wiley.com/doi/full/10.1002/spe.2870. Acesso em: 27 abr. 2026. DOI: https://doi.org/10.1002/spe.2870

PIOVESAN, Ana Claudia. Framework para testes ágeis de software: uma proposta exploratória. 2018. 187 f. Dissertação (Mestrado em Engenharia de Produção e Sistemas) – Programa de Pós-Graduação em Engenharia de Produção e Sistemas, Universidade Tecnológica Federal do Paraná, Pato Branco, 2018. Disponível em: https://repositorio.utfpr.edu.br/jspui/bitstream/1/3439/1/PB_PPGEPS_M_Piovesan%2C%20Ana%20Claudia_2018.pdf. Acesso em: 27 abr. 2026.

PRESSMAN, R. S.; MAXIM, B. R. Engenharia de Software: Uma abordagem profissional. 8. ed. Porto Alegre: AMGH Editora, 2016. Disponível em: https://books.google.com.br/books/about/Engenharia_de_Software_8%C2%AA_Edi%C3%A7%C3%A3o.html?hl=pt-BR&id=wexzCwAAQBAJ. Acesso em: 27 abr. 2026.

ROCHA, H. Desenvolvimento guiado por testes com JUnit. In: Congresso Brasil Software Week, 2003, São Paulo. Anais [...] São Paulo, 2003. Disponível em: https://www.inf.ufpr.br/andrey/ci221/JUnit_Fenasoft.pdf. Acesso em: 27 abr. 2026.

SOMMERVILLE, Ian. Software Engineering. 9. ed. Boston: Addison-Wesley, 2010. Disponível em: https://books.google.com.br/books/about/Software_Engineering.html?id=l0egcQAACAAJ. Acesso em: 27 abr. 2026.

SOUZA, Fernando Ribeiro de. Testando APIs REST com Postman e Rest Assured: um relato de experiência com o Sistema EducAPI. 2021. Trabalho de Conclusão de Curso (Licenciatura em Ciência da Computação) – Centro de Ciências Aplicadas e Educação, Universidade Federal da Paraíba, Rio Tinto, 2021. Disponível em: https://repositorio.ufpb.br/jspui/bitstream/123456789/29049/1/FernandoRibeirodeSouza_TCC.pdf. Acesso em: 27 abr. 2026.

Published

2026-06-15

How to Cite

FERREIRA PINHEIRO, Matheus Vinícius; FILGUEIRA MILANEZ, Alysson; ROLIM DE SOUSA, Reudismam. Analysis of software testing tools in agile environments and CI/CD pipeline. Cadernos UniFOA, Volta Redonda, RJ, v. 21, n. 56, p. 1–18, 2026. DOI: 10.47385/cadunifoa.v21.n56.6067. Disponível em: https://revistas.unifoa.edu.br/cadernos/article/view/6067. Acesso em: 21 jun. 2026.

Issue

Section

Tecnologia e Engenharias