Melompat dari Sekadar Prediksi Bug: Bagaimana AI/ML dan Otomasi Mengubah Wajah System Quality Assurance (SQA)

Sintesis Studi QA (2022–2026) dalam SQA dan Hubungan Kematangan Test Automation dengan Kualitas Produk

1. Pendahuluan

   Selama bertahun-tahun, dunia Software Quality Assurance (SQA) sangat bergantung pada pengujian manual dan skrip otomasi yang diketik baris demi baris. Dewasa ini, lingkupnya berubah drastis dimana Artificial Intelegence (AI) dan Machine Learning (ML) makin gencar diteliti dan diadopsi di berbagai tahap pengujian sistem [1], [2], [5].

   Di saat bersamaan, muncul arus riset yang mempertanyakan fondasinya, yaitu seberapa matang sebenarnya praktik otomasi yang dijalankan sebuah divisi Quality Assurance (QA), dan apakah klaim kematangan itu benar-benar berdampak pada kualitas produk serta kecepatan penyelesain produk perangkat lunak? [3], [4]. Artikel ini merangkum studi-studi kredibel untuk membedah kedua sudut pandang tersebut secara objektif.

*Catatan: Arikel ini disusun sebagai sintesis naratif, bukan tinjauan sistematis formal.

2. Tren AI/ML dalam Pengujian

   Dalam prediksi defect dan tugas pengujian, tinjauan sistematis atas 40 studi mengklasifikasikan metode ML bergeser menjadi pendekatan supervised, unsupervised, reinforcement, dan hybrid [2]. Serta fokus riset AI dalam pengujian juga dilaporkan bergeser dari prediksi defect menuju otomasi, kolaborasi, dan evaluasi [1].

   ML telah diterapkan pada generasi test case serta pembangunan dan evaluasi test oracle [2]. Karya/produk terbaru kini semakin melibatkan pendekatan berbasis LLM dan perangkat berbasis AI [5], [6].

  Lalu Tinjauan grey literature multi tahun menyajikan self healing sebagai mekanisme AI untuk mengatasi kerapuhan test, misalnya saat locator UI berubah dan lain sebagainya [5].

  Serta di optimasi regression testing, ML diterapkan pada prioritisasi test case [2], dengan tujuan memperpendek umpan balik di pipeline CI/CD.

  Sebuah mapping study atas 37 studi (2023–2025) melaporkan bahwa aplikasi agentic AI terkonsentrasi pada product assurance, terutama desain dan eksekusi test. Sebagian besar agen beroperasi pada level copilot dan arsitektur monolitik lebih umum daripada multi agen [6]. Hal ini menunjukan bahwa Agentic AI dalam QA tumbuh semakin adaptif, tetapi umumnya masih diawasi oleh manusia.

3. Kematangan Test Automation

   Studi kuantitatif atas 37 proyek open source Java dengan Continuous Integration menemukan bahwa kematangan yang lebih tinggi berasosiasi positif dengan kualitas produk (p = 0,000624) dan siklus rilis yang lebih singkat (p = 0,01891), tanpa bukti signifikan adanya peningkatan effort divisi QA [3]. Namun, hasil ini bersifat asosiatif, bukan kausal, dengan sampel kecil dan konteks terbatas.

   Tinjauan multivocal atas 81 studi mengekstrak 26 best practice, misalnya menetapkan strategi test automation yang efektif, menyiapkan environment pengujian yang baik, dan mengembangkan test script berkualitas [4]. Hanya 6 praktik yang efeknya terhadap kematangan telah dievaluasi dengan metode empiris formal [4].

4. Manfaat dan Keterbatasan

   Manfaat yang dilaporkan mencakup efisiensi, akurasi, dan kemudahan pemeliharaan [6], serta upaya menekan biaya pemeliharaan test [5]. Keterbatasannya meliputi skalabilitas, generalisasi, transparansi, kesulitan validasi, dan kesenjangan integrasi [6], serta isu interpretabilitas dan adopsi industri [1]. Manfaat dan keterbatasan sering muncul bersamaan dalam studi yang sama [6].

5. Keterbatasan dan Kesimpulan

   Sintesis ini tidak sistematis dan bertumpu pada enam sumber. Klaim manfaat AI sebagian besar berasal dari tinjauan, bukan evaluasi industri terkontrol, sehingga bersifat indikatif.

   Peran AI/ML dalam QA semakin luas, dari prediksi defect hingga test generation, self healing, dan sistem agentic, umumnya di bawah pengawasan manusia. Kematangan test automation berasosiasi dengan kualitas dan kecepatan penyelesain produk perangkat lunak dalam konteks yang diteliti, sedangkan hubungan antara kematangan dan keberhasilan adopsi AI menjadi pertanyaan terbuka bagi penelitian mendatang.

Daftar Pustaka:

[1] Escalante-Viteri, A., & Mauricio, D. (2025). Artificial intelligence in software testing: A systematic review of a decade of evolution and taxonomy. Algorithms, 18(11), 717. https://doi.org/10.3390/a18110717

[2] Ajorloo, S., Jamarani, A., Kashfi, M., Haghi Kashani, M., & Najafizadeh, A. (2024). A systematic review of machine learning methods in software testing. Applied Soft Computing, 162, 111805. https://doi.org/10.1016/j.asoc.2024.111805

[3] Wang, Y., Mäntylä, M. V., Liu, Z., & Markkula, J. (2022). Test automation maturity improves product quality: Quantitative study of open source projects using continuous integration. Journal of Systems and Software, 188, 111259. https://doi.org/10.1016/j.jss.2022.111259

[4] Wang, Y., Mäntylä, M. V., Liu, Z., Markkula, J., & Raulamo-Jurvanen, P. (2022). Improving test automation maturity: A multivocal literature review. Software Testing, Verification and Reliability, 32(3), e1804. https://doi.org/10.1002/stvr.1804

[5] Ricca, F., Marchetto, A., & Stocco, A. (2025). A multi-year grey literature review on AI-assisted test automation. Information and Software Technology, 186, 107799. https://doi.org/10.1016/j.infsof.2025.107799

[6] Ouaarous, R., Hilal, I., & Mezrioui, A. (2026). Software quality assurance in the era of agentic AI: A systematic mapping study. Frontiers in Computer Science, 8, 1936730. https://doi.org/10.3389/fcomp.2026.1936730