Aplikasi AI Bisa Salah dengan Sangat Meyakinkan. Lalu, Siapa yang Menguji?

Tantangan baru Quality Assurance di era aplikasi cerdas

Pendahuluan
Chatbot, asisten virtual, dan fitur rekomendasi kini hadir di hampir semua aplikasi. Di sisi lain, semakin banyak kode yang ditulis dengan bantuan AI. Perkembangan ini memunculkan pertanyaan penting bagi dunia perangkat lunak: bagaimana memastikan kualitas sesuatu yang jawabannya bisa berbeda setiap kali dijalankan?

Untuk menjawabnya, kita perlu kembali ke dasar: apa sebenarnya Quality Assurance?

Sekilas tentang Quality Assurance
Quality Assurance (QA) adalah serangkaian aktivitas sistematis untuk memastikan proses pengembangan perangkat lunak berjalan sesuai standar, sehingga produk akhir memenuhi kebutuhan pengguna. Fokus utamanya adalah pencegahan, yaitu memperbaiki proses agar kesalahan tidak muncul sejak awal.

QA sering tertukar dengan dua istilah lain:

Quality Control (QC): berfokus pada produk dan bersifat mendeteksi cacat, misalnya memeriksa hasil akhir.
Testing: bagian dari QC, yaitu menjalankan perangkat lunak untuk menemukan bug.
Singkatnya, QA memastikan kita membangun dengan cara yang benar, sedangkan QC dan testing memastikan kita membangun hasil yang benar. Prinsip inilah yang sekarang diuji oleh hadirnya aplikasi berbasis AI.

Mengapa Menguji AI Berbeda?
Perangkat lunak konvensional bersifat deterministik: input yang sama menghasilkan output yang sama, sehingga mudah menentukan mana hasil yang benar. Aplikasi berbasis AI, terutama yang memakai large language model (LLM), bersifat probabilistik. Pertanyaan yang sama bisa dijawab dengan kalimat berbeda, dan "jawaban benar" sering kali tidak tunggal.

Akibatnya, pendekatan pengujian klasik yang hanya membandingkan hasil aktual dengan hasil yang diharapkan tidak lagi cukup.

Aspek Kualitas yang Perlu Diuji pada Aplikasi AI
1. Akurasi dan halusinasi. Model AI dapat memberikan jawaban yang terdengar meyakinkan padahal keliru, fenomena yang dikenal sebagai halusinasi. Pengujian perlu mengukur seberapa sering hal ini terjadi, terutama pada topik berdampak besar seperti kesehatan atau keuangan.

2. Bias dan keadilan (fairness). Model belajar dari data, dan data bisa membawa prasangka. QA perlu memeriksa apakah sistem memperlakukan kelompok pengguna secara adil.

3. Keamanan. Aplikasi berbasis LLM rentan terhadap serangan seperti prompt injection, yaitu upaya memanipulasi instruksi agar sistem melakukan hal di luar yang diizinkan. Pengujian keamanan khusus, sering disebut red teaming, menjadi semakin penting.

4. Konsistensi dan ketahanan (robustness). Bagaimana sistem merespons input yang aneh, ambigu, atau berbeda bahasa? Apakah kualitasnya tetap stabil?

5. Privasi data. Pengujian perlu memastikan model tidak membocorkan informasi sensitif yang pernah diproses.

Pendekatan Pengujian yang Berkembang
Untuk menghadapi tantangan ini, praktik QA ikut beradaptasi:

Evaluation set: menyusun kumpulan pertanyaan uji beserta kriteria penilaian, lalu mengukurnya secara berkala setiap ada perubahan model atau prompt.
Penilaian berbasis rubrik, bukan pencocokan persis, misalnya menilai apakah jawaban relevan, sopan, dan faktual.
Human-in-the-loop: melibatkan penilai manusia untuk kasus yang sulit diukur secara otomatis.
Monitoring pascarilis: kualitas AI perlu dipantau terus-menerus karena perilakunya bisa bergeser seiring waktu dan perubahan data.
Tantangan Lain: Kode Buatan AI
Semakin banyak pengembang memakai AI untuk menulis kode. Kode tersebut bisa terlihat benar tetapi menyimpan celah keamanan atau kesalahan logika. Karena itu, praktik QA seperti code review, unit testing, dan analisis keamanan justru menjadi semakin penting, bukan semakin tidak diperlukan. Kode yang cepat dibuat tetap harus dipastikan kualitasnya.

Kesimpulan
AI membawa peluang besar sekaligus tantangan baru bagi Quality Assurance. Prinsip dasarnya tetap sama, yaitu memastikan produk aman, andal, dan bermanfaat bagi pengguna, tetapi cara mencapainya perlu beradaptasi dengan sifat AI yang tidak selalu pasti. Tester masa depan dituntut memahami bukan hanya bagaimana perangkat lunak bekerja, tetapi juga bagaimana AI bisa gagal.

Refrensi:

ISO. (2015). ISO 9001:2015 — Quality management systems: Requirements. International Organization for Standardization.
ISO/IEC. (2011). ISO/IEC 25010:2011 — Systems and software engineering: Systems and software Quality Requirements and Evaluation (SQuaRE): System and software quality models. International Organization for Standardization.
ISO/IEC. (2023). ISO/IEC 25059:2023 — Software engineering: Systems and software Quality Requirements and Evaluation (SQuaRE): Quality model for AI systems. International Organization for Standardization. 
iso
ISO/IEC/IEEE. (2022). ISO/IEC/IEEE 29119 — Software and systems engineering: Software testing. International Organization for Standardization.
ISO/IEC. (2023). ISO/IEC 42001:2023 — Information technology: Artificial intelligence: Management system. International Organization for Standardization.
ISO/IEC. (2023). ISO/IEC 23894:2023 — Information technology: Artificial intelligence: Guidance on risk management. International Organization for Standardization.
ISO/IEC. (2021). ISO/IEC TR 24027:2021 — Information technology: Artificial intelligence (AI): Bias in AI systems and AI aided decision making. International Organization for Standardization.