QA Engineer Generative AI Focus

Tentang Posisi

Code.id mencari QA Engineer yang fokus pada pengujian aplikasi Generative AI, termasuk chatbot dan Large Language Models (LLM). Posisi ini berbasis di South Jakarta dan bersifat kontrak.

Tanggung Jawab Utama

• Menyusun dan mengeksekusi test case manual serta otomatis untuk aplikasi AI, chatbot, dan LLM.
• Menilai kualitas respons AI berdasarkan akurasi, relevansi, koherensi, konsistensi, serta mendeteksi potensi hallucination.
• Memvalidasi sistem Retrieval‑Augmented Generation (RAG) untuk memastikan jawaban bersumber dokumen referensi (groundedness/faithfulness).
• Mengembangkan dan memelihara automation test menggunakan Selenium, Playwright, Cypress, atau framework Python untuk API dan end‑to‑end testing.
• Melakukan pengujian API dengan Postman, JMeter, termasuk fungsional, performa, throughput, dan latency.
• Melakukan pengujian keamanan dasar seperti prompt injection, jailbreak, dan red‑team sederhana untuk menguji guardrails AI.

Profil yang Dibutuhkan

• Pengalaman 2‑3 tahun sebagai QA Engineer (manual & automation).
• Pengalaman menguji aplikasi berbasis data atau chatbot menjadi nilai plus.
• Memahami metodologi pengujian AI, termasuk evaluasi LLM dan deteksi hallucination.
• Pengetahuan tentang testing RAG dan validasi groundedness.

Keterampilan yang Dibutuhkan

• Selenium, Playwright, Cypress.
• Python untuk scripting otomatis.
• Postman, JMeter untuk API testing.
• SQL/NoSQL untuk validasi data.
• Prompt injection, red‑team dasar.
• Pengujian keamanan AI dan guardrails.

Yang Kami Tawarkan

• Kesempatan bekerja pada proyek AI terdepan.
• Lingkungan kerja kolaboratif di bidang teknologi generatif.