Menulis Skenario yang Baik

Simulasi hanya sebaik skenario di dalamnya. Skenario yang samar lulus padahal seharusnya gagal, atau gagal tanpa alasan yang jelas, lalu Anda berhenti memercayai hasilnya. Dalam panduan ini Anda mempelajari cara merancang satu skenario di sekitar satu percakapan, cara menulis kriteria yang bisa membedakan jawaban baik dari jawaban lemah, cara memakai saran AI tanpa memercayainya begitu saja, dan kapan perlu menetapkan tanggal dan waktu. Waktu yang dibutuhkan sekitar lima belas menit.

Contohnya memakai Linguéa, asisten bahasa dan tata bahasa multibahasa, karena pertanyaan dan jawabannya mudah dinilai tanpa pengetahuan khusus. Linguéa sendiri hanya menjawab dari buku referensinya, jadi agent Anda mungkin tidak menjawab pertanyaan persis seperti ini. Gantilah dengan pertanyaan yang cocok untuk agent Anda sendiri. Gagasannya sama. Jika Anda belum pernah menyusun skenario, kerjakan dulu Simulasi Pertama Anda.

AI terlibat di beberapa tempat: Qlar menyarankan kriteria, agent menulis jawabannya, dan AI menilai apakah setiap jawaban cocok. Semuanya bisa berbeda setiap kali, jadi skenario yang baik adalah skenario yang kriterianya cukup jelas sehingga penilaiannya tetap stabil, meskipun susunan kata jawabannya berubah. Itu juga sebabnya satu hasil perlu dianggap sebagai contoh, bukan jaminan.

Istilah penting

Sebelum memulai

• Anda memiliki peran Owner atau Contributor pada agent.
• Anda bisa membuka Simulation → Scenarios dan punya folder untuk menyimpan skenario. Lihat Mengatur Skenario dalam Folder.
• Anda punya gambaran satu hal yang ingin Anda periksa dari agent. Skenario yang baik berawal dari pertanyaan nyata yang diajukan pengguna, bukan dari halaman kosong.

Langkah 1: Tentukan apa yang diuji satu skenario

Satu skenario adalah satu percakapan dengan satu tujuan. "Agent menjelaskan cara mengucapkan terima kasih" adalah tujuan. "Agent menangani semua hal tentang sapaan, ucapan terima kasih, dan perpisahan" bukan: saat gagal, Anda tidak bisa tahu bagian mana yang rusak.

Beberapa patokan:

• Satu tujuan per skenario. Beri nama sesuai tujuannya, misalnya "Saying thank you in Spanish". Nama itulah yang Anda lihat di daftar dan hasil.
• Pisahkan jalur normal dari kasus tepi. Satu skenario untuk pertanyaan yang biasa, skenario lain untuk yang janggal (salah ketik, permintaan dalam bahasa lain, pertanyaan di luar topik agent).
• Mulai dari percakapan nyata. Pertanyaan dari pengguna, FAQ dukungan, dan jawaban yang pernah salah adalah bahan skenario terbaik.
• Buat singkat. Kebanyakan skenario cukup satu sampai empat step. Skenario yang panjang lambat dijalankan dan sulit dibaca saat gagal.

Kapan memakai lebih dari satu step

Semua step dalam satu skenario berada dalam percakapan yang sama, seperti chat sungguhan. Agent mengingat apa yang sudah dikatakannya di step sebelumnya. Pakai beberapa step jika inti pengujiannya ada pada pertanyaan lanjutan:

Step 2 baru masuk akal setelah step 1, dan jawaban kedua harus mempertahankan konteks jawaban pertama. Jika setiap step bisa berdiri sendiri, jadikan skenario terpisah.

Di form, kedua step itu terlihat seperti ini saat diciutkan. Setiap step menampilkan User Message-nya dan jumlah kriterianya.

Setiap User Message adalah teks tetap yang dikirim apa adanya, apa pun jawaban agent sebelumnya. Jadi tulis pertanyaan lanjutan yang tetap masuk akal saat agent menyusun jawaban sebelumnya dengan kata-kata berbeda. "And what do I say when someone thanks me?" cocok. "Use the second example you just gave" tidak cocok, karena agent mungkin memberi contoh yang lain.

Langkah 2: Tulis step-nya

1. Klik New Scenario di folder yang Anda inginkan. Form Create New Scenario terbuka dengan satu step kosong.
2. Tulis User Message seperti yang akan ditulis pengguna sungguhan, dengan nada, ejaan, dan panjang yang sama. Jangan dirapikan. Pertanyaan nyata menguji agent lebih baik daripada pertanyaan yang sempurna.
3. Tulis Expected Response dengan kata-kata Anda sendiri. Teks ini tidak dicocokkan kata demi kata. Ia menggambarkan isi jawaban yang baik. Qlar memakainya untuk menyarankan kriteria.
4. Klik Add Message untuk menambah step berikutnya. Untuk mengubah urutan, seret step lewat pegangannya ("Drag to reorder steps"). Untuk menghapus, pakai ikon tempat sampah di sisi kanannya. Skenario selalu menyisakan setidaknya satu step.

Saat skenario bertambah panjang, Collapse All dan Expand All menutup atau membuka semua kartu step sekaligus. Step yang diciutkan tetap menampilkan User Message-nya dan chip seperti 2 criteria atau 1 criterion.

Langkah 3: Tulis kriteria yang bisa diperiksa

Kriteria menentukan apakah sebuah step lulus. Run memeriksa setiap kriteria secara terpisah terhadap jawaban asli agent. Sebuah kriteria cocok atau tidak cocok, dan Anda melihat bagian jawaban yang membuktikannya, atau alasan mengapa ia tidak cocok.

Jadi kriteria yang baik adalah kriteria yang bisa diperiksa orang asing hanya dengan membaca jawabannya. Kata samar seperti "bagus", "jelas", atau "sopan" membuat penilai menebak, dan tebakan bisa berubah dari satu run ke run lain.

Pakai pola berikut saat menulis kriteria sendiri:

• Sebut faktanya. Cantumkan fakta, angka, nama, atau langkah persis yang harus ada dalam jawaban.
• Satu gagasan per kriteria. Jika sebuah kriteria memuat "dan", pecah menjadi dua. Dengan begitu kegagalan menunjuk ke satu hal.
• Gambarkan yang bisa dilihat dalam teks. "Menyebut masa pengembalian dana 14 hari" bisa diperiksa. "Memahami pengguna" tidak.
• Sebutkan yang tidak boleh terjadi. Kriteria juga bisa melarang sesuatu: "The answer does not ask the user for a password".
• Jangan menuntut susunan kata persis. Mintalah maknanya ("says that the user must attach the receipt"), bukan kalimatnya.

Latihan: tulis ulang ini

Berikut tiga kriteria lemah untuk step ketika pelajar bertanya cara mengucapkan "good morning":

1. The answer is good.
2. The agent teaches well.
3. The agent gives the right amount of detail.

Coba tulis ulang masing-masing sebelum membaca lebih lanjut. Satu jawaban yang mungkin:

1. The answer says "buenos días" for "good morning".
2. The answer gives the Spanish phrase and one short example sentence that uses it.
3. The answer has no more than three sentences.

Tulisan ulang Anda bisa berbeda dan tetap bagus. Ujiannya: apakah seseorang bisa memeriksanya hanya dengan membaca jawaban?

Langkah 4: Biarkan Qlar menyarankan kriteria, lalu periksa

Anda tidak harus menulis setiap kriteria dari nol.

1. Isi User Message dan Expected Response sebuah step.
2. Klik Suggest Criteria pada step itu. Qlar menulis kriteria dari Expected Response Anda, dan kotak Evaluation Criteria menampilkannya.
3. Tombolnya kini bertuliskan Rewrite Criteria. (Bertuliskan Rewrite Criterion jika step hanya punya satu.) Klik untuk meminta satu set baru.

4. Setelah setiap step punya kriteria, klik Save. Sebelum itu, tombol di bagian bawah form bertuliskan Suggest All Criteria (x/n Steps ready) dan mengisi setiap step yang belum punya kriteria. Pada skenario baru, Save membuka dialog Scenario Information, tempat Anda memeriksa nama dan folder, mengeklik Continue, lalu mengonfirmasi. Simulasi Pertama Anda menjelaskannya langkah demi langkah.

Suggest Criteria berwarna abu-abu sampai step punya Expected Response.

Dua hal yang perlu diketahui sebelum mengeklik Rewrite

• Rewrite mengganti seluruh daftar. Kriteria buatan Anda dan hasil edit Anda pada step itu diganti oleh saran baru. Jika Anda hanya ingin memperbaiki satu kriteria, edit teksnya. Di ujung kolom sebuah kriteria ada ikon refresh ungu yang meminta AI menulis ulang hanya kriteria itu. Add Criterion menambah kriteria kosong untuk Anda ketik, dan tombol tempat sampah merah di samping kolom menghapusnya.

• Rewrite bekerja dari Expected Response. Jika sarannya meleset, perbaiki dulu Expected Response.

Mengapa setiap saran perlu Anda periksa

Saran ditulis oleh AI. Ia draf pertama yang baik dan jawaban akhir yang kurang. Baca setiap saran dan periksa:

• Apakah benar? AI bisa menyebut fakta yang tidak Anda maksudkan sebagai persyaratan, atau fakta yang keliru untuk bisnis Anda.
• Apakah bisa diperiksa? Tulis ulang yang samar dengan pola di langkah 3.
• Apakah terlalu ketat? Kriteria yang menuntut susunan kata persis menggagalkan jawaban yang bagus.
• Apakah ada yang kurang? AI jarang memikirkan hal yang tidak boleh terjadi. Tambahkan kriteria itu sendiri.
• Apakah terlalu banyak? Lima kriteria yang mengatakan hal sama membuat satu jawaban lemah tampak seperti lima kegagalan. Pertahankan yang penting.

Kriteria yang berganti antara cocok dan tidak cocok saat Anda menjalankan skenario yang sama dua kali hampir selalu terlalu samar. Tulis ulang lalu jalankan lagi.

Langkah 5: Tetapkan tanggal dan waktu saat itu penting

Secara bawaan, agent berperilaku seolah-olah sekarang adalah tanggal dan waktu yang sebenarnya. Untuk kebanyakan skenario itu sudah tepat. Ini menjadi masalah saat jawabannya bergantung pada tanggal.

Bayangkan skenario ketika pelajar bertanya "What day is today? Say it in Spanish." Jawaban yang benar berubah setiap hari, sehingga kriteria seperti "The answer says 'lunes'" lulus pada hari Senin dan gagal pada hari lainnya. Kasus lain ketika tanggal penting:

• Pengguna mengatakan "tomorrow", "next Friday", atau "this month".
• Agent memanggil tool dengan tanggal, misalnya pemesanan untuk "tomorrow".
• Sebuah kriteria menyebut hari, bulan, atau tenggat.

Untuk skenario seperti itu, tetapkan jamnya:

1. Buka skenario, atau mulai yang baru.
2. Temukan Date and Time di panel pengaturan di sebelah kiri form. Pada layar yang lebih sempit, ia berupa baris di bawah informasi skenario, dan terbuka di tempat saat diklik.

3. Aktifkan Fixed date & time. Di bawah sakelar, baris "Uses real time" berubah menjadi tanggal yang dipilih, misalnya "5 Oct 2026, 09:00 WIB". Sakelar dimulai dengan tanggal dan waktu saat ini pada zona waktu browser Anda.
4. Ubah Date & time ke saat yang Anda ingin agent yakini.
5. Pilih Time zone untuk saat itu. Kolom Date & time memakai format tanggal browser Anda, jadi tampilannya bisa berbeda dari gambar.

6. Klik Save. Pada skenario yang sudah ada, konfirmasi dengan Yes. Pada skenario baru, Save membuka dialog Scenario Information untuk nama dan folder, seperti dijelaskan di Simulasi Pertama Anda.

Panel menambahkan pengingat ini: "Keeps “tomorrow” and other date-based tool arguments stable on every run." Pada setiap run, agent diberi tahu bahwa sekarang adalah tanggal dan waktu itu, sehingga today dan tomorrow selalu berarti hari yang sama. Kriteria Anda lalu bisa bersandar padanya. Jika Anda menetapkan hari Senin, kriteria seperti The answer says lunes aman dipakai.

Biarkan sakelar nonaktif saat skenario tidak bergantung pada tanggal. Agent lalu berperilaku persis seperti yang dialami pengguna Anda hari ini, dan itulah yang Anda inginkan pada sebagian besar kasus.

Date and Time hanya tampil jika fitur mock diaktifkan untuk CMS Anda, sama seperti Tool Mocks dan Tool Policy. Lihat Tool dalam Simulasi untuk penjelasan lebih lanjut tentang cara tool berperilaku dalam sebuah run.

Periksa hasilnya

Anda berhasil jika melihat semua hal berikut:

• Sebuah skenario dengan satu tujuan, yang namanya memberi tahu apa yang diperiksanya.
• Setiap step punya User Message, Expected Response, dan setidaknya satu kriteria, yang masing-masing bisa diperiksa seseorang hanya dengan membaca jawaban.
• Jika tanggal penting dalam skenario, Fixed date & time aktif dan panel Date and Time menampilkan tanggal yang Anda pilih.

Jika Anda melihat hal lain:

• Suggest Criteria berwarna abu-abu. Step belum punya Expected Response. Tulis dulu.
• Kriterianya terlalu banyak atau terlalu samar. Hapus yang berlebih dengan ikon tempat sampah dan tulis ulang yang samar dengan pola di langkah 3.
• Hasil edit saya hilang. Anda mengeklik Rewrite Criteria, yang mengganti seluruh daftar pada step itu. Ketik lagi kriteria Anda dengan Add Criterion. Pakai Rewrite Criteria sebelum Anda mengedit manual, bukan sesudahnya.
• Skenario yang sama lulus dan gagal pada run yang berbeda. Sebuah kriteria terlalu samar, atau bergantung pada tanggal hari ini. Tulis ulang, atau aktifkan Fixed date & time.
• Tidak ada panel Date and Time. Fitur mock tidak diaktifkan untuk CMS Anda, sehingga panelnya disembunyikan.
• Hasilnya tidak seperti yang Anda duga. Jawaban agent dan penilaian AI berubah dari run ke run, sehingga kriteria mana yang cocok atau tidak cocok, dan apakah sebuah step lulus atau gagal, bisa berbeda. Klik Run Again lalu bandingkan. Kriteria yang terus berganti hasil terlalu samar.

Langkah berikutnya

• Berikutnya dalam bagian ini: Menjalankan Simulasi, untuk memilih Published atau Draft dan memulai run, lalu Membaca Hasil.
• Agar skenario tetap rapi: Mengatur Skenario dalam Folder.
• Jika agent Anda memanggil tool: Tool dalam Simulasi.
• Referensi per field: Scenarios.