Menjalankan Simulasi

Sebuah run memainkan skenario Anda pada agent dan merekam jawaban aslinya. Dalam panduan ini Anda mempelajari semua cara memulai run, cara memilih antara versi Published dan Draft agent Anda, arti peringatan tool yang diblokir, dan cara mengikuti, menghentikan, serta mengulang run. Waktu yang dibutuhkan sekitar sepuluh menit.

Agent contohnya adalah Libraría, yang sudah punya folder dan skenario. Agent Anda akan punya nama lain. Langkah-langkahnya sama. Jika Anda belum menulis skenario, mulailah dari Simulasi Pertama Anda.

AI terlibat selama run berjalan: agent menulis jawabannya dan AI menilai setiap kriteria. Semuanya bisa berbeda setiap kali, jadi skenario yang sama bisa terbaca sedikit berbeda dari satu run ke run berikutnya. Anggap satu run sebagai contoh, bukan jaminan.

Istilah penting

Sebelum memulai

• Anda memiliki peran Owner atau Contributor pada agent.
• Anda punya setidaknya satu skenario. Lihat Simulasi Pertama Anda.
• Anda tahu perbedaan antara agent draft dan agent yang dipublish. Jika belum, baca Preview dan Publish Perubahan terlebih dahulu. Hanya beberapa menit.

Langkah 1: Pilih cara memulai run

Semua cara memulai run membuka konfirmasi yang sama. Bedanya ada pada apa yang dijalankan.

Run folder dan Run Selected memasukkan semua skenarionya dalam satu run, dengan satu hasil. Lihat Mengatur Skenario dalam Folder untuk Include Subfolders dan cara memilih skenario.

Dua hal yang perlu diketahui tentang form:

• Run memakai skenario yang sudah disimpan. Jika Anda mengubah form dan belum menyimpan, simpan dulu. Jika Anda mengubah tool mana yang boleh berjalan live dan belum menyimpan, Qlar meminta Anda menyimpan sebelum menjalankan.
• Tombol Run hanya ada pada skenario yang sudah tersimpan. Pada skenario baru, simpan dulu.

Run yang sudah selesai juga punya tombol Run Again. Lihat langkah 6.

Langkah 2: Pilih Run against

Setiap konfirmasi menanyakan versi mana yang menjawab. Pertanyaan diajukan lebih dulu, misalnya Are you sure you want to run the scenario "Opening hours"?, lalu Run against menampilkan dua pilihan.

Tiga keterangan di bawah Draft memberi tahu apakah layak dipilih:

• Unpublished changes. Anda punya perubahan tersimpan yang belum terlihat oleh pengguna. Run pada Draft menunjukkan bagaimana agent akan menjawab setelah Anda mem-publish.
• Same as published right now. Draft tidak punya perubahan tersendiri. Run pada Draft dan run pada Published akan menjawab dengan cara yang sama.
• No separate draft yet. Agent tidak punya draft terpisah, sehingga Draft berwarna abu-abu dan tidak bisa dipilih.

Dialog mengingat pilihan terakhir Anda untuk setiap agent, jadi run berikutnya dimulai dengan pilihan itu.

Saat Anda memilih Draft, sebuah catatan muncul di bawah pilihan: "Uses the draft's settings: prompt, model, tools, plugins, skills. Knowledge, documents and plugin data are shared with the live agent." Jadi run pada Draft menguji pengaturan Anda yang berubah, tetapi membaca basis knowledge, dokumen, dan data plugin yang sama dengan agent yang tayang. Itu sebabnya menambah dokumen tidak perlu dipublish sebelum diuji.

Jika skenario mengizinkan tool eskalasi berjalan live dan Anda memilih Draft, catatan kedua berbunyi "Escalations from this run go to the draft escalation inbox."

Langkah 3: Baca peringatan tool yang diblokir

Saat Anda menjalankan satu skenario dari kartu, baris, atau formnya, Qlar juga memeriksa tool yang akan dipanggil agent Anda. Jika run akan mengenai tool yang diblokir, konfirmasi mencantumkannya di bawah sebuah garis pemisah:

"This run will hit 47 blocked tools. A blocked tool returns a policy error instead of running, so any step that needs it will fail."

Setiap tool yang diblokir dicantumkan dengan namanya. Daftar yang panjang bisa digulir di dalam dialog. Daftar mengikuti versi yang Anda pilih di Run against. Beralih antara Published dan Draft bisa mengubah daftar, karena kedua versi bisa punya tool yang berbeda.

Di bawah kalimat itu, sebuah petunjuk menyebut apa yang bisa Anda lakukan:

• Dari form Edit Scenario, saat Tool Mocks diaktifkan untuk CMS Anda, tautan Mock it ada di samping setiap tool. Tautan itu membuka editor mock set untuk tool tersebut, sehingga tool mendapat jawaban yang ditulis sebelumnya. Petunjuknya berbunyi "Click "Mock it" to give a tool a simulated response, or choose "Run anyway" to continue without them."
• Dari kartu atau baris, petunjuknya berbunyi "To test those steps, cancel and open the scenario, then mock the tools (or allow them live) under "Tool Mocks". Otherwise choose "Run anyway" to continue without them."

Tombol konfirmasi berubah dari Yes menjadi Run anyway. Memilihnya memulai run dengan tool-tool itu diblokir, sehingga setiap step yang membutuhkannya gagal. Itu tidak masalah jika Anda hanya ingin menguji bagian percakapan lainnya. Jika Anda ingin step-step itu lulus, batalkan dan beri tool itu mock terlebih dahulu. Tool dalam Simulasi menjelaskan cara Qlar memutuskan apa yang terjadi pada setiap tool, dan Tool Mocks menunjukkan cara menyusun satu mock.

Qlar tidak mencantumkan tool yang diblokir untuk Run All atau Run Selected, karena melibatkan beberapa skenario. Gunakan ringkasan Agent Tools di setiap skenario untuk memeriksanya. Dua catatan lain bisa muncul di dialog: bahwa daftar tool versi draft atau published tidak bisa dimuat sepenuhnya, atau bahwa tool policy agent tidak bisa dimuat. Pada kedua kasus, daftar bisa jadi belum lengkap.

Langkah 4: Mulai run dan ikuti

1. Periksa Run against lalu klik Yes (atau Run anyway).
2. Qlar menampilkan pesan seperti Running scenario "Opening hours" against the published version.... Run pada Draft berbunyi "against the draft".
3. Saat pesan keberhasilan muncul, misalnya Scenario "Opening hours" execution started successfully against the published version, klik Close. Run untuk sebuah folder berbunyi "Core checks" execution started successfully against the published version. Run untuk skenario yang dicentang berbunyi 3 scenarios execution started successfully against the published version.

Qlar membuka halaman Simulation Result untuk run tersebut. Chip statusnya dimulai sebagai Running dan berubah menjadi Completed saat selesai. Di sebelahnya, chip versi menampilkan Published atau Draft, jadi Anda selalu tahu versi mana yang menjawab. Halaman memperbarui dirinya sendiri.

• Run dengan jawaban yang lambat bisa memakan beberapa menit. Setelah 10 menit halaman berhenti memperbarui diri dan menulis "Live updates paused after 10 minutes — use refresh to check the latest status." Klik ikon refresh untuk melihat status terbaru.
• Jika agent dipublish, atau draft berubah, selagi run berjalan, halaman memperingatkan bahwa skenario yang berjalan belakangan mungkin memakai pengaturan yang lebih baru. Jalankan lagi jika Anda butuh hasil yang bersih.

Cara membaca jawaban, kriteria, dan pemanggilan tool ada di Membaca Hasil.

Langkah 5: Hentikan run

Run yang masih berjalan bisa dihentikan, misalnya saat Anda memulainya pada versi yang salah.

1. Di halaman Simulation Result, klik Stop. Ini tombol merah di kanan atas, dan hanya ada selama status Running.

2. Qlar bertanya "Are you sure you want to stop this execution?" Klik Yes.

3. Saat "Run stopped successfully" muncul, klik Close.

Statusnya berubah menjadi Stopped. Untuk memulainya dari awal, klik Run Again.

Langkah 6: Run Again

Setelah sebuah run tidak lagi Running, tombol Run Again muncul di kanan atas halaman hasilnya. Klik untuk menjalankan skenario yang sama sekali lagi. Di sebelahnya ada tombol Delete, dengan ikon tempat sampah, yang menghapus hasil ini setelah konfirmasi.

• Tombol ini tidak meminta konfirmasi dan tidak menanyakan versi. Run ulang memakai versi yang sama dengan run aslinya.
• Saat "Test execution started successfully" muncul, klik Close. Qlar membuka hasil yang baru.
• Hasil lama tetap di tempatnya, sehingga Anda bisa membandingkan keduanya.

Run pada Draft memakai draft sebagaimana adanya saat Anda mengeklik Run Again. Jika Anda mengubah agent di antaranya, run baru menjawab dengan pengaturan yang baru. Itu menjadikan Run Again cara tercepat untuk memeriksa perubahan yang baru saja Anda buat. Memperbaiki dan Menguji Ulang melanjutkannya.

Langkah 7: Coba run pada Draft

Panduan singkat ini menunjukkan untuk apa Draft. Anda membuat perubahan kecil, menjalankan pada Draft, dan melihat chip versi.

1. Buka halaman Profile agent Anda, berjudul Agent Profile, ubah sedikit teks Disclaimer, lalu klik Save, kemudian Yes. Setiap perubahan yang Anda simpan pada agent menciptakan perubahan yang belum dipublish. Perubahan pada disclaimer tidak mengubah cara agent menjawab, jadi ini cara aman untuk berlatih. Perubahan sungguhan pada instruksi agent akan terlihat pada jawabannya.
2. Buka Simulation → Scenarios dan klik Run pada sebuah skenario.
3. Di bawah Run against, lihat keterangan Draft. Kini bunyinya Unpublished changes. Pilih Draft.

4. Klik Yes (atau Run anyway), lalu Close pada pesan keberhasilan.
5. Di halaman hasil, chip versi di sebelah status bertuliskan Draft.

Video menunjukkan langkah 2 sampai 5, dimulai setelah perubahan Disclaimer.

Selama perubahan itu tertunda, Publish tampil di bilah atas di samping Preview.

Jangan publish kecuali Anda ingin pengguna melihat perubahannya. Jika Anda hanya berlatih, kembalikan Disclaimer lalu simpan lagi. Penyimpanan menandai agent memiliki perubahan yang belum dipublish meskipun tidak ada yang berbeda, dan hanya Publish yang menghapus tanda itu. Lihat Preview dan Publish Perubahan.

Di mana versi ditampilkan

Versi setiap run tetap terlihat, sehingga Anda bisa membedakan pemeriksaan agent yang tayang dari pemeriksaan sebuah perubahan:

• Di tab Results, setiap run menampilkan chip Published atau Draft. Di List View, Version menjadi kolom.
• Filter Version di tab itu hanya menampilkan run All, Draft, atau Published.
• Di halaman Simulation Result, chip berada di sebelah chip status.

Periksa hasilnya

Anda berhasil jika melihat semua hal berikut:

• Sebuah konfirmasi dengan Run against, dan pesan keberhasilan yang menyebut versinya, misalnya "against the published version".
• Halaman hasil dengan status yang berubah dari Running menjadi Completed, dan chip Published atau Draft di sebelahnya. Run juga bisa berakhir Failed, saat ada yang salah selama run, atau Stopped, saat seseorang mengeklik Stop. Keduanya tetap dihitung sebagai run: buka hasilnya untuk melihat sebabnya, atau klik Run Again.
• Setelah Run Again, hasil kedua dengan kodenya sendiri.

Jika Anda melihat hal lain:

• Draft berwarna abu-abu. Keterangannya "No separate draft yet." Agent belum punya salinan draft terpisah. Simpan dulu sebuah perubahan pada agent, atau jalankan pada Published untuk sementara.
• Run pada Draft dan run pada Published menjawab sama. Keterangannya "Same as published right now", jadi tidak ada perbedaan. Simpan dulu sebuah perubahan pada agent.
• Tombolnya bertuliskan Run anyway. Run akan mengenai tool yang diblokir. Baca daftarnya, lalu beri mock pada tool atau lanjutkan.
• Run tidak muncul di form. Skenario belum disimpan. Simpan dulu.
• Run macet di Running. Klik ikon refresh di halaman hasil. Jika masih belum bergerak setelah beberapa menit, klik Stop lalu Run Again.
• Kegagalan ada pada satu step. Buka skenario di dalam hasil. Di sana tertulis "Failed at step #n" beserta alasannya. Lihat Membaca Hasil.
• Hasilnya berbeda dari sebelumnya. Jawaban agent dan penilaian AI berubah dari run ke run, sehingga kriteria mana yang cocok atau tidak cocok, dan apakah sebuah step lulus atau gagal, bisa berbeda. Klik Run Again lalu bandingkan.

Langkah berikutnya

• Berikutnya dalam bagian ini: Membaca Hasil, lalu Memperbaiki dan Menguji Ulang.
• Jika agent Anda memanggil tool: Tool dalam Simulasi.
• Versi cerita: Menguji Perubahan Sebelum Publish menjalankan pemeriksaan yang sama untuk Atlas, agent Kirana Group.
• Referensi per field: Scenarios dan Results.