Tab Results di halaman Conversation Simulation mendaftar setiap run simulasi dan menunjukkan jawaban agent mana yang cocok dengan respons yang diharapkan. Terdapat di sidebar agent pada Simulation → Scenarios, lalu tab Results. Membuka sebuah run menampilkan halaman Simulation Result-nya.
Jawaban agent dan hasil pencocokan dihasilkan oleh AI, sehingga bisa berbeda di antara dua run skenario yang sama. Baca satu hasil sebagai satu sampel, bukan jaminan.
Tab Results: Kontrol
| |
|---|
| Show Filters / Hide Filters | Membuka atau menutup panel filter. |
| Sort By | Mengurutkan daftar berdasarkan Run Date (default, terbaru lebih dulu), Code, Status, atau Duration, Ascending atau Descending. |
| Grid View / List View | Menampilkan run sebagai card atau tabel (kolom Run, Status, Version, Started, Duration, Scenarios, Steps). Pada layar sempit, tabel diringkas menjadi satu baris per run. |
Tab Results: Filter
| |
|---|
| Code | Hanya menampilkan run yang kodenya cocok dengan yang Anda ketik, misalnya "TE-0001". |
| Status | Hanya menampilkan run dengan status yang dipilih: Completed, Failed, Running, atau Stopped. |
| Version | Hanya menampilkan run terhadap satu versi agent: All (default), Draft, atau Published. |
| Run Date From / Run Date To | Hanya menampilkan run yang dimulai dalam rentang tanggal ini. Kedua tanggal inklusif (hari penuh). |
| Apply | Menerapkan nilai filter ke daftar. |
| Reset | Menghapus filter dan menampilkan semua run lagi. |
Tab Results: Daftar Run
| |
|---|
| Card atau baris run | Satu per run. Klik untuk membuka halaman Simulation Result. |
| Code | Pengenal run, ditampilkan sebagai #<code>. |
| Version | Sebuah chip, Draft atau Published: salinan agent yang dipakai run. Run yang tersimpan sebelum ada versi menampilkan Published. |
| Status | Completed, Failed, Running, Stopped, atau Not Yet Run. |
| Tanggal dan durasi run | Kapan run dimulai dan berapa lama berjalan (- selama belum tersedia). |
| Scenarios dan Steps | Berapa banyak skenario dan step yang ada di run. |
| Load More | Muncul saat masih ada run lain. Menambahkan kelompok berikutnya ke daftar. |
| Empty state | No simulation results yet ("Run your scenarios to see results here") saat belum ada yang dijalankan, atau No Results Found ("Try adjusting your filters or date range to see more results") saat filter tidak menemukan apa pun. |
| |
|---|
| Back | Kembali ke tab Results. |
| Title | Simulation Result dengan kode run dan waktu mulai. Spinner kecil tampil saat halaman sedang dimuat ulang. |
| Error | Tampil merah saat run gagal, beserta alasannya dan, jika relevan, "Running it again may help." |
| Note | Tampil saat versi berubah ketika run sedang berjalan: "The draft changed during this run. Later scenarios may have used newer settings." (run Draft) atau "The agent was published during this run. Later scenarios may have used the newly published settings." (run Published). |
| Live updates paused | Tampil saat run berstatus Running setelah 10 menit: "Live updates paused after 10 minutes — use refresh to check the latest status." Halaman menyegarkan diri sendiri sampai saat itu. |
| Refresh (ikon) | Tampil saat run berstatus Running. Memuat ulang progres terbaru. |
| Stop | Tampil saat run berstatus Running. Setelah Anda mengonfirmasi ("Are you sure you want to stop this execution?"), menghentikan run. |
| Run Again | Tampil saat run tidak sedang berjalan. Memulai run baru atas skenario yang sama dan membukanya. |
| Delete (ikon tempat sampah) | Tampil saat run tidak sedang berjalan. Menghapus run ini setelah Anda mengonfirmasi ("Are you sure you want to delete this execution? This action cannot be undone."). |
Simulation Result: Kartu Ringkasan
| |
|---|
| Baris status | Di atas kartu: chip status run saat ini, kata Simulated, dan chip Draft atau Published. |
| CRITERIA MATCH | Berapa banyak kriteria evaluasi yang cocok dari total di semua step, misalnya "8 dari 10 cocok", beserta persentase dan sebuah cincin (hijau pada 70% atau lebih, kuning dari 30% sampai 69%, merah di bawah 30%). Jika hanya ada satu kriteria, judulnya CRITERION MATCH. |
| STEPS | Jumlah total step di run. Jika hanya ada satu step, judulnya STEP. |
| TOOL CALLS | Jumlah total pemanggilan tool yang dilakukan agent di run, dengan "n blocked" berwarna merah jika ada yang diblokir, atau "None blocked". Jika hanya ada satu pemanggilan, judulnya TOOL CALL. |
| DURATION | Total waktu run. |
Simulation Result: Scenarios
Judul Scenarios (n) (Scenario (1) jika run hanya memiliki satu) dengan satu baris yang dapat dibentangkan untuk setiap skenario di run.
| |
|---|
| Baris skenario | Menampilkan ikon status, nama skenario, folder, berapa banyak step yang selesai (misalnya "3/4 Steps completed"), dan durasinya. |
| Failed at step #n | Tampil saat skenario gagal, menunjuk step tempat ia berhenti. Alasan error ditampilkan di bawah baris. |
| n blocked calls | Tampil saat ada panggilan tool yang diblokir di skenario ini. |
| Mocks used in this run | Membuka panel Mocks used in this run. Hanya tampil saat fitur mock aktif. |
| Match badge | Tampil untuk skenario yang selesai: kriteria yang cocok dari total untuk skenario ini, misalnya "2/3 Matched". |
| Empty state | No Scenarios Found ("There's no scenario data available for this simulation") saat run tidak punya data skenario. |
Mocks Used in This Run
Panel berisi mock plan yang dipakai run, hanya-baca. Panel ini menggambarkan setelan run saat dimulai, meski mock set sudah Anda ubah sesudahnya.
| |
|---|
| Baris skenario | "Scenario:" dan nama skenario yang memiliki panel ini. |
| Kartu CLOCK | Tanggal dan jam yang dilihat agent, dengan zona waktunya di bawahnya, atau Real time dengan "No simulated clock". |
| Kartu LIVE TOOLS | Key tool yang diizinkan skenario berjalan live, atau None dengan "Every tool call was mocked". |
| Daftar set | Tampil hanya saat run memakai lebih dari satu mock set. Mendaftar set menurut tingkat, skenario dulu lalu tiap step, sehingga Anda bisa memilih set yang dibuka. |
| Header mock set | Nama dan deskripsi set yang ditampilkan, serta chip tempat set itu berlaku, seperti "Scenario · #1" atau "Step 2 · #1": tingkatnya dan urutan set dalam daftar tingkat itu. |
| Isi mock set | Tool, case, dan respons set tersebut, ditampilkan hanya-baca, dengan tata letak yang sama seperti editor Tool Mocks. |
| Pesan | No Mocks Were Used ("This run did not use any mock sets, so there is no mock plan to show."), No Mock Sets Were Attached ("Only the clock and live tools above applied to this run."), dan "Failed to load this run's mock plan." dengan tombol Try Again. |
Simulation Result: Detail Step
Bentangkan skenario untuk melihat setiap step sebagai card yang dapat dibentangkan sendiri.
| |
|---|
| Step #n | Nomor step dengan ikon statusnya dan, setelah selesai, badge kecocokan untuk step itu. |
| Error | Tampil merah saat step gagal, beserta pesan errornya. |
| User message | Pesan yang dikirim ke agent, ditampilkan di bagian atas card. |
| Expected Response | Jawaban yang Anda tulis di skenario. |
| AI Agent Response | Jawaban asli agent. Bagian yang mendukung kriteria disorot hijau, bagian yang bertentangan dengan kriteria disorot merah. Referensi knowledge di dalam jawaban dapat dibentangkan untuk menampilkan teks sumbernya. |
| Evaluation Criteria (x/y Matched) | Tampil untuk step yang selesai; bentangkan atau ciutkan. Lihat Criteria Display. |
| No Evaluation Criteria | Tampil saat step tidak punya kriteria: "This step does not have evaluation criteria defined." |
Tampilan Kriteria
Kotak Evaluation Criteria (x/y Matched) mendaftar setiap kriteria step, satu kotak per kriteria.
| |
|---|
| Kotak hijau | Kriteria cocok. Di bawahnya ada kutipan bagian jawaban agent yang mendukungnya, ditandai gelembung percakapan: 💬 "...excerpt...". |
| Kotak abu-abu | Kriteria tidak cocok, baik karena jawaban bertentangan dengannya maupun tidak menyebutnya. Di bawahnya ada alasannya, ditandai bohlam: 💡 reason. |
Tidak ada label "contradicted" atau "not mentioned" yang terpisah. Bedanya terlihat di AI Agent Response: bagian yang bertentangan disorot merah di sana.
Tampil di dalam setiap card step. Menampilkan No tool calls in this turn. saat agent tidak memanggil tool.
| |
|---|
| Tool calls (n) | Membentangkan daftar panggilan tool yang dibuat agent di step ini, dengan satu chip per hasil, misalnya Mocked 2. Daftar diawali baris "Tool calls are listed in the order the agent made them." |
| Kartu tool call | Kartu bernomor pada sebuah garis vertikal. Menampilkan tool, chip hasil, argumen sebagai tag kecil, dan satu baris yang menjelaskan mengapa panggilan berakhir demikian. Klik kartu untuk membentangkannya. |
| Live — may contain real data | Chip peringatan pada panggilan Live: responsnya nyata, sehingga bisa berisi data nyata. |
| Baris yang dibentangkan | Arguments dan Response panggilan, dalam bentuk kode. Juga "Loading full trace...", "Response was too large to show in full.", "(none)" saat kosong, "No trace detail available for this call." dan "Failed to load full trace detail. Try collapsing and expanding this row again." |
| Checked before the answer | Di dalam panggilan Mocked yang dibuka, saat ada case yang diperiksa lebih dulu dan tidak cocok: satu baris per case, dengan mock set, nomor dan label case, serta alasannya, misalnya “Booking defaults” · Case 2 ‘Registered patient’: date is "2026-08-06", expected "2026-08-05". Case dari semua set terpasang diperiksa lebih dulu, secara berurutan (set milik step, lalu milik skenario, dari atas ke bawah), dan case pertama yang cocok menjawab. |
| Catatan daftar dipersingkat | "1 more checked case isn’t shown, to keep the run record small." (atau "n more checked cases aren’t shown, ..."), dan "Argument values aren’t shown, to keep the run record small." saat alasannya menyebut operator, bukan nilainya. |
| Catatan aturan sebelumnya | "Answered under the previous mock rule: a set's Otherwise ended the search." Pada panggilan Mocked yang direkam sebelum case semua set diperiksa lebih dulu daripada Otherwise mana pun. Jalankan ulang untuk melihat urutan yang berlaku sekarang. |
| Response Prompt note | "The tool's Response Prompt was applied on top of this response, as in production". |
| The agent was told the tool is unavailable. | Catatan merah pada panggilan Blocked. |
| Mock This Call | Pada panggilan Blocked. Membuka menu untuk memilih tempat mock baru disimpan (lihat Mock This Call, Save as Case). Hanya tampil saat fitur mock aktif. |
| Save as Case | Pada panggilan Mocked atau Live. Membuka menu yang sama, untuk menyimpan panggilan sebagai mock case. Hanya tampil saat fitur mock aktif. |
| Orphan note | Pada panggilan yang diblokir dan tool-nya pernah punya pengaturan Run Live lama: "An older <tool> was set to run live. That setting no longer applies to this tool." Untuk tool MCP atau plugin berbunyi "An older <tool> (from before the <name> server was added again) was set to run live. That setting no longer applies to this tool." (atau "plugin"). Disertai tautan Move it in Tool Policy →. |
Chip Hasil
Chip hasil memberi tahu apa yang terjadi pada panggilan.
| |
|---|
| Mocked | Sebuah mock set menjawab panggilan, entah dengan case yang cocok atau, jika tidak ada case di set terpasang mana pun yang cocok, dengan respons Otherwise dari set pertama yang menjawab secara default. Baris di bawah argumen menyebut yang mana. |
| Simulated | Panggilan tidak dilakukan; tool mengembalikan sukses simulasi. |
| Live | Panggilan benar-benar berjalan, ke sistem nyata. |
| Blocked | Panggilan tidak dilakukan. Agent diberi tahu bahwa tool tidak tersedia. |
| Internal Tool | Tool internal yang selalu berjalan. |
| Unknown | Hasilnya tidak dapat ditentukan. |
Baris Jawaban
Baris di bawah argumen menjelaskan mengapa panggilan berakhir demikian. Kode status, jika ada, muncul lebih dulu sebagai tag kecil.
| |
|---|
Case <id>… '<label>' · <nama mock set> | Panggilan Mocked yang dijawab sebuah case: awal id case, labelnya jika ada, dan mock set. |
No case matched, used Otherwise · <case> · <nama mock set> | Panggilan Mocked yang dijawab Otherwise milik sebuah set, karena tidak ada case yang cocok. |
| No mock matched | Panggilan Mocked yang tidak mencatat case atau set. |
| Step-level mock set, Scenario-level mock set | Tampil di akhir baris panggilan yang di-mock: apakah set yang menjawab dipasang di step atau di seluruh skenario. |
| Tool policy | Tool Policy agent yang memutuskan panggilan Live, Simulated, atau Blocked. |
| Allowed live in this scenario | Allow Live milik skenario mengizinkan tool berjalan. |
| Built-in default | Default bawaan tool yang memutuskan: tidak ada aturan Tool Policy yang mencakup tool itu. Run lama yang mencatat panggilan sebagai belum ditinjau juga menampilkan ini. |
| Tanpa baris | Panggilan Internal Tool, atau panggilan yang direkam sebelum aturannya dicatat. |
Mock This Call, Save as Case
Kedua tombol membuka menu kecil yang menanyakan ke mana mock harus disimpan. Lalu skenario terbuka di form-nya dengan editor mock set yang sudah terisi untuk panggilan ini.
| |
|---|
| New Private Set for This Step | "Only used when this exact step runs." |
| New Private Set for This Scenario | "Used by every step in this scenario." |
| Existing Set… | "Pick a set once the scenario opens." Skenario membuka panel, Add this case to a mock set, yang mendaftar set yang terpasang di step dan di skenario. Pilih satu dan case ditambahkan ke dalamnya. Set library memberi peringatan "Library set: saving it changes every scenario that uses it." Jika belum ada set terpasang, panel menawarkan New Private Set: This Step dan New Private Set: This Scenario. |
| Live call notice | Menyimpan panggilan Live bertanya dulu: "This call ran live and may contain real data. Saving it as a case stores that response as the mock. Continue?" |
| Too large | Saat respons terlalu besar untuk disalin: "The response was too large to copy. Fill in the response yourself before saving this case." |
| Not mockable | Saat tool tidak dapat di-mock: "This tool can't be mocked, so this call can't be saved as a case." |
Panduan terkait: Membaca Hasil, Memperbaiki dan Menguji Ulang