Scenarios
Buka di CMSTab Scenarios di halaman Conversation Simulation adalah tempat Anda menulis skenario, mengaturnya ke dalam folder, dan menjalankannya. Skenario adalah percakapan uji untuk memeriksa cara agent Anda menjawab. Terdapat di sidebar agent pada Simulation → Scenarios. Tab kedua di halaman ini, Results, dijelaskan di Results.
Konten yang dibuat AI di fitur ini (kriteria yang disarankan, nama skenario, jawaban agent, dan hasil pencocokan) bisa berbeda dari satu run ke run berikutnya, jadi anggap saran AI sebagai draf yang perlu Anda periksa.
Panel Folder
Tampil di sisi kiri tab Scenarios. Pada layar kecil, panel ini dibuka dari tombol Folder: <name> di atas daftar, sebagai lembar yang naik dari bawah.
| New Folder | Membuka Create New Folder. Isi Folder Name lalu klik Create. |
| All folders | Menampilkan semua skenario, apa pun foldernya. Angka di sampingnya adalah jumlah totalnya. |
| Folder | Klik folder untuk menampilkan skenario di dalamnya. Angkanya menunjukkan berapa banyak isinya, termasuk subfolder-nya. Apakah daftar juga menampilkan skenario subfolder ditentukan oleh Include Subfolders di header folder. Gunakan panah untuk membentangkan atau menciutkan subfolder-nya. Folder dapat bertingkat hingga 3 level. |
| Menu ⋮ (atau klik kanan folder) | Membuka aksi folder di bawah. |
| Empty state | No folders yet ("Create a folder to organize your scenarios") dengan tombol New Folder, tampil sampai Anda membuat folder pertama. |
| Retry | Tampil bersama "Folders could not be loaded." saat daftar folder gagal dimuat. |
Jika agent Anda belum punya folder sama sekali, membuka form untuk membuat skenario akan membuatkan folder bernama Default untuk Anda, sehingga skenario selalu punya tempat.
Aksi Folder
| New Subfolder | Membuka Create New Subfolder di dalam folder ini. Tidak tersedia pada folder yang sudah berada di level ketiga. |
| Rename | Membuka Rename Folder. Ubah Folder Name lalu klik Save. |
| Move to… | Membuka Move "<folder>". Pilih Top level atau folder lain sebagai induk baru lalu klik Move. Tujuan yang akan melanggar batas 3 level dinonaktifkan. Anda mengonfirmasi pemindahan sebelum dijalankan. |
| Run All | Menjalankan semua skenario di folder setelah Anda mengonfirmasi, lalu membuka hasil run. Mengikuti Include Subfolders: saat menyala, skenario subfolder ikut dijalankan (pertanyaannya berbunyi "... and its subfolders"). Nonaktif jika tidak ada yang bisa dijalankan, dan jika tidak ada yang dijalankan, tampil "<folder> has no scenarios to run." |
| Delete | Membuka Delete Folder. Menghapus folder juga menghapus subfolder-nya beserta skenario di dalamnya, termasuk mock set private milik skenario tersebut. Tindakan ini tidak dapat dibatalkan. Nonaktif jika penghapusan akan menyisakan nol folder. |
Folder tidak punya aksi Duplicate. Menduplikasi hanya tersedia untuk skenario.
Header Folder
Card di atas daftar, berjudul folder yang dipilih (atau All folders).
| Include Subfolders | Sebuah switch, menyala secara default. Hanya muncul saat folder yang dipilih memiliki subfolder yang berisi skenario. Saat menyala, daftar skenario juga menampilkan skenario subfolder tersebut, dan Run All (di sini maupun di menu folder) ikut menjalankannya. Matikan untuk hanya melihat dan menjalankan skenario yang berada langsung di folder. Pilihan ini diingat selama Anda tetap di sesi browser ini. |
| Run All (n) | Muncul saat sebuah folder dipilih dan berisi minimal satu skenario. Menjalankan semuanya sebagai satu run setelah Anda mengonfirmasi. Angkanya mengikuti Include Subfolders. |
| New Scenario | Membuka form Create New Scenario, yang ditempatkan di folder yang dipilih. |
| Name | Filter: hanya menampilkan skenario yang namanya mengandung teks yang Anda ketik. |
| Apply / Reset | Menerapkan filter nama, atau menghapusnya. |
Scenario List
| Sort By | Mengurutkan daftar berdasarkan Updated Date (default, terbaru lebih dulu) atau Name, Ascending atau Descending. |
| Grid View / List View | Menampilkan skenario sebagai card atau tabel (kolom Scenario, Steps, Folder). |
| Scenario card atau baris | Menampilkan nama, path folder, dan jumlah step. Klik untuk membuka form Edit Scenario. |
| Checkbox | Memilih skenario untuk Run Selected. Di List View, checkbox di header memilih semua skenario yang tampil. Pilihan dihapus saat Anda memilih folder lain, menyalakan atau mematikan Include Subfolders, atau mengubah filter atau urutan. |
| Run | Menjalankan skenario ini setelah Anda mengonfirmasi, lalu membuka hasilnya. Lihat Konfirmasi Run. |
| Run Selected (n) | Muncul saat minimal satu skenario dicentang. Menjalankan semua skenario yang dicentang bersama-sama sebagai satu run, setelah Anda mengonfirmasi. |
| Menu ⋮ (atau klik kanan) | Duplicate (setelah Anda mengonfirmasi, membuat salinan bernama "<name> (Copy)"), Move to (membuka Move Scenario to Folder: pilih Folder lalu klik Move), Delete (setelah Anda mengonfirmasi; tidak dapat dibatalkan). |
| Load More | Muncul saat masih ada skenario lain. Menambahkan kelompok berikutnya. |
| Empty state | No Scenarios Yet dengan tombol Create Scenario, atau No Scenario matches "<text>" dengan petunjuk "Try a different name, or reset the filter." saat filter nama tidak menemukan apa pun. |
Konfirmasi Run
Setiap Run, Run Selected, dan Run All meminta konfirmasi lebih dulu. Konfirmasi itu menanyakan pertanyaan (misalnya "Are you sure you want to run the scenario ...?") dan memungkinkan Anda memilih salinan agent mana yang diuji.
| Run against | Pilih Published atau Draft. Pilihan terakhir Anda diingat untuk agent ini. |
| Published | Petunjuk: "What your users talk to now." Ini pilihan default. |
| Draft | Petunjuk: "Unpublished changes" saat draft berbeda dari yang live, atau "Same as published right now" saat tidak berbeda. Dinonaktifkan dengan petunjuk "No separate draft yet." saat agent belum punya draft terpisah. Memilihnya menampilkan catatan: "Uses the draft's settings: prompt, model, tools, plugins, skills. Knowledge, documents and plugin data are shared with the live agent." |
| Escalation note | Tampil untuk run Draft satu skenario (tidak untuk Run Selected atau Run All) saat skenario mengizinkan tool eskalasi berjalan live: "Escalations from this run go to the draft escalation inbox." |
| Blocked tools list | Hanya tampil saat Anda menjalankan satu skenario (Run pada kartu atau baris, atau Run di form skenario), tidak untuk Run Selected atau Run All, dan hanya saat run akan memanggil tool yang diblokir. Isinya "This run will hit n blocked tools. A blocked tool returns a policy error instead of running, so any step that needs it will fail." dan daftar setiap tool. Daftar mengikuti versi yang Anda pilih. |
| Mock It | Tautan di samping setiap tool yang terdaftar, tampil saat Anda menjalankan dari form skenario dan fitur mock aktif. Membuka editor mock set yang sudah berisi tool tersebut. Jika tidak, petunjuk meminta Anda membatalkan, membuka skenario lalu me-mock tool (atau mengizinkannya live), atau memilih Run Anyway. |
| Yes / Run Anyway / Cancel | Yes memulai run. Saat ada tool yang diblokir, tombolnya bertuliskan Run Anyway. Cancel menutup dialog. |
| Catatan tentang daftar | "Couldn't load all of the draft version's tools; this list may be incomplete." (atau published) dan "The agent's tool policy couldn't be loaded, so this list may include tools it runs live and miss tools it blocks." |
Setelah Anda mengonfirmasi, halaman menampilkan "Running scenario ...", lalu "... execution started successfully", dan membuka hasil run.
Scenario Information
Di form Edit Scenario, bagian ini berupa card di bagian atas berjudul Scenario Information. Saat Anda membuat skenario baru, bagian ini muncul sebagai dialog dengan judul yang sama setelah Anda mengklik Save, begitu step Anda valid, dengan nama yang sudah disarankan AI berdasarkan step Anda. Di dialog, Continue lanjut ke "Are you sure you want to create this scenario?", dan Cancel menutup dialog.
| Scenario Name | Wajib. Nama yang ditampilkan di daftar dan di hasil, misalnya "Login Flow Test". |
| Folder | Wajib. Folder tempat skenario ini berada. |
Scenario Steps
Card berjudul Scenario Steps (n), atau Scenario Step (1) jika hanya ada satu. Semua step berada dalam percakapan yang sama, seperti chat sungguhan dengan agent. Saat belum ada step, tampil "No Steps added yet. Click "Add Message" to create your first Step."
| Collapse All / Expand All | Menutup atau membuka semua card step sekaligus. Pada layar sempit berupa ikon dengan tooltip yang sama. |
| Step | Satu giliran percakapan. Step yang tertutup menampilkan nomornya, User Message-nya (atau "Step n" selama masih kosong), dan chip kecil. Seret step lewat pegangannya ("Drag to reorder steps") untuk mengubah urutan. |
| Step chips | n criteria (arahkan kursor untuk membacanya), No criteria dan No message (merah: wajib), Has errors (buka step untuk memperbaiki kolom yang menghalangi penyimpanan), n mock sets (set milik step ini sendiri) atau inherits n (step memakai set milik skenario). |
| User Message | Wajib. Apa yang dikatakan pengguna kepada agent di step ini. |
| Expected Response | Wajib. Jawaban yang Anda harapkan dari agent. |
| Evaluation Criteria | Lihat Evaluation Criteria. |
| Tool Mocks (n) | Mock set khusus untuk step ini. Tertutup secara default. Satu baris menjelaskan apa yang dipakai step, misalnya "This step uses the scenario's sets." atau "No mock sets for this step or the scenario yet." Buka untuk melihat set milik step. Add Mock Set tampil saat fitur mock aktif. Notifikasi "This step changes:" mendaftar tool yang di-mock step ini secara berbeda dari skenario lainnya. |
| What will each tool do in this step? | Tautan di bagian Tool Mocks step yang membuka panel tool pada step tersebut. Lihat Agent Tools. |
| Remove step (ikon tempat sampah) | Menghapus step setelah Anda mengonfirmasi; pesan, jawaban yang diharapkan, kriteria, dan mock set-nya hilang. Nonaktif jika hanya tersisa satu step, karena minimal satu step wajib ada. |
| Collapse step / Expand step | Panah di sisi kanan card step. |
| Add Message | Menambahkan step baru di akhir. |
Evaluation Criteria
Setiap step punya kotak Evaluation Criteria (n) (Evaluation Criterion (1) jika hanya ada satu). Run memeriksa jawaban asli agent terhadap kriteria ini satu per satu.
| Suggest Criteria / Rewrite Criteria | Meminta AI menulis kriteria untuk step ini dari Expected Response. Nonaktif sampai Expected Response diisi. Menjadi Rewrite setelah step sudah punya kriteria. |
| Add Criterion | Menambahkan kriteria kosong yang bisa Anda ketik sendiri. |
| Kolom kriteria | Satu hal yang harus ada atau dilakukan oleh jawaban. Tombol refresh di dalam kolom meminta AI menulis ulang hanya kriteria itu. |
| Delete Criterion (ikon tempat sampah) | Menghapus kriteria. |
Advanced Setup
Setup opsional untuk seluruh skenario: Date and Time, Tool Mocks, dan Agent Tools, dalam urutan itu. Skenario berjalan tanpanya. Tata letaknya mengikuti lebar form: panel pada layar lebar, card di bawah step pada layar yang lebih sempit.
| Strip setup | Pada layar lebar, setup dimulai dalam keadaan ciut, sebagai strip sempit di sisi kiri form. Tombol Setup (tooltip Show Advanced Setup) membukanya. Di bawahnya, satu tombol per bagian (Date and Time, Tool Mocks, Agent Tools) membuka panel pada bagian itu. Arahkan kursor ke sebuah tombol untuk membaca ringkasan satu baris bagiannya. Tool Mocks dan Agent Tools memuat hitungan. |
| Panel setup | Berjudul Advanced Setup, dengan baris "Optional. The scenario runs without it." Panel tetap terlihat saat Anda menggulir form. Hide Advanced Setup (tombol panah ganda) mengciutkannya kembali menjadi strip. Setiap bagian bisa dilipat menjadi ringkasan satu baris. |
| Card Advanced Setup | Pada layar yang lebih sempit, setup berupa card di bawah step, tertutup secara default, berjudul Advanced Setup · optional dengan ringkasan satu baris tentang tanggal dan jam, mock set, dan hasil tool. Buka untuk melihat satu baris per bagian: Date and Time terbuka di tempat, Tool Mocks terbuka di lembar samping (lembar bawah pada ponsel), dan Agent Tools langsung membuka panel tool. |
| Date and Time | Tidak tampil saat fitur mock mati. |
Agent Tools
Menampilkan apa yang akan dilakukan tool agent saat skenario ini berjalan, berupa jumlah per hasil. Bagian ini adalah salah satu bagian Advanced Setup dan baru tampil lengkap setelah daftar tool dan tool policy agent selesai dimuat.
| Outcome bar | Bar berwarna dengan satu chip untuk setiap hasil yang berlaku: Mocked n, Partly mocked n, Live n, Simulated n, dan Blocked n. Arahkan kursor ke chip untuk membaca "Show only mocked tools" (atau hasil yang disebutnya); mengkliknya membuka panel tool hanya untuk hasil itu. |
| Baris ringkasan | Saat bagian dilipat, satu baris seperti "Nothing blocked · 2 mocked · 1 live · 3 simulated", atau "n will be blocked" berwarna merah saat ada tool yang akan gagal ("n blocked" pada layar yang lebih sempit). |
| Review Tools | Membuka panel tool, What the agent’s tools will do. |
| Baris loading dan error | "Loading tool catalog...", "Failed to load the tool catalog. The rest of the form is still usable." (dengan Retry), "Checking tool policy…", "The agent's tool policy couldn't be loaded, so what each tool will do can't be shown. Runs still follow the saved policy." (dengan Retry), dan "This agent has no tools with mockable policies." |
| Baris pengaturan Allow Live | "1 Allow Live setting is for a tool no longer on this agent." atau "N Allow Live settings are for tools no longer on this agent." |
What the agent’s tools will do (panel tool)
Panel yang terbuka dari kanan pada layar lebar, atau dari bawah pada ponsel. Subjudulnya menyebut nama agent dan versi yang dipakai skenario saat dijalankan, misalnya "Libraría · runs against the published version".
| Edit Tool Policy → | Membuka halaman Tool Policy di tab baru. |
| Whole Scenario / Step n | Tab untuk memilih cakupan. Pada tab step, set milik step diperiksa lebih dulu dan sebuah catatan menyebutkannya: "A step’s own sets are checked before the scenario’s; “Mock It” here adds a step mock set." |
| Baris cakupan | Misalnya "4 action tools · 1 mocked · 2 will be blocked". Tampil setelah tool policy diketahui. |
| Outcome chips | Chip yang sama dengan outcome bar. Klik satu untuk menampilkan hanya hasil itu; klik lagi untuk menampilkan semua. |
| All / Needs attention · n | Beralih antara semua tool dan tool yang perlu perhatian (panggilan masih bisa diblokir oleh tool policy, atau tool hanya sebagian di-mock). |
| Search tools… | Menyaring daftar berdasarkan nama atau deskripsi tool. "No tools match your search." atau "No tools in this view." saat tidak ada yang tersisa. |
| Judul grup tool | Tool dikelompokkan menurut sumber: Custom API, Plugins, MCP, Other agents, A2A, dan Built-in, masing-masing dengan nama kategori, instance, atau server setelah titik tengah bila ada. |
| Baris tool | Ikon dan nama tool, chip Draft Only atau Published Only saat tool hanya ada di satu versi, deskripsinya, chip hasilnya, dan bila perlu keterangan serta peringatan. |
| Outcome chip | Satu kata: Mocked, Partly mocked, Live, Simulated, Blocked, atau Disabled untuk tool yang dimatikan di kedua versi (baris hanya-baca tanpa aksi). Ikon kecil pada chip menunjukkan dari mana hasil itu berasal: mock set, Tool Policy, default bawaan tool, atau Allow Live skenario ini. Arahkan kursor untuk membaca kalimatnya, misalnya "Blocked by its default. Its tool policy setting has never been changed." |
| Chip otherwise | Pada baris Partly mocked, setelah kata "otherwise": apa yang terjadi pada panggilan yang tidak dijawab case mock mana pun (Blocked, Simulated, atau Live). |
| n steps override | Pada baris Mocked, "1 step overrides" atau "n steps override": step yang mock set miliknya sendiri mengambil alih tool. Arahkan kursor untuk melihat nomor step. |
| Keterangan dan peringatan | Keterangan seperti "Allowed live" atau "Allowed live · takes effect after you save", atau pada tab step "This step’s set answers calls no case matches". Peringatan "Unmatched calls will reach the real system." pada baris yang sebagian di-mock dan panggilan lainnya berjalan live. |
| Mock It | Pada tool yang panggilan tak terjawabnya akan diblokir. Membuka editor mock set yang sudah berisi tool tersebut, sehingga panggilannya mendapat jawaban terskrip. Hanya tampil saat fitur mock aktif. |
| Allow Live… | Mengizinkan skenario ini menjalankan tool yang diblokir atau disimulasikan secara nyata, setelah Anda mengonfirmasi ("Real data will change.", dan untuk beberapa tool ada catatan bahwa supervisor akan diberi tahu atau agent lain benar-benar berjalan). Perubahannya berlaku setelah Anda menyimpan skenario. Nonaktif, dengan tooltip "Only organisation Owners and Admins can allow a tool to run live", untuk semua orang selain itu; catatan kunci mengulanginya di bagian bawah. |
| Revoke Live | Mencabut Allow Live skenario ini untuk tool tersebut. Arahkan kursor untuk membaca ke mana panggilan yang tak terjawab kembali (blocked, simulated, atau live). |
| Check Order / Hide Check Order | Pada tool yang di-mock oleh mock set terpasang. Membuka Checked in this order: setiap case dan setiap Otherwise menurut urutan pemeriksaannya, dikelompokkan per mock set, lalu satu baris terakhir yang menyebut apa yang menjawab panggilan yang tidak cocok dengan case mana pun (sebuah Otherwise, atau tool policy). Case yang dicoret tidak pernah dicapai, beserta alasannya. |
| Try a Call / Hide Try a Call | Pada tool yang di-mock oleh set terpasang dengan sesuatu yang bisa menjawab. Membuka satu kolom per input, dengan sakelar Fields / JSON untuk mengetik argumen sendiri, dan tombol Test. Hasilnya menyebut case atau Otherwise mana yang akan menjawab, dan mengapa case yang diperiksa sebelumnya tidak cocok. Pada tab seluruh skenario, hasilnya terbaca seperti step tanpa mock set sendiri. |
| Banner ketidaksesuaian | "What’s shown here may differ from runs: the CMS and the simulation service are on different mock-matching versions right now." (dan "Try a call may differ from runs." di dalam Try a Call). Hanya tampil saat kedua layanan tidak sejalan. |
| Allow Live for tools no longer on this agent | Daftar sisa pengaturan Allow Live untuk tool yang tidak lagi dimiliki agent, masing-masing dengan Remove. |
| Footnote | Menyebut tool mana yang hanya ada di draft atau hanya di agent published, tergantung versi yang Anda jalankan. |
Tool Mocks
Bagian dari Advanced Setup, di form create dan edit. Mock set memberi tool agent Anda jawaban terskrip selama simulasi, sehingga run tidak bergantung pada (atau mengubah) sistem nyata. Mock set bersama dibuat di layar Tool Mocks (Simulation → Tool Mocks), yang dijelaskan di Tool Mocks. Setiap step juga punya bagian Tool Mocks (n) sendiri, tertutup secara default.
Saat beberapa set terpasang me-mock tool yang sama, case dari semua set diperiksa lebih dulu, menurut urutan daftar (set milik step, lalu set milik skenario, dari atas ke bawah): case pertama yang cocok menjawab. Hanya jika tidak ada case yang cocok, set pertama yang Otherwise-nya merespons akan menjawab, dan jika tidak ada, tool policy yang memutuskan.
| Mock sets attached (n) | Mock set yang dipakai oleh setiap step skenario ini. Mock set milik step diperiksa lebih dulu sebelum set ini. "No mock sets attached yet." saat belum ada. |
| Pegangan seret dan nomor | Hanya tampil saat dua set dalam daftar me-mock tool yang sama. Seret pegangan baris ("Drag to change the order") untuk mengubah urutan; angkanya menunjukkan urutan pemeriksaan set. |
| Baris mock set | Menampilkan nama, hitungan seperti "2 tools · 5 cases", nama tool, ikon library (bersama) atau gembok (private), dan Unsaved changes saat set private punya perubahan yang belum disimpan. Arahkan kursor ke ikon untuk membaca "Library: shared, can be reused in other scenarios" atau "Private: only this scenario uses it". Nama tool yang dicoret berarti set ini tidak akan pernah bisa menjawab tool itu dalam daftar ini: arahkan kursor untuk membaca alasannya, misalnya set di atasnya menjawab semua panggilan lebih dulu. Tool yang ditandai "not found in the draft or published agent" sudah tidak ada di agent. |
| Overlap notice | "n sets mock <tool>." Buka detailnya: "When a call matches cases in more than one, '<set>' answers because it’s higher in the list. Calls no case matches get the Otherwise of the highest set whose Otherwise answers. Drag to change the order." |
| Add Mock Set | Membuka menu: From Library… ("Reuse a shared set.") membuka panel Add from library, tempat Anda mencari, mencentang set, lalu mengklik Add n mock sets; Create New ("Private to this scenario.") membuka editor. Hanya tampil saat fitur mock aktif. |
| Edit | Pada set private, pensil yang membuka set di editor. Pada set library, ikon yang membuka set di Tool Mocks di tab baru, karena mengubah set bersama mengubah setiap skenario yang memakainya. Hanya tampil saat fitur mock aktif. |
| Menu ⋮ pada baris | Make a Private Copy (set library), Save to Library (set private; nonaktif dengan tooltip "Save this scenario first — this set has unsaved changes" sampai skenario disimpan), Remove. |
| Banner ketidaksesuaian | Banner yang sama seperti di panel tool, saat kedua layanan memakai versi pencocokan mock yang berbeda. |
Date and Time
Bagian dari Advanced Setup. Hanya tampil saat fitur mock aktif.
| Fixed date & time | Sebuah switch. Mati, baris di bawahnya berbunyi "Uses real time" dan agent melihat tanggal dan jam yang sebenarnya. Menyala, Anda memilih tanggal dan jam yang dilihat agent. |
| Date & time | Muncul saat switch menyala. Tanggal dan jam yang dilihat agent pada setiap run. |
| Time zone | Muncul saat switch menyala. Zona waktu untuk tanggal dan jam tersebut. |
| Ringkasan | Saat dilipat, Real time atau "Fixed · <date and time>". |
Bagian ini menambahkan catatan "Keeps “tomorrow” and other date-based tool arguments stable on every run."
Menyimpan dan Menjalankan
| Suggest All Criteria (x/y Steps ready) | Tampil menggantikan Save selama masih ada step tanpa kriteria. Meminta AI menulis kriteria untuk setiap step yang belum punya, dengan progres "Processing n of m steps...". Semua step harus punya User Message dan Expected Response lebih dulu. |
| Save | Tampil setelah setiap step punya minimal satu kriteria. Di mode create, tombol ini membuka dialog Scenario Information; di mode edit, tombol ini bertanya "Are you sure you want to save your changes?" dan menyimpan setelah Anda mengonfirmasi. |
| Cancel | Keluar dari form tanpa menyimpan dan kembali ke daftar. |
| Run | Hanya mode edit (kanan atas). Menjalankan skenario yang tersimpan setelah Anda mengonfirmasi, seperti dijelaskan di Konfirmasi Run. Jika form punya perubahan Allow Live yang belum disimpan, Anda diminta menyimpan dulu, karena run memakai skenario yang tersimpan. |
| Delete | Hanya mode edit (ikon tempat sampah, kanan atas). Menghapus skenario ini setelah Anda mengonfirmasi. |
Panduan terkait: Menulis Skenario yang Baik, Menjalankan Simulasi, Tool dalam Simulasi