Tool Mocks
Buka di CMSLayar Tool Mocks adalah tempat Anda membuat mock set yang dapat dipakai ulang: jawaban terskrip untuk tool agent Anda, sehingga simulasi berjalan dengan respons yang dapat diprediksi, bukan memanggil tool sungguhan. Terdapat di sidebar agent pada Simulation → Tool Mocks; item menu ini hanya muncul jika fitur mock diaktifkan. Anda memasang mock set ke skenario di bagian Tool Mocks pada form Scenarios.
Halaman ini dibuka dengan teks "Script canned tool responses so your test scenarios can run against predictable answers instead of calling real tools. Build reusable mock sets here, then attach them to a scenario."
Respons yang dibuat AI lewat Suggest bisa berbeda setiap kali Anda memintanya, jadi anggap saran itu sebagai draf yang perlu Anda periksa sebelum memakainya.
Mock Set Library dan Private
Sebuah mock set adalah set Library atau set Private.
| Library | Set bersama. Dibuat di layar ini, muncul di daftarnya, dan dapat dipasang ke skenario mana pun milik agent. Mengubah set library mengubah setiap skenario yang memakainya. Setiap set di daftar layar ini adalah set library. Halaman editnya menampilkan chip Library di header, dan di dalam bagian Tool Mocks skenario set ini memiliki ikon buku. |
| Private | Set milik satu skenario. Dibuat dari bagian Tool Mocks skenario (Create New) atau dari sebuah hasil (Mock This Call, Save as Case), diedit di panel samping di dalam form skenario, dan tidak terdaftar di layar ini. Di dalam bagian Tool Mocks skenario, set ini memiliki ikon gembok. Gunakan Save to Library pada skenario untuk menjadikannya set library, atau Make a Private Copy untuk menyalin set library ke dalam skenario. |
Daftar Mock Set
| New Mock Set | Membuka editor untuk mock set library baru. |
| Show Filters / Hide Filters | Membuka atau menutup panel filter. |
| Name | Filter: hanya menampilkan mock set yang namanya mengandung teks yang Anda ketik. |
| Tool | Filter: hanya menampilkan mock set yang me-mock tool yang dipilih. |
| Apply / Reset | Menerapkan filter, atau menghapusnya. |
| Sort By | Mengurutkan daftar berdasarkan Updated Date (default, terbaru lebih dulu) atau Name, Ascending atau Descending. |
| Grid View / List View | Menampilkan mock set sebagai card atau tabel (kolom Name, Tools · cases, Used in, Updated). |
| Baris hitungan | "n mock sets", dengan "(more available)" saat Load More masih punya kelompok berikutnya. |
| Card atau baris mock set | Menampilkan nama, deskripsi, berapa banyak tool dan case (misalnya "2 tools · 5 cases"), nama tool, dan berapa banyak skenario yang memakainya ("Used in n scenarios"). Klik untuk membuka editor. |
| Menu ⋮ | Edit, Duplicate (membuat salinan dan menampilkan "<salinan>" created as a copy of "<set>"), Delete. |
| Delete | Meminta konfirmasi "Are you sure you want to delete "<set>"?". Jika set masih terpasang di skenario, This mock set is in use menunjukkan di mana (skenario, dan "Step n" atau "Scenario level"), dan tombol konfirmasi, Remove from n scenarios and delete, melepasnya di semua tempat lalu menghapusnya. |
| Load More | Muncul saat masih ada mock set lain. |
| Empty state | No Mock Sets Yet ("Create a mock set to script canned tool responses for your scenarios") dengan tombol New Mock Set. Jika filter menyembunyikan semua set, yang tampil adalah No Mock Sets Match Your Filters ("Try a different name or tool, or reset the filter."). |
Editor Mock Set: Header
Editor terbuka sebagai New Mock Set, atau dengan nama set saat mengedit. Halaman ini selalu mengedit set Library. Editor di panel samping skenario bekerja dengan cara yang sama, untuk set private maupun set library. Di bawah header, editor berupa tumpukan kartu tool dengan satu kartu terbuka pada satu waktu.
| Library | Chip yang menunjukkan bahwa ini set library. |
| Used in n scenarios | Hanya mode edit, berupa tautan. Membuka Used in, daftar skenario (dan step) yang memakai set ini. Set yang tidak terpasang di mana pun menampilkan "This mock set isn't attached to any scenario yet." |
| Save | Set baru: membuka dialog Save Mock Set (di bawah). Set yang sudah ada: bertanya "Save changes to “<set>”?", ditambah "It’s used in n scenarios, and all of them will get these answers." jika ada skenario yang memakainya, lalu menyimpan ("Mock set saved successfully"). Setelah penyimpanan mana pun, halaman kembali ke daftar. Jika orang lain mengubahnya sementara itu, Anda ditanya "Someone else changed this set. Reload?" dan dapat memilih Reload. |
| Duplicate | Hanya mode edit. Membuat salinan set. |
| Dialog Save Mock Set | Hanya untuk set baru. Dialog ini berbunyi "We named it after its tools. Change it if you like." dengan Name (wajib, sudah terisi dari tool-nya) dan Description (opsional), serta tombol Cancel dan Save. Namanya adalah nama tool untuk satu tool, "A and B" untuk dua, dan "A + n more" untuk lebih banyak. Saat berhasil tampil "Mock set created successfully". |
| Mock Set Information | Card di bagian atas saat mengedit set yang sudah ada. Isinya Name (wajib, hingga 120 karakter; misalnya "Doctor scheduling — happy path") dan Description (opsional, hingga 1000 karakter; "What this mock set is for (optional)"). Set baru tidak punya card ini, dan private set baru di panel samping skenario juga tidak: namanya diambil dari tool-nya. |
Di panel samping skenario, panel berjudul Create mock set atau Edit mock set (atau nama set library), dan tombolnya bertuliskan Apply untuk set private dan Save untuk set library. Mengedit set library di sana menambahkan pemberitahuan: "Library set, used in n scenarios. Saving changes all of them." dengan tautan Make a Private Copy Instead saat dibuka dari Save as Case. Saat set library dimuat, panel menampilkan "Loading mock set…", dan jika tidak dapat dimuat, "Failed to load this mock set. Close and try again." Di ponsel, panel pop-up editor terbuka sebagai lembar dari bagian bawah layar.
Editor Mock Set: Kartu Tool
| Empty state | No Tools Mocked Yet ("Pick the tool whose answers you want to fake during a simulation.") dengan tombol Add Tool. |
| Add Tool | Membuka daftar yang dapat dicari (Search tools…) berisi tool agent, dikelompokkan menurut sumber (Custom API, Plugins, MCP, Other agents, A2A, Built-in). Daftar ini memuat tool agent draft dan published sekaligus. Setelah set punya tool, tombol ini berada di bawah kartu terakhir, dan menambahkan tool membuka kartunya serta menutup yang lain. Satu set dapat memuat hingga 50 tool. |
| Tool di picker | Menampilkan nama tool, deskripsinya, chip efeknya (metode HTTP seperti GET atau POST, Read-only, Writes data, atau Unknown effect), dan apa yang terjadi saat tidak di-mock: Blocked unless mocked, Runs live unless mocked, atau Simulated success. Teks itu mengikuti Tool Policy agent, atau default bawaan tool jika tidak ada aturan yang mencakupnya. Chip Draft only, Published only, atau Disabled (juga Disabled in Draft atau Disabled in Published) muncul jika berlaku. Tool yang tidak dapat dipilih menampilkan alasannya, misalnya Already in this set. |
| Pesan picker | "Loading tool catalog…", "This agent has no tools in its catalog.", "No tools match your search.", "Failed to load the tool catalog. Close and reopen Add Tool to retry." dan, saat tool salah satu versi tidak dapat dimuat, "Couldn't load the draft version's tools; showing the other version's only." |
| Header kartu | Ikon dan nama tool, serta baris kedua yang berisi deskripsi tool saat kartu terbuka dan ringkasan saat tertutup, seperti "every call 200 OK", "1 case · otherwise 200 OK", atau "2 cases · otherwise passes on". Hanya satu kartu yang terbuka pada satu waktu. Klik header untuk membuka atau menutupnya. |
| Chip mode | Di bawah nama, Ahead of sets below atau Passes to next set saat Otherwise memakai salah satu opsi bukan default (lihat Otherwise di bawah). |
| About This Tool (ⓘ) | Pop-up berisi nama tool, chip sumbernya (misalnya Custom API, GET, MCP, nama server), deskripsinya, dan Inputs: satu baris per parameter dengan tipenya ("text", "number", "yes/no", dan "n options" saat punya daftar tetap) dan tanda bintang saat wajib. Jika tidak ada input, tampil "This tool takes no inputs." |
| Remove (ikon tempat sampah) | "Remove this tool from the set": menghapus tool dan case-nya dari set. Jika sudah diubah, Anda ditanya "Remove the tool "<tool>" and all of its cases from this set?" |
| Chevron | Membuka atau menutup kartu. |
| Tool not found in the draft or published agent | Peringatan pada tool yang sudah tidak ada di kedua versi agent. Gunakan Re-Bind to… untuk mengarahkan case-nya ke tool lain. |
| Not in the loaded catalog | "This tool isn't in the loaded catalog — parameters can't be shown." |
| Tool dimatikan | "This tool is turned off in <version>, so simulations can't call it right now. Its cases are kept and answer again as soon as the tool is enabled. You can still edit them." |
Editor Mock Set: Case
Setiap case adalah satu jawaban terskrip, dipakai saat tool dipanggil dengan argumen yang cocok. Case diperiksa berurutan, dari atas. Tool baru dimulai hanya dengan blok Every call returns. Setelah sebuah case ditambahkan, blok itu berjudul Otherwise, every other call returns.
| Add Case | Menambahkan case di bawah yang lain untuk tool yang dipilih, membukanya, memberinya satu kondisi pada input wajib pertama tool (atau input pertamanya) dan respons kosong. Satu tool dapat memiliki hingga 50 case. Tombol ini berwarna abu-abu untuk tool yang tidak punya input ("This tool has no inputs a case could match on, so the Otherwise answer covers every call.") dan untuk tool yang tidak ada di katalog yang dimuat. |
| Try a Call | Membuka panel Try a Call (lihat di bawah). Tidak tampil saat editor hanya-baca. |
| How Cases Work (?) | Pop-up yang menyebutkan: case diperiksa dari atas ke bawah dan case pertama yang semua kondisinya cocok yang menjawab; lalu Otherwise menjawab jika tidak ada case yang cocok; urutan tool tidak berpengaruh; untuk beberapa mock set pada satu skenario, lihat More Options di bawah Otherwise. |
| Petunjuk urutan | Dengan dua case atau lebih: "Cases are checked from top to bottom. The first one that matches answers. Drag to reorder." |
| Header case | Gagang seret (dengan dua case atau lebih), nomor case, dan labelnya. Saat tertutup, menampilkan label atau "Untitled case", ringkasan kondisi (dengan " + raw match" jika ada raw match) dan, untuk tool Custom API, statusnya. Saat terbuka, Anda dapat mengetik label ("Label this case (optional)"). |
| Drag to reorder | Pegangan di kiri case. Case diperiksa dari yang pertama sampai yang terakhir. |
| Delete case | Ikon tempat sampah. Case yang sudah berisi akan bertanya dulu "Delete case n "<label>"? Its conditions and response are removed." |
| Collapse / Expand | Panah di sisi kanan case. |
| When all of these match | Kondisi pada argumen tool, dengan catatan "Conditions are combined with AND: the case answers only when every one below matches. An input without a condition matches any value." Add Condition menambahkan satu (hingga 20 per case). |
| Add Condition | Menambahkan kondisi pada input berikutnya yang belum punya kondisi. Tombol ini berwarna abu-abu setelah setiap input punya kondisi; tooltip-nya berbunyi "Every input already has a condition. To answer another value, use “is one of” or add another case." Di ponsel, tanda ? di sampingnya membuka teks yang sama dengan judul "Add Condition is off". |
| Tanpa parameter | Tool tanpa parameter menampilkan "This tool has no parameters — conditions can't be added." |
| Respond with | Apa yang dikembalikan tool untuk case ini. Lihat Editor Mock Set: Respons di bawah. |
| Advanced — Match Raw Arguments | Pencocokan tambahan opsional pada argumen mentah (JSON), diperiksa di samping kondisi: "Evaluated in addition to the conditions above — this case only matches when every condition AND the raw match (if used) all hold." Bagian ini terbuka dengan sendirinya jika sudah berisi teks. Tombol Aa-nya menentukan apakah teks pada raw match dibandingkan peka huruf besar-kecil. |
| Peringatan pada case | "No conditions: this case answers every call, so the cases below it and Otherwise are never used. Add a condition, or use More Options under Otherwise to answer ahead of other sets." dan "This case comes after a catch-all case and can never be reached." |
Editor Mock Set: Kondisi
Setiap kondisi terdiri dari argumen, pembanding, dan nilai, dalam satu baris.
| Argument | Salah satu input tool. Input yang sudah dipakai baris lain pada case itu berwarna abu-abu dan menampilkan "(has a condition)". Di bawah baris, deskripsi input dipersingkat menjadi dua baris dengan See more dan See less. |
| Pembanding (Text, juga list, object, dan tipe tak dikenal) | is, is not, contains, starts with, ends with, matches pattern (regular expression), is one of (nilai dipisah koma), is empty, is not empty. |
| Pembanding (Number) | =, ≠, <, ≤, >, ≥, is between (Min dan Max, inklusif). |
| Pembanding (Yes/no) | is, diikuti true atau false. |
| Value | Nilai pembanding. Menampilkan "No value needed" untuk is empty dan is not empty. Untuk is one of berisi "Comma-separated values", atau multi-select saat argumen punya daftar tetap. |
| Aa (Match case) | Hanya tampil untuk is, is not, contains, starts with, ends with, matches pattern, dan is one of. Mati secara default ("Match case (off)"), sehingga perbandingan teks mengabaikan huruf besar dan kecil. Nyalakan ("Match case (on)") untuk membandingkan secara peka huruf besar-kecil. |
| Remove condition (×) | Menghapus kondisi. Berwarna abu-abu untuk satu-satunya kondisi pada case yang tidak punya raw match ("A case needs at least one condition. To answer every call, set the Otherwise answer instead."). |
| Stale condition | Baris yang disorot dengan tooltip: ""<argument>" isn't a parameter of this tool (it may have been renamed or removed), so this condition is unlikely to match until it's fixed." Untuk argumen yang ditambahkan platform sendiri, ""<argument>" is an argument the platform adds itself, so this condition never matches." |
Di ponsel, baris itu terbagi menjadi dua baris: input dan pembanding, lalu nilai, Aa, dan tombol hapus.
Editor Mock Set: Respons
Kontrol yang sama muncul untuk sebuah case dan untuk blok Otherwise. Isi respons dapat sampai 64 KB. Case baru dimulai dengan isi kosong ("Pick a Template, ask for a Suggestion, or type the response.").
| Status | Hanya Custom API. Kode status HTTP yang dikembalikan (default 200 OK). Kode 5xx sampai ke agent sebagai hasil kosong, seperti API sungguhan yang gagal. |
| Content / MCP error | Hanya tool MCP. Apakah isi respons berupa konten biasa atau MCP error. |
| Sakelar tampilan | Di samping Respond with. Form | JSON untuk tool yang punya form yang menyimpan JSON (query tabel, pencarian dokumen, form percakapan, reminder, eskalasi), Form | Text untuk tool MCP, dan JSON | Text untuk tool tanpa form (Custom API, tool plugin yang tidak terklasifikasi, tool bawaan yang hanya membaca). Tool milik agent lain atau agent A2A tidak punya sakelar, karena form-nya adalah teks balasan itu sendiri. Form mengedit isi dengan kolom yang sesuai output tool; pilihan lainnya mengedit isi mentah. Saat respons tidak cocok dengan form, respons terbuka sebagai JSON dengan pemberitahuan. |
| Template | Menu jawaban siap pakai untuk tool, dikelompokkan Success dan Error, misalnya daftar kosong, Not found (404), Unauthorized (401), Rate limited (429), Invalid request (400), atau Service down or timed out untuk Custom API, Query fails atau No rows found untuk query tabel, No document hits untuk pencarian dokumen, Validation errors atau Failed untuk form atau reminder, Reply text untuk agent lain, Tool error atau Empty text untuk tool MCP. Memilih salah satu mengisi respons satu kali. Tombol ini disembunyikan saat tool tidak punya template. |
| Suggest | Meminta AI membuat draf respons untuk case ini ("AI-draft a response"), dengan memakai tool, kondisi case, serta status, penanda error, dan format yang sedang dipakai. Membuka Suggested Response dengan "Drafted for: <kondisi>. Nothing changes until you use it." (atau "Drafted from the tool’s description. Nothing changes until you use it." saat case tidak punya kondisi), indikator Drafting… dan draf, dengan Try Again dan Use This Suggestion. Titik hijau pada tombol berarti draf sudah siap. Tombol menampilkan "Suggesting…" saat bekerja. |
| Use a Real Response | Hanya untuk Custom API yang memakai GET dan tool plugin yang membaca data (SQL DB Reader, Dynamic Table, Public Documents); disembunyikan untuk tool lain. Membuka pop-up yang berbunyi "Calls the real endpoint once (read-only GET)…" atau "Runs the real query once (read-only)…" dengan satu kolom per input, sudah terisi dari kondisi is pada case. Call (lalu Call Again) melakukan panggilan. Pop-up menampilkan hasilnya, input yang dipakai, dan "This call ran live and may contain real data. Using it as a mock response stores that data." Untuk Custom API, Use This Response menyalin status dan isinya, bahkan status error. Untuk query tabel, Use Columns Only menyimpan nama kolom dan Use Columns and Rows menyimpan datanya. Titik hijau berarti hasil sudah siap. |
| Format | "Pretty-print this JSON". Tampil di tampilan JSON dan teks saat respons berupa JSON, dan nonaktif selama JSON memiliki error ("Fix the JSON to format it"). |
Editor Mock Set: Form Respons
Saat Anda memilih Form pada sebuah respons, kolomnya bergantung pada jenis tool. Nilai yang bertanda "(filled in automatically)" berasal dari panggilan itu sendiri dan tidak dapat diketik.
| Query tabel (SQL DB Reader, Dynamic Table) | Query succeeds atau Query fails. Saat berhasil: satu kolom nama per kolom (Column n), Remove column, grid isian sel, Remove row, Add column dan Add row (nonaktif sampai ada kolom), dan "No rows found." saat tabel tidak punya baris. Saat gagal: kolom Error message. |
| Pencarian dokumen (Public Documents) | Daftar hit, masing-masing berjudul Hit n dengan kolom Title, Text, dan Section serta ikon Remove hit, ditambah + Add hit. "No document hits found." saat daftar kosong. |
| Conversational form | Submitted atau Validation errors, dan kolom Message. Saat submitted, nilai Submission ID dan Processed at terisi otomatis. Untuk validation errors: satu kolom per error dengan Remove, + Add validation error, dan "No validation errors yet." |
| Reminder | Created atau Failed, dan kolom Message. Saat created, nilai Reminder ID dan Send time terisi otomatis. Saat failed, kolom Error. |
| Escalation | Escalation ID, Topic, Area, dan Created terisi otomatis. Anda memilih Status (Pending, InProgress, atau Completed) dan mengetik Response message. |
| Agent lain atau agent A2A | Kolom Reply text: balasan yang dikirim kembali oleh agent lain. |
| Tool MCP | Kolom Content, atau kolom MCP error message saat MCP error dipilih. |
| Shape notice | Saat respons yang tersimpan tidak cocok dengan form: "This response doesn't match this tool's structured form, so the form below starts empty. Editing it replaces the current response — switch to JSON to keep it." Di tampilan JSON: "This response doesn't match this tool's structured form, so it's shown as JSON." |
Editor Mock Set: Otherwise
Blok di bawah case, berjudul Every call returns saat tool tidak punya case dan Otherwise, every other call returns saat punya. Blok ini menentukan apa yang terjadi pada panggilan yang tidak cocok dengan case mana pun. Blok ini dibuka dengan editor respons, sama seperti sebuah case, dan panggilan mendapat respons itu. Saat tertutup, blok menampilkan status atau ringkasan. More Options membuka bagian berjudul "If another mock set on the scenario also mocks this tool", tempat Anda memilih satu dari tiga opsi. Bagian ini terbuka dengan sendirinya saat opsinya bukan default.
| Use only when no other set answers | Default. "Answers calls that no case in any attached mock set matched. If several sets answer this way, the one listed first wins. This is the usual choice." |
| Use ahead of sets listed below | "Answers every call this tool’s cases didn’t match, before the cases of sets listed below this one and before every set’s Otherwise. Sets listed above still check their cases first." |
| Don’t answer; pass to the next set | "Calls this tool’s cases didn’t match go to the next attached set, then to the tool’s policy." Editor respons diganti dengan "This set doesn’t answer calls its cases didn’t match. They go to the next attached set, then to the tool’s policy." dan respons yang sudah Anda tulis tetap tersimpan untuk saat Anda beralih kembali. |
| Catatan | "A case above has no conditions and answers every call, so this is never used." muncul saat case di atasnya selalu akan menjawab. Di daftar tool pada sebuah skenario, tool yang meneruskan panggilan diberi keterangan "Mocked for some inputs · otherwise …". |
Editor Mock Set: Try a Call
Tombol Try a Call berada di samping Add Case. Tombol ini membuka panel dengan teks "See which case would answer a call like this. Nothing is sent to the real tool."
| Enter as | Fields menyediakan satu kolom per input tool, dengan deskripsinya dipersingkat menjadi dua baris. JSON menerima argumen sebagai objek JSON. Berpindah membawa nilainya serta. Teks yang tidak valid berbunyi "These arguments aren't valid JSON", dan apa pun yang bukan objek berbunyi "These arguments must be a JSON object". |
| Test | Menjalankan panggilan terhadap set seperti yang sedang ada di editor. |
| Hasil | "Matches case n: <label>", "No case matched — the Otherwise answered." (dengan catatan "In a run, a matching case in another attached set answers first."), atau "Otherwise: <hasil>" saat set meneruskan panggilan, yang menyebut apa yang dilakukan kebijakan tool ("Blocked", "Simulated success", "Live · allowed", dan seterusnya). Setiap case yang dilewati menyebut alasannya ("Case n skipped: …"). |
| Banner versi | "Try a call may differ from runs." saat CMS dan layanan simulasi memakai versi pencocokan mock yang berbeda. |
| Close | Tanda × di kanan atas panel. |
Cara Beberapa Mock Set Menjawab Sebuah Panggilan
Ketika sebuah skenario memasang beberapa mock set yang me-mock tool yang sama, satu panggilan dijawab dengan urutan ini, dan urutannya sama di mana pun CMS melaporkannya (panel What the agent’s tools will do, hasil run, dan Try a Call).
| 1. Case | Setiap case dari setiap set yang terpasang, dengan urutan ini: set milik step itu sendiri dari atas ke bawah, lalu set milik skenario dari atas ke bawah. Case pertama yang cocok yang menjawab. Urutan case yang menentukan, bukan seberapa spesifik case itu. Case tanpa kondisi, yang disimpan oleh Use ahead of sets listed below, cocok dengan setiap panggilan. |
| 2. Otherwise | Jika tidak ada case yang cocok, set pertama, dengan urutan yang sama, yang Otherwise-nya menjawab dengan sebuah respons. Set yang diatur Don’t answer; pass to the next set dilewati. |
| 3. Kebijakan | Jika setiap set meneruskan panggilan itu, pengaturan Allow Live milik skenario, Tool Policy agent, dan default bawaan tool yang menentukan. |
| Di sebuah hasil | Panggilan Mocked menyebut case dan set yang menjawab, dan Checked before the answer mendaftar case yang tidak cocok, beserta alasannya. Panggilan Default dijawab oleh sebuah Otherwise. Run dari sebelum aturan ini menampilkan "Answered under the previous mock rule: a set's Otherwise ended the search." |
| Panel skenario | What the agent’s tools will do mendaftar urutannya di bawah Checked in this order. Panel ini mencoret set yang tidak akan pernah menjawab sebuah tool dan memperingatkan saat sebuah Otherwise tidak pernah dipakai karena set lain menjawab setiap panggilan lebih dulu. Sebuah banner berbunyi "What’s shown here may differ from runs: the CMS and the simulation service are on different mock-matching versions right now." saat versinya berbeda. |
Panduan terkait: Tool Mocks, Menguji Tool dengan Aman Memakai Mock