Tool dalam Simulasi

Buka di CMS

Banyak agent tidak hanya berbicara. Agent mencari sesuatu, mengirim permintaan ke sistem lain, atau menyimpan sesuatu. Run pengujian tidak boleh mengubah data sungguhan secara tidak sengaja, jadi Simulasi menentukan, untuk setiap pemanggilan tool, apa yang benar-benar terjadi. Dalam panduan ini Anda mempelajari apa itu pemanggilan tool, bagaimana Qlar menentukan apa yang terjadi padanya, apa arti setiap label hasil, dan cara meninjau serta mengubahnya untuk sebuah skenario. Waktu yang dibutuhkan sekitar lima belas menit.

Agent contohnya adalah Libraría, yang punya banyak tool. Agent Anda akan punya tool lain. Langkah-langkahnya sama. Jika Anda belum pernah menjalankan skenario, mulailah dari Simulasi Pertama Anda.

AI terlibat di setiap run: agent menulis jawabannya, memutuskan kapan memakai tool dan detail apa yang dikirim, dan AI menilai setiap kriteria. Semua ini bisa berbeda setiap kali, jadi skenario yang sama bisa memakai tool sedikit berbeda dari satu run ke run berikutnya. Anggap satu hasil sebagai contoh, bukan jaminan.

Film di bawah ini memberi gambaran besar tentang cara kerja tool dalam simulasi, dan bagaimana Tool Mocks serta Tool Policy melengkapinya. Bagian-bagian sesudahnya adalah panduan langkah demi langkah dengan layar yang sebenarnya.

Gambaran umum tool dalam simulasi: mock, panggilan live, dan panggilan yang diblokir

Apa itu pemanggilan tool?

Tool adalah sesuatu yang bisa dipakai agent Anda saat menjawab, selain pengetahuannya sendiri. Mencari sebuah buku, memeriksa tabel data, mencari dokumen, mengirim formulir, mengatur pengingat, bertanya kepada agent lain: masing-masing adalah sebuah tool. Ketika agent memutuskan memakai salah satunya di tengah jawaban, itulah pemanggilan tool.

Sebuah pemanggilan tool punya tiga bagian:

  1. Panggilan. Agent memilih sebuah tool dan mengisi detail yang dibutuhkannya. Detail ini disebut argumen (arguments). Untuk pencarian buku (get_book), argumennya adalah ISBN buku itu, yaitu nomor katalognya.
  2. Pekerjaan. Tool menjalankan tugasnya, biasanya dengan menghubungi sistem lain. Banyak tool menjangkau sistem itu lewat sebuah API, yaitu kumpulan alamat web yang disepakati, yang bisa diminta sebuah program untuk membaca atau mengubah data milik program lain.
  3. Respons. Tool mengirim kembali sebuah jawaban, dan agent memakainya untuk menulis balasan. Respons sering ditulis dalam JSON, cara menulis data terstruktur dengan teks biasa, misalnya {"status": "on hold"}. Anda tidak perlu menulis JSON untuk memakai Simulasi. Editor mock menyediakan formulir untuk sebagian besar tool.

Risikonya ada di bagian 2. Panggilan yang hanya membaca data aman untuk diulang. Panggilan yang menulis data bisa membuat peminjaman, mengirim email, atau mengubah sebuah catatan, dan dalam pengujian Anda tidak menginginkannya. Itulah sebabnya Simulasi tidak sekadar meloloskan setiap panggilan.


Istilah penting

IstilahArtinya
Tool call (pemanggilan tool)Satu saat ketika agent memakai sebuah tool saat menjawab.
Arguments (argumen)Detail yang dikirim agent bersama sebuah panggilan, seperti ISBN sebuah buku.
Response (respons)Apa yang dikirim kembali oleh tool.
MockRespons pura-pura yang sudah Anda tulis, agar panggilan memberi jawaban yang sama setiap kali tanpa menyentuh sistem sungguhan.
Mock setKelompok mock untuk satu tool atau lebih. Lihat Tool Mocks.
Allow LivePengaturan pada satu skenario yang mengizinkan satu tool melakukan panggilan sungguhan dalam skenario itu.
Tool PolicyHalaman untuk menetapkan, untuk seluruh agent, tool mana yang boleh berjalan live ketika tidak ada mock yang menjawab. Lihat Tool Policy.
Built-in defaultApa yang dilakukan tool ketika tidak ada mock yang menjawab, skenario tidak mengizinkannya live, dan Tool Policy tidak punya pengaturan untuknya. Bergantung pada jenis tool.
BlockedPanggilan tidak dilakukan. Agent diberi tahu bahwa tool tidak tersedia, jadi step yang membutuhkannya kemungkinan besar gagal.
SimulatedPanggilan tidak dilakukan, tetapi agent mendapat jawaban "berhasil" pura-pura.
LivePanggilan benar-benar dilakukan, pada sistem sungguhan.

Sebelum memulai

  • Anda memiliki peran Owner atau Contributor pada agent.
  • Agent Anda punya setidaknya satu tool. Tanpa tool, tidak ada yang di halaman ini yang berlaku.
  • Tool Mocks dan Tool Policy tampil di sidebar di bawah Simulation hanya jika fitur diaktifkan untuk CMS Anda. Jika Anda tidak melihatnya, tanyakan kepada orang yang mengelola CMS Anda.
  • Untuk memakai Allow Live… pada sebuah skenario, Anda harus menjadi Owner atau Admin organisasi. Semua hal lain di halaman ini bisa dilakukan setiap Owner dan Contributor agent, termasuk sakelar Run Live di Tool Policy, yang berlaku untuk semua skenario.

Bagaimana pemanggilan tool diputuskan

Ketika agent memanggil sebuah tool selama run, Qlar mencari jawaban dalam urutan tetap. Langkah pertama yang punya jawaban menang, dan sisanya tidak ditanya.

  1. Case mock. Case dari setiap mock set yang dipasang, berurutan: set milik step dari atas ke bawah, lalu set milik skenario dari atas ke bawah. Case pertama yang cocok dengan panggilan yang menjawab. Yang menentukan adalah urutannya, bukan seberapa spesifik sebuah case.
  2. Otherwise milik sebuah mock set. Jika tidak ada case di set mana pun yang cocok, set pertama yang Otherwise-nya menjawab sisa panggilan akan merespons. Set yang meneruskan tidak menjawab.
  3. Scenario's Allow Live. Skenario mengizinkan tool ini berjalan live, jadi panggilan dilakukan sungguhan.
  4. This Policy. Tool Policy agent: pengaturan yang membuat tool berjalan live atau tetap diblokir. Berlaku untuk setiap skenario agent.
  5. Built-in default. Apa yang dilakukan tool ketika tidak ada langkah di atas yang berlaku.

Kartu keputusan di halaman Tool Policy menggambarkannya sebagai lima chip: Step Mocks, Scenario Mocks, Scenario's Allow Live, This Policy, dan Built-in Default. Dua chip mock itu bersama-sama adalah butir 1 dan 2.

Empat hal mengikuti dari urutan ini.

  • Mock selalu menang. Tool yang diatur berjalan live di Tool Policy tetap bisa di-mock pada skenario yang membutuhkan jawaban tetap.
  • Case di setiap set diperiksa sebelum Otherwise set mana pun. Set yang lebih tinggi dalam daftar tidak menyembunyikan case milik set di bawahnya hanya karena ia punya jawaban Otherwise. Otherwise-nya hanya menjawab panggilan yang tidak cocok dengan case mana pun.
  • Sebuah step bisa mengambil alih tool sepenuhnya. Atur Otherwise tool itu ke Use ahead of sets listed below pada set milik step. Set itu lalu menjawab setiap panggilan ke tool tersebut di step itu, sebelum case milik set yang terdaftar di bawahnya, termasuk set milik skenario. Set yang terdaftar di atasnya tetap memeriksa case-nya lebih dulu.
  • Sebuah mock set boleh menjawab hanya sebagian panggilan. Jika tidak ada case-nya yang cocok dan set itu meneruskan, atau jika setiap set meneruskan, panggilan berlanjut ke Allow Live, lalu Tool Policy, lalu default bawaan.

Default bawaan

Langkah terakhir bergantung pada jenis tool.

Jenis toolDefault dalam simulasi
Tool yang hanya membaca data dari plugin, seperti pembaca database, tabel data, dokumen publik, atau recall memoriLive: berjalan sungguhan, karena membaca tidak mengubah apa pun.
Tool bawaan yang hanya membaca, seperti pencarian web, web scraping, dan pencarian pengetahuan agent AndaLive: berjalan sungguhan dan tidak bisa di-mock. Allow Live… tidak ditawarkan untuknya, karena sudah live.
Tool yang menulis data, seperti formulir, pengingat, menyimpan, melupakan, atau memberi persetujuan pada memori, atau eskalasi ke seseorangSimulated: tidak ada yang ditulis, dan agent mendapat "berhasil" pura-pura.
Tool yang tidak bisa dinilai Qlar dari luar: API Anda sendiri, server MCP (layanan yang menyediakan tool bagi agent AI dengan cara standar), agent lain (termasuk agent A2A, yang dijalankan di tempat lain dan diajak bicara agent Anda lewat standar A2A), atau tool plugin dengan efek yang tidak diketahuiBlocked, sampai Anda menyalakan Run Live di Tool Policy.
Tool internal milik QlarInternal Tool: selalu berjalan dan tidak pernah di-mock, disimulasikan, atau diblokir.

Karena default untuk kelompok keempat ketat, run pertama pada agent dengan API sendiri sering menampilkan panggilan Blocked. Itu disengaja: jawaban yang aman adalah defaultnya sampai ada orang yang memutuskan lain.


Label hasil

Dua tempat menampilkan label hasil, dan keduanya memakai kata yang sedikit berbeda. Di sebuah hasil, label memberi tahu apa yang telah terjadi. Di sebuah skenario, panel Agent Tools memberi tahu apa yang akan terjadi.

Apa yang terjadi dalam sebuah run

Pada kartu step di sebuah hasil, Tool calls (n) mendaftar setiap panggilan. Setiap panggilan adalah kartu bernomor dengan chip hasil dan satu baris yang menjelaskan mengapa panggilan itu berakhir demikian. Membaca Hasil menunjukkan letaknya.

Chip hasilArtinya
MockedSebuah mock set menjawab panggilan itu: entah sebuah case cocok dan responsnya dipakai, atau tidak ada case yang cocok dan respons Otherwise dari set pertama yang menjawab secara default yang dipakai. Baris di bawah argumen menyebut yang mana ("No case matched, used Otherwise" untuk yang kedua).
SimulatedTidak ada mock yang menjawab. Default tool mensimulasikan keberhasilan: tidak ada yang dilakukan sungguhan.
LivePanggilan benar-benar dilakukan. Chip ini membawa peringatan "Live — may contain real data".
BlockedPanggilan tidak dilakukan. Agent diberi tahu bahwa tool tidak tersedia.
Internal ToolSalah satu tool internal milik Qlar. Selalu berjalan.
UnknownQlar tidak bisa memastikan apa yang terjadi pada panggilan itu.
Baris pada kartuMengapa panggilan mendapat hasil itu
Step-level mock setMock set yang dipasang pada step yang menjawab. Muncul setelah case dan nama set.
Scenario-level mock setMock set yang dipasang pada seluruh skenario yang menjawab. Muncul setelah case dan nama set.
Allowed live in this scenarioAllow Live pada skenario membuat panggilan menjadi sungguhan.
Tool policyTool Policy agent yang memutuskan.
Built-in defaultDefault bawaan tool yang memutuskan. Ini juga yang Anda lihat untuk tool yang tidak punya pengaturan di Tool Policy.
Tanpa barisTool internal, atau panggilan dari run lama yang tidak merekam aturannya.

Apa yang akan terjadi dalam sebuah skenario

Panel Agent Tools menampilkan ini sebelum Anda menjalankan. Setiap baris punya satu chip hasil: hanya kata hasilnya dan sebuah ikon kecil yang menunjukkan asalnya, yaitu mock set, Tool Policy, Allow Live skenario ini, atau default bawaan. Arahkan kursor ke chip untuk membaca kalimat di baliknya.

ChipArtinya
MockedSetiap panggilan ke tool mendapat jawaban mock. Arahkan kursor untuk melihat mock set mana yang menjawab.
Partly mockedSebuah mock hanya menjawab panggilan yang cocok dengan salah satu case-nya, atau hanya di beberapa step. Apa yang dilakukan sisa panggilan ditampilkan setelah kata "otherwise", sebagai chip kedua.
LiveTool berjalan sungguhan. Kalimat saat kursor diarahkan menjelaskan alasannya: "Allowed to run live by this scenario.", "Set to run live in the tool policy.", atau bahwa tool berjalan live secara default karena hanya membaca data.
SimulatedTidak ada yang dilakukan sungguhan. Agent mendapat "berhasil" pura-pura.
BlockedPanggilan akan gagal. Kalimat saat kursor diarahkan menjelaskan apakah Tool Policy yang memblokirnya atau defaultnya.
DisabledTool dimatikan di Draft dan Published, jadi tidak bisa dipanggil.
1 step overrides atau 2 steps overrideMock set milik step mengambil alih tool pada sejumlah step itu.

Langkah 1: Lihat ringkasan Agent Tools

  1. Di sidebar, buka Simulation lalu klik Scenarios.
  2. Buka sebuah skenario, atau klik New Scenario untuk memulai yang baru.
  3. Buka Advanced Setup. Pada layar lebar, ini adalah strip sempit di sisi kiri formulir: klik tile Agent Tools-nya. Pada layar sempit, ini adalah kartu di bawah step: buka kartu itu lalu klik Agent Tools, yang langsung membuka daftar lengkap tool.

Di bawah Agent Tools Anda melihat bar berwarna dengan satu chip untuk setiap hasil yang berlaku, seperti Live 7, Simulated 3 atau Blocked 54 pada Libraría. Angka abu-abu di samping judul adalah jumlah tool yang dimiliki agent. Saat diciutkan, panel menampilkan satu baris, misalnya "1 will be blocked · 2 mocked · 1 live · 3 simulated". Jika tidak ada yang akan gagal, baris itu dimulai dengan "Nothing blocked".

Arti chip-nya:

ChipArtinya
MockedSetiap panggilan dijawab oleh mock.
Partly mockedMock hanya menjawab sebagian panggilan.
LiveTool berjalan sungguhan.
SimulatedTool mendapat "berhasil" pura-pura.
BlockedPanggilan akan gagal.
Bagian Agent Tools pada Advanced Setup dengan jumlah tool, bar berwarna, chip hasil seperti Live, Simulated, dan Blocked beserta jumlahnya, serta tombol Review Tools

Apa pun di bawah Blocked adalah hal pertama yang perlu ditangani. Bar dan hitungannya baru muncul setelah tool agent dan Tool Policy selesai dimuat. Sebelum itu, bagian ini hanya menampilkan "Loading tool catalog..." atau "Checking tool policy…", dan tombol Retry jika pemuatan gagal. Jika menampilkan "This agent has no tools with mockable policies." tidak ada yang perlu ditinjau.


Langkah 2: Tinjau tool

  1. Di bawah Agent Tools, klik Review Tools. Anda juga bisa mengklik salah satu chip hasil untuk membuka panel yang sudah difilter ke hasil itu.
  2. Panel What the agent’s tools will do terbuka. Subjudulnya menyebut agent Anda dan versi yang dipakai skenario, draft atau published version. Tautan Edit Tool Policy → di bagian atas membuka halaman Tool Policy di tab baru.
  3. Gunakan tab di bagian atas untuk memilih cakupan. Whole Scenario menampilkan apa yang didapat setiap step. Step 1, Step 2, dan seterusnya menampilkan apa yang didapat satu step itu. Pada tab step, mock set milik step itu diperiksa lebih dulu.
  4. Baca baris di bawah tab. Pada Whole Scenario bunyinya misalnya "57 action tools · 0 mocked · 54 will be blocked". Action tool adalah tool yang akan diblokir atau disimulasikan tanpa mock. Pada tab step, baris itu mengingatkan cara kerja mock: case setiap set diperiksa lebih dulu, milik step ini lalu milik skenario, baru kemudian Otherwise dari set tertinggi.
  5. Klik All untuk melihat semua tool. Klik Needs attention · n untuk melihat hanya tool yang akan diblokir atau baru sebagian di-mock. Klik sebuah chip hasil di bar untuk melihat hanya hasil itu.
  6. Ketik di Search tools… untuk mencari tool berdasarkan nama atau deskripsinya.
  7. Tool dikelompokkan menurut asalnya: Custom API (API milik Anda sendiri), Plugins, MCP (tool dari server MCP), Other agents, A2A (agent yang dijalankan di tempat lain), dan Built-in. Sebuah judul bisa menambahkan nama grup API, misalnya Custom API · Finance dan Custom API · Library.

Panel terbuka seperti ini, dengan tombol All dan Needs attention diberi tanda.

Panel samping What the agent's tools will do, dengan tab Whole Scenario dan Step, baris cakupan, chip hasil, tombol All dan Needs attention yang diberi kotak penanda di samping kolom Search tools, serta baris tool pertama yang dikelompokkan di bawah judul Custom API

Needs attention · n hanya menyisakan tool yang akan diblokir atau baru sebagian di-mock. Itulah daftar yang dikerjakan lebih dulu.

Panel tool dengan Needs attention terpilih, hanya menampilkan tool yang diblokir seperti submitLibraryFeedback dengan chip Blocked serta tombol Mock It dan Allow Live…

Setiap tool adalah satu baris dengan namanya, deskripsi singkat, chip hasil, dan, untuk tool yang baru sebagian di-mock, chip kedua setelah "otherwise". Chip Draft Only atau Published Only tampil saat tool hanya ada di satu versi. Tool yang dimatikan di kedua versi menampilkan Disabled dan tidak bisa diubah di sini. Di bawah chip, satu baris bisa memberi keterangan tambahan, misalnya "Takes effect after you save" untuk tool yang baru Anda izinkan live, atau "Unmatched calls will reach the real system." untuk tool yang baru sebagian di-mock dan panggilan lainnya berjalan live. Tombol di sisi kanan baris bergantung pada tool-nya:

TombolKapan muncul dan fungsinya
Mock ItTool akan diblokir. Membuka editor mock set dengan tool ini sudah ditambahkan. Lihat Langkah 3.
Allow Live…Tool akan diblokir atau disimulasikan. Mengizinkannya berjalan live dalam skenario ini. Lihat Langkah 4.
Check OrderSebuah mock set me-mock tool ini. Menampilkan, di bawah baris, set dan case dalam urutan pemeriksaannya, serta apa yang menjawab terakhir. Lihat di bawah.
Try a CallSebuah mock set me-mock tool ini. Memungkinkan Anda mengetik argumen contoh, mengklik Test, dan melihat case mana yang menjawab, dengan pencocokan yang sama seperti sebuah run. Lihat Tool Mocks.
Revoke LiveSkenario ini sudah mengizinkan tool berjalan live. Mencabut izin itu.

Lihat mock mana yang menjawab

Ketika beberapa mock set me-mock tool yang sama, klik Check Order pada barisnya. Bagian Checked in this order mendaftar setiap set yang me-mock tool itu beserta tingkatnya, Step atau Scenario, dan case-nya bernomor sesuai urutan Qlar mencobanya. Case atau set yang tidak mungkin menjawab dicoret beserta alasannya, misalnya karena case sebelumnya tanpa kondisi menjawab setiap panggilan. Baris terakhir menyebut apa yang menjawab ketika tidak ada case yang cocok: Otherwise milik set tertentu, atau tool policy.

Baris tool submitLibraryFeedback dengan chip Mocked serta tombol Hide Check Order dan Try a Call, dan di bawahnya bagian Checked in this order yang diberi kotak penanda, yang mendaftar mock set beserta levelnya, Scenario, dan baris terakhir yang menyebut Otherwise mana yang menjawab

Jika panel menampilkan peringatan bahwa apa yang terlihat bisa berbeda dari run karena CMS dan layanan simulasi memakai versi pencocokan mock yang berbeda, percayai run sungguhan dibanding panel sampai keduanya kembali sama.


Langkah 3: Beri mock pada tool yang diblokir

Tool yang Blocked tidak boleh berjalan dalam pengujian, jadi step yang membutuhkannya gagal. Perbaikan yang aman adalah mock: jawaban yang sudah Anda tulis.

  1. Di panel, temukan tool-nya. Pada tool yang akan diblokir, klik Mock It.
  2. Editor mock set terbuka di panel samping dengan tool itu sudah ditambahkan. Klik Add Case, tentukan panggilan mana yang harus dijawabnya, dan tulis respons yang Anda ingin diterima agent. Tool Mocks menunjukkan caranya.
  3. Klik Apply. Set itu dipasang pada skenario, atau pada step jika Anda membuka panel di tab step.

Gambar menunjukkan tool yang diblokir dengan tombol Mock It diberi tanda. Di sebelahnya, Allow Live… adalah pilihan lain, dibahas di langkah berikutnya.

Baris tool create_loan dengan chip Blocked dan tombol Mock It yang diberi kotak penanda di samping tombol Allow Live…

Baris tool itu sekarang berbunyi Mocked, dan chip-nya di bar berpindah dari Blocked ke Mocked. Simpan skenario.

Jika Anda membuka panel di tab step, Mock It menambahkan mock set ke step itu. Jika tidak, mock set ditambahkan ke seluruh skenario.


Langkah 4: Izinkan tool berjalan live, hanya jika perlu

Kadang sebuah skenario harus membuktikan bahwa sistem sungguhan berfungsi, misalnya bahwa sistem perpustakaan Anda benar-benar menerima sebuah peminjaman dari create_loan. Untuk itu Anda bisa mengizinkan satu tool berjalan live dalam skenario ini.

  1. Di panel, temukan tool-nya. Pada tool yang akan diblokir atau disimulasikan, klik Allow Live….
  2. Baca konfirmasinya, yang bertanya apakah tool boleh berjalan live. Isinya "Real data will change." Untuk tool eskalasi, ditambahkan bahwa supervisor akan diberi tahu. Untuk agent lain, ditambahkan bahwa agent itu dan tool-nya sendiri akan benar-benar berjalan. Jika tool di-mock untuk sebagian input, ditambahkan juga bahwa panggilan yang dijawab mock tetap di-mock dan semua panggilan lain berjalan sungguhan.
  3. Klik Yes. Baris itu sekarang berbunyi Live, dan di bawahnya "Takes effect after you save".
  4. Klik Save pada skenario. Run memakai skenario yang tersimpan, jadi Allow Live yang belum Anda simpan tidak dipakai. Qlar meminta Anda menyimpan sebelum menjalankan.

Untuk membatalkannya, klik Revoke Live pada baris yang sama, lalu simpan. Arahkan kursor ke tombol itu untuk melihat apa yang terjadi pada panggilan yang tidak dijawab mock sesudahnya. Jika tool yang Anda izinkan live kemudian dihapus dari agent, panel mendaftar pengaturan sisanya di bagian bawah dengan judul Allow Live for tools no longer on this agent, lengkap dengan tombol Remove.

Gunakan seperlunya. Allow Live melakukan panggilan sungguhan, dengan kredensial sungguhan, di setiap run skenario itu.

Langkah ini membahas kedua kemungkinan, karena yang Anda lihat bergantung pada peran Anda. Jika Anda bukan Owner atau Admin organisasi, Allow Live… berwarna abu-abu dan tidak bisa dipakai. Gambar di halaman ini diambil dengan akun seperti itu, jadi konfirmasi pada butir 2 hanya dijelaskan dengan kata-kata.

Siapa yang bisa memakai Allow Live…

Hanya Owner dan Admin organisasi yang bisa memakai Allow Live… pada sebuah skenario. Bagi orang lain, tombolnya tetap terlihat tetapi berwarna abu-abu. Arahkan kursor ke sana untuk membaca "Only organisation Owners and Admins can allow a tool to run live", dan catatan gembok di bagian bawah panel mengulangnya.

Baris tool create_loan dengan tombol Allow Live… berwarna abu-abu dan diberi kotak penanda, serta tooltip berbunyi Only organisation Owners and Admins can allow a tool to run live

Jika itu Anda, mintalah Owner atau Admin organisasi Anda untuk membuka skenario dan mengizinkan tool itu. Atau hindari kebutuhan itu: mock melakukan hal yang sama untuk pengujian, tanpa menyentuh sistem sungguhan, dan siapa pun dengan peran Owner atau Contributor pada agent bisa memakai Mock It.

Sakelar Run Live di Tool Policy berbeda. Siapa pun dengan peran Owner atau Contributor pada agent bisa mengubahnya, dan sakelar itu berlaku untuk semua skenario agent, bukan hanya satu.


Langkah 5: Periksa hasil sebuah run

Setelah run, buka hasilnya dan lihat pemanggilan tool. Lihat Membaca Hasil untuk letaknya.

  1. Buka tab Results dan klik run-nya.
  2. Buka skenario dan sebuah step, lalu klik Tool calls (n).
  3. Untuk setiap panggilan, bandingkan chip hasil dengan apa yang dijanjikan panel Agent Tools.

Setiap baris menampilkan kunci tool, misalnya custom:get_book untuk tool Custom API atau a2a:HelperDesk untuk agent A2A, lalu chip hasil, dan di bawahnya argumen yang dikirim agent serta satu baris yang menjelaskan mengapa panggilan itu berakhir demikian. Header bagian menghitung hasilnya, misalnya Live 1 dan Blocked 1. Klik sebuah kartu untuk membuka catatan lengkapnya. Pada panggilan yang di-mock, Checked before the answer mendaftar case yang dicoba lebih dulu dan tidak cocok, masing-masing dengan alasannya, sehingga Anda bisa melihat mengapa case yang lebih awal tidak menjawab.

Pada step pertama ini, agent mencari sebuah buku dan menelusuri katalog. Kedua tool tidak punya pengaturan di Tool Policy, jadi keduanya jatuh ke default bawaan sebuah Custom API, yaitu diblokir, dan kedua panggilan Blocked. Chip hasil pertama diberi tanda. Panggilan ketiga menuju plugin yang hanya membaca data, jadi berjalan Live.

Kartu Tool calls (3) dengan chip Blocked 2 dan Live 1 dan tiga kartu bernomor: custom:get_book dan custom:list_books, masing-masing dengan chip Blocked, baris Built-in default, catatan merah bahwa tool tidak tersedia, dan tombol Mock This Call, chip Blocked pertama diberi kotak penanda, serta panggilan plugin ke fn_library_loans dengan chip Live

Step berikutnya meminjamkan buku dengan create_loan. create_loan adalah salah satu API milik Anda sendiri (Custom API), jadi ia diblokir sampai Anda menyalakan Run Live di Tool Policy, baik ia membaca maupun menulis data.

Kartu Tool calls (1) dengan satu kartu bernomor, custom:create_loan, dengan chip Blocked yang diberi kotak penanda, argumennya, baris Built-in default, dan tombol Mock This Call

Pada step terakhir, agent mencari dokumen publik perpustakaan. Panggilan itu Live karena tool yang hanya membaca data berjalan live secara bawaan. Panggilan itu menampilkan peringatan "Live — may contain real data" dan satu baris berbunyi "Built-in default". Panggilan kedua menuju agent lain dan Blocked.

Kartu Tool calls (2) dengan Live 1 dan Blocked 1: panggilan plugin ke get_public_documents dengan chip Live yang diberi penanda, argumennya, baris Built-in default, dan peringatan Live — may contain real data, serta a2a:HelperDesk dengan chip Blocked dan baris Built-in default

Pada panggilan Blocked Anda bisa mengklik Mock This Call, dan pada panggilan Mocked atau Live Anda bisa mengklik Save as Case, untuk mengubah panggilan itu menjadi mock untuk run berikutnya. Tool Mocks menjelaskan keduanya.

Hasil dari run yang lebih lama bisa membawa catatan "Answered under the previous mock rule: a set's Otherwise ended the search." Artinya run itu dijawab sebelum case dari setiap set diperiksa lebih dulu daripada Otherwise mana pun. Run baru pada skenario yang sama bisa menjawab secara berbeda.


Periksa hasilnya

Anda berhasil jika Anda bisa menjawab ini:

  • Untuk satu tool pada agent Anda, aturan mana yang menentukan apa yang terjadi: sebuah case mock, Otherwise milik sebuah mock set, sebuah Allow Live, Tool Policy, atau default bawaan?
  • Tool mana dalam sebuah skenario yang akan Blocked jika Anda menjalankannya sekarang?
  • Siapa di organisasi Anda yang bisa memakai Allow Live… pada sebuah skenario?

Jika Anda melihat hal lain:

  • Sebuah tool berbunyi Blocked dan belum ada yang memutuskan tentangnya. Itu default untuk API Anda sendiri, tool MCP, agent lain, dan tool dengan efek yang tidak diketahui. Beri mock dengan Mock It, atau nyalakan Run Live untuknya di Tool Policy.
  • Panggilan yang sudah Anda mock menampilkan "No case matched, used Otherwise". Tidak ada case di set yang dipasang yang cocok, jadi respons Otherwise sebuah set yang menjawab. Periksa kondisi case-nya, atau klik Check Order untuk melihat urutannya.
  • Panggilan yang sudah Anda mock masih menampilkan Blocked. Panggilan mungkin tidak cocok dengan case mana pun, dan setiap set yang me-mock tool itu mungkin diatur untuk meneruskan. Periksa blok Otherwise milik tool itu, atau klik Check Order.
  • Sebuah case di set yang lebih rendah tidak menjawab. Sebuah case, atau Otherwise yang diatur ke Use ahead of sets listed below, yang lebih tinggi dalam daftar menjawab setiap panggilan lebih dulu. Check Order mencoret apa yang tidak mungkin menjawab.
  • Sebuah panggilan menampilkan Live dan Anda tidak mengharapkannya. Lihat baris di bawah argumennya. Tool policy berarti Tool Policy mengizinkan tool berjalan live. Allowed live in this scenario berarti skenario ini mengizinkannya. Hapus pengaturan itu, atau tambahkan mock pada skenario.
  • Bagian Agent Tools hanya menampilkan pemberitahuan. Tool agent atau Tool Policy masih dimuat, atau pemuatan gagal. Bagian ini menampilkan "Failed to load the tool catalog. The rest of the form is still usable." atau "The agent's tool policy couldn't be loaded, so what each tool will do can't be shown. Runs still follow the saved policy." Klik Retry.

Langkah berikutnya