Tool Policy

Buka di CMS

Halaman Tool Policy menjawab satu pertanyaan untuk seluruh agent Anda: ketika sebuah simulasi memanggil tool dan tidak ada mock yang menjawab, haruskah panggilan itu berjalan sungguhan atau diblokir? Dalam panduan ini Anda mempelajari mengapa halaman ini ada, cara membacanya, cara mengubah sebuah tool, dan cara menyimpan dengan aman. Waktu yang dibutuhkan sekitar sepuluh menit.

Agent contohnya adalah Libraría, yang punya banyak tool. Agent Anda akan punya tool lain. Langkah-langkahnya sama. Jika Anda belum yakin apa itu pemanggilan tool, baca dulu Tool dalam Simulasi.

AI terlibat di setiap run: agent menulis jawabannya dan memutuskan kapan memanggil tool. Halaman ini sendiri tidak memakai AI. Apa yang dilakukan sebuah tool ditentukan oleh aturan yang Anda baca di sini, jadi pengaturan yang sama memberi keputusan yang sama setiap kali. Panggilan yang dilakukan sebuah skenario tetap bisa berbeda dari satu run ke run berikutnya.

Film di bawah ini adalah versi singkatnya. Bagian-bagian sesudahnya menunjukkan halaman ini di layar, langkah demi langkah.

Gambaran umum Tool Policy: menentukan tool mana yang boleh berjalan live dalam simulasi

Mengapa tool policy ada

Qlar harus berhati-hati dengan tool dalam pengujian. Sebagian tool hanya membaca informasi. Yang lain menulis, mengirim, atau memesan sesuatu, atau menjangkau sistem yang tidak bisa dilihat Qlar. Sebuah pengujian tidak boleh mengubah data sungguhan secara tidak sengaja.

Jadi ketika agent memanggil sebuah tool selama simulasi, Qlar lebih dulu mencari mock, yaitu jawaban yang sudah ditulis. Jika tidak ada mock yang menjawab panggilan itu, sesuatu yang lain harus memutuskan apa yang dilakukan. Itulah Tool Policy. Ia menetapkan, untuk setiap tool, apakah panggilan boleh run live (sungguhan) atau blocked (diblokir).

Dua hal lain yang perlu diketahui:

  • Berlaku untuk setiap skenario agent, pada Draft maupun Published. Anda mengaturnya sekali.
  • Ini hanya default. Mock yang menjawab panggilan menang atasnya, dan satu skenario tetap bisa mengizinkan sebuah tool berjalan live sendiri.

Istilah penting

IstilahArtinya
Run LiveTool melakukan panggilan sungguhan, ke sistem sungguhan, dengan kredensial sungguhan.
BlockedPanggilan tidak dilakukan. Agent diberi tahu bahwa tool tidak tersedia.
Built-in defaultApa yang dilakukan tool ketika Anda belum mengaturnya di halaman ini. Bergantung pada jenis tool: tool yang hanya membaca data berjalan live, tool yang tidak bisa dinilai Qlar dari luar diblokir.
MockJawaban yang sudah ditulis. Lihat Tool Mocks.
Allow LivePengaturan pada satu skenario yang mengizinkan satu tool berjalan live dalam skenario itu. Tidak ada di halaman ini.

Sebelum memulai

  • Anda memiliki peran Owner atau Contributor pada agent. Siapa pun dengan salah satu peran itu bisa mengubah sakelar Run Live di halaman ini, dan perubahannya berlaku untuk semua skenario agent.
  • Agent Anda punya setidaknya satu tool. Jika tidak, halaman menampilkan No Tools To Set: "This agent has no tools that can be set here."
  • Tool Policy tampil di sidebar di bawah Simulation hanya jika fitur diaktifkan untuk CMS Anda.
  • Anda sudah membaca Tool dalam Simulasi. Halaman itu menjelaskan hasil-hasil yang dipakai di bawah.

Langkah 1: Buka halaman dan baca kartu keputusan

  1. Di sidebar, buka Simulation dan klik Tool Policy.
  2. Baca baris di bawah judul: "What each tool does in simulations when no mock answers the call. Applies to every scenario of this agent, on both Draft and Published."
  3. Baca kartu How a tool call is decided in a simulation. Kartu ini menampilkan lima chip, dari kiri ke kanan, dalam urutan Qlar menanyakannya. Yang pertama punya jawaban menang.
ChipArtinya
Step MocksMock set yang dipasang pada step yang melakukan panggilan.
Scenario MocksMock set yang dipasang pada seluruh skenario.
Scenario's Allow LiveSkenario mengizinkan tool ini berjalan live, diatur di setelan Agent Tools skenario.
This PolicyPengaturan di halaman ini. Chip ini disorot.
Built-in DefaultApa yang dilakukan tool ketika tidak ada yang di atas berlaku.

Catatan di bawah chip berbunyi "Mocks always win, so a tool that runs live here can still be mocked in the scenarios that need specific answers."

Halaman Tool Policy dengan judul dan baris What each tool does in simulations when no mock answers the call, serta kartu How a tool call is decided in a simulation yang menampilkan chip Step Mocks, Scenario Mocks, Scenario's Allow Live, This Policy yang disorot dan Built-in Default, dengan catatan bahwa mock selalu menang

Halaman ini hanya mengatur chip keempat. Anda bisa mengatur sebuah tool berjalan live di sini dan tetap menjaganya aman di setiap skenario yang me-mock-nya.

Dua chip mock menyembunyikan satu detail kecil. Ketika beberapa mock set dipasang dan me-mock tool yang sama, Qlar lebih dulu memeriksa case dari setiap set, step set sebelum scenario set, dan case pertama yang cocok yang menjawab. Hanya jika tidak ada case yang cocok, set pertama yang diatur menjawab dengan respons Otherwise yang akan menjawab. Jika setiap set terus mencari, pertanyaan berlanjut ke chip berikutnya, dan di situlah halaman ini berperan. Tool dalam Simulasi menunjukkan urutan ini selengkapnya.


Langkah 2: Pahami kelompok dan defaultnya

Di bawah kartu, tool agent Anda ada dalam empat kelompok. Setiap kelompok adalah kartu yang bisa Anda buka dan tutup. Di samping judulnya ada hitungan, misalnya "12 tools · 1 unsaved". Bagian "unsaved" hanya muncul jika Anda sudah mengubah sesuatu di kelompok itu.

Tiga kartu kelompok dalam keadaan tertutup: Effect unknown dengan jumlah tool dan chip Default: Blocked, Reads data dengan jumlah tool dan chip Default: Live, serta Not set on this page dengan jumlah tool
KelompokDefaultTool apa saja di dalamnya
Effect unknownDefault: BlockedTool yang tidak bisa dinilai Qlar dari luar: API Anda sendiri (cara bagi program untuk saling berbicara), server MCP (layanan yang menyediakan tool bagi agent AI dengan cara standar), agent lain, agent A2A (agent yang dijalankan di tempat lain dan diajak bicara agent Anda lewat standar A2A), dan tool plugin dengan efek yang tidak diketahui. Tool ini diblokir sampai Anda menyalakan Run Live. Masing-masing punya sakelar Run Live. Kelompok ini terbuka saat Anda tiba.
Reads dataDefault: LiveTool plugin yang hanya membaca data, seperti pembaca database, tabel data, dokumen publik, dan recall pada plugin memori. Tool ini berjalan live kecuali Anda mematikan Run Live, yang memblokirnya.
Not set on this pageTanpa chip defaultTool yang tidak pernah diubah halaman ini. Masing-masing menampilkan apa yang dilakukannya: Simulated success untuk tool yang menulis data, seperti formulir, pengingat, menyimpan atau melupakan memori, atau eskalasi, atau Always runs untuk tool bawaan dan internal yang hanya membaca.
No longer on this agentTanpa chip defaultPengaturan sisa untuk tool yang sudah tidak dimiliki agent. Hanya muncul jika ada sisa. Lihat Membersihkan pengaturan untuk tool yang sudah tidak ada.

Tool yang belum pernah Anda sentuh tidak dibiarkan tanpa keputusan. Ia mengikuti default kelompoknya, dan sakelar Run Live-nya menunjukkan default itu: mati di Effect unknown, menyala di Reads data. Jadi setiap tool di halaman ini selalu melakukan sesuatu, dan halaman selalu menunjukkan apa itu.

Di dalam sebuah kelompok, tool diurutkan menurut asalnya, dengan judul seperti Custom API · nama grup API, Plugins · nama plugin, MCP · nama server, Other agents, dan A2A. Berikut Effect unknown yang terbuka, dengan judul pertama Custom API · Library dan sebuah tool yang punya sakelar Run Live, dalam keadaan mati:

Kartu kelompok Effect unknown yang terbuka, dengan judul Custom API · Library dan tool submitLibraryFeedback beserta deskripsinya dan sakelar Run Live yang mati

Di Reads data, judulnya menyebut plugin, misalnya Plugins · Library Policies (Test). Sakelar Run Live menyala, karena tool ini berjalan live secara default:

Kartu kelompok Reads data yang terbuka, dengan judul Plugins · Library Policies (Test) dan sebuah tool dokumen publik beserta deskripsinya dan sakelar Run Live yang menyala

Not set on this page tidak punya sakelar. Tool-nya didaftar di bawah sub-judul Simulated Success dan Always Runs, masing-masing dengan chip yang menyatakannya. Di bawah tiap judul ada catatan singkat yang menjelaskannya. Di bawah Always Runs, catatan itu menyebut bahwa tool ini hanya membaca data atau merupakan bagian dari cara kerja agent itu sendiri, sehingga simulasi selalu menjalankannya sungguhan:

Kartu kelompok Not set on this page yang terbuka, dengan sub-judul Simulated Success, catatan tentang Allow Live di bawahnya, dan tool pertama, reminder_create, dengan chip Simulated success tanpa sakelar

Tool di Not set on this page tidak punya sakelar. Untuk membuat tool Simulated success berjalan sungguhan, buka skenario dan pakai Allow Live… di setelan Agent Tools-nya. Catatan di bawah Simulated Success berbunyi "To run a Simulated success tool for real, open the scenario and use Allow Live… in its Agent Tools panel. Real writes are always a per-scenario choice." Pada formulir skenario, Allow Live… ada di panel yang dibuka oleh Review Tools.


Langkah 3: Temukan tool yang Anda inginkan

Bar di atas kelompok punya dua filter dan pencarian.

KontrolFungsinya
All ToolsMenampilkan semua tool.
Unsaved (n)Hanya menampilkan tool yang sudah Anda ubah dan belum disimpan, beserta jumlahnya.
Search toolsMencari tool berdasarkan nama, deskripsi, judul sumber, atau, di Not set on this page, statusnya, tanpa membedakan huruf besar dan kecil.

Selama filter atau pencarian aktif, kelompok yang tidak punya hasil disembunyikan, dan yang cocok terbuka. Jika tidak ada yang cocok, halaman menampilkan No Tools Found. Jika Anda memilih Unsaved dan belum mengubah apa pun, halaman menampilkan No Unsaved Changes.

Untuk meninjau tool yang butuh keputusan, mulailah di Effect unknown: inilah tool yang saat ini tidak bisa dijalankan live oleh agent Anda dalam simulasi. Pakai Search tools untuk langsung menuju satu tool lewat namanya.

Bar filter terlihat seperti ini, dengan Unsaved (0) diberi tanda:

Bar filter dengan tombol All Tools dan Unsaved (0), yang kedua diberi kotak penanda, serta kolom Search tools, di atas kartu kelompok Effect unknown

Langkah 4: Putuskan untuk setiap tool

Setiap tool adalah satu baris dengan ikon, nama, deskripsi singkat, dan di sebelah kanan sakelar Run Live. Deskripsi sebuah Custom API diawali metode HTTP-nya, misalnya GET. Gambar menunjukkan get_book, tool yang belum dinyalakan siapa pun, dengan sakelar Run Live-nya (diberi tanda) dalam keadaan mati, yaitu default Effect unknown.

Baris tool get_book dengan deskripsinya dan sakelar Run Live yang diberi kotak penanda dalam keadaan mati
Pada barisArtinya
Sakelar Run Live, menyalaTool melakukan panggilan sungguhan dalam simulasi ketika tidak ada mock atau pengaturan skenario yang menjawab.
Sakelar Run Live, matiTool diblokir.
Chip Disabled, Disabled in Draft, Disabled in Published, Draft Only, atau Published OnlyTool dimatikan, atau hanya ada di satu versi agent. Catatan di bawah tool menyebut versi mana yang dicakup pengaturan Anda.
Baris yang ditandai berubahAnda mengubahnya dan belum menyimpan. Dihitung di Unsaved.
Baris "Turned off in Draft and Published. Enable the tool to change this setting; it applies again as soon as the tool is on."Tool mati di kedua versi, jadi sakelar dikunci.

Ketika Anda menyalakan Run Live untuk tool yang bisa menimbulkan kerugian nyata, sebuah peringatan muncul di bawahnya:

  • Untuk API Anda sendiri yang bukan pembacaan biasa (bukan GET, metode HTTP yang hanya membaca data; metode seperti POST, PUT, dan DELETE mengirim atau mengubahnya): "This is a <method> call. Running it live changes real data in every simulation run."
  • Untuk tool MCP yang namanya menyiratkan perubahan data: "The name suggests this tool changes data. Running it live does so in every simulation run."
  • Untuk agent lain: "This agent runs as a normal conversation, so its own tools also run for real: its escalations, forms and API calls are not simulated."
  • Untuk agent A2A: "<name> is a separate agent reached over A2A. Running it live sends it the request, and whatever it does with it happens for real."

Pada judul di dalam sebuah kelompok, Turn All On dan Turn All Off mengubah semua tool dari sumber itu sekaligus, misalnya semua tool satu server MCP. Tombol ini muncul jika sumber itu punya setidaknya dua tool yang bisa diubah. Setiap tombol berwarna abu-abu jika tidak akan mengubah apa pun. Hati-hati dengan Turn All On: baca peringatannya dulu.

Titik awal yang baik untuk sebagian besar agent:

  • Biarkan tool yang menulis atau mengirim tetap diblokir, dan beri mock pada skenario yang membutuhkannya.
  • Atur tool yang hanya membaca ke Run Live, jika data yang dibacanya aman dibaca dalam pengujian.

Langkah 5: Simpan policy

Perubahan Anda belum berlaku sampai Anda menyimpannya. Sebuah bar di bagian bawah halaman menampilkan "No unsaved changes", atau "n unsaved changes" setelah Anda mengubah sesuatu. Setelah Anda menyalakan Run Live untuk get_book, barisnya disorot dan bar berbunyi "1 unsaved change", dengan tombol Cancel dan Save.

Baris-baris tool dengan get_book disorot dan sakelar Run Live-nya menyala, serta bar bawah yang berbunyi 1 unsaved change dengan tombol Cancel dan Save
  1. Klik Save di bar. Tombol berwarna abu-abu jika tidak ada yang perlu disimpan.
  2. Dialog berjudul "Save n changes to the tool policy?" terbuka. Isinya "Every scenario of Libraría uses these settings for calls that no mock answers, starting with the next run. Runs already queued keep the old settings."
  3. Baca daftar di bawahnya. Setiap perubahan satu baris, misalnya "get_book: Default (Blocked) → Live". Sebuah pengaturan berbunyi Live atau Blocked jika Anda yang mengaturnya, dan Default (Live) atau Default (Blocked) jika tool hanya mengikuti default kelompoknya. Jika ada tool yang menjadi live, sebuah peringatan ditambahkan: "Tools set to Live call the real system with real credentials in every simulation run, so what they do is not simulated." Untuk agent lain, ditambahkan bahwa semua yang mereka lakukan, termasuk tool mereka sendiri, terjadi sungguhan.
Dialog Save 1 change to the tool policy? dengan kalimat tentang setiap skenario Libraría, baris get_book: Default (Blocked) → Live, peringatan tentang tool yang diatur Live, serta tombol Save Policy dan Cancel
  1. Klik Save Policy, atau Cancel untuk kembali. Save Policy adalah tombol berbingkai dan Cancel adalah tombol merah.

Untuk membuang perubahan tanpa menyimpan, klik Cancel di bar.

Yang berubah saat menyimpan

  • Mulai run berikutnya. Simulasi berikutnya untuk agent ini memakai pengaturan baru. Run yang sudah antre tetap memakai yang lama.
  • Setiap skenario. Satu kali simpan berlaku untuk setiap skenario agent.
  • Draft dan Published. Pengaturan berlaku untuk simulasi pada kedua versi.
  • Tidak ada yang perlu dipublikasikan. Tool Policy hanya mengubah apa yang dilakukan simulasi. Ia tidak mengubah agent live Anda, jadi Anda tidak perlu mempublikasikan apa pun.

Jika orang lain menyimpan lebih dulu

Orang lain yang punya akses bisa menyimpan policy saat halaman Anda terbuka. Jika itu terjadi, penyimpanan Anda tidak berhasil, dan sebuah dialog menampilkan "The policy changed since you opened it. Reload it?"

Klik Reload. Qlar memuat versi yang lebih baru dan membuang perubahan Anda yang belum disimpan. Lihat apa yang diubah orang itu, lalu buat perubahan Anda lagi dan simpan. Jika pemuatan ulang gagal, halaman menampilkan "Failed to reload the tool policy."

Pesan lain yang mungkin Anda temui:

PesanYang perlu dilakukan
"Tool policy saved — The next simulation run of this agent uses the new settings."Tidak ada. Perubahan Anda sudah tersimpan.
"Failed to load the tool policy."Klik Retry.
"Failed to save the tool policy."Coba lagi. Dialog menampilkan alasannya jika server memberikannya.
"The tools of the Draft and Published versions couldn't be loaded, so the tool policy can't be edited right now."Coba lagi nanti.
"The Draft version couldn't be loaded, so settings for tools found only there are kept unchanged." (atau Published)Anda tetap bisa mengedit. Pengaturan yang tidak bisa diperiksa Qlar dibiarkan apa adanya.

Allow Live diatur per skenario, bukan di sini

Anda tidak akan menemukan Allow Live… di halaman ini. Mengizinkan tool melakukan panggilan sungguhan adalah pilihan untuk satu skenario sekali waktu. Pilihan itu dibuat di setelan Agent Tools skenario, dan hanya Owner atau Admin organisasi yang bisa membuatnya. Tool dalam Simulasi menunjukkan caranya. Halaman ini hanya punya sakelar Run Live. Siapa pun dengan peran Owner atau Contributor pada agent bisa mengubahnya, dan sakelar itu berlaku untuk semua skenario sebagai default. Allow Live milik skenario ditanyakan sebelum halaman ini, jadi ia bisa menimpa blokir yang diatur di sini.


Membersihkan pengaturan untuk tool yang sudah tidak ada

Ketika sebuah tool dihapus dari agent, atau server MCP atau plugin dihapus lalu ditambahkan lagi, pengaturan lamanya tertinggal dan tidak berfungsi. Pengaturan seperti ini muncul di kartu No longer on this agent. Masing-masing menampilkan nama tool lama dan sebuah chip, Was Live atau Was Blocked.

  1. Buka kartu itu. Isinya "These settings belong to tools this agent no longer has, so they do nothing now."
  2. Untuk setiap pengaturan lama, pilih tool penggantinya di Move to… dan klik Move. Tool dengan nama yang sama ditandai "· same name". Pengaturan lama keluar dari daftar dan tool baru mengambil nilainya.
  3. Untuk seluruh server MCP atau plugin, pakai Move all to… untuk memindahkan setiap pengaturan ke tool dengan nama yang sama pada server atau plugin yang sekarang. Sebuah pesan memberi tahu berapa yang dipindahkan dan mengapa ada yang tertinggal.
  4. Jika tidak ada pengganti, klik Remove.
  5. Simpan policy. Cancel mengembalikan setiap pengaturan yang dipindahkan dan dihapus.

Custom API atau agent lain yang Anda ganti namanya di halamannya sendiri terbawa secara otomatis. Tool yang hanya dimatikan tidak pernah didaftar di sini.

Anda juga bisa diarahkan ke sini dari sebuah hasil. Ketika pemanggilan yang diblokir milik tool yang masih punya pengaturan Run Live lama yang tertinggal, pemanggilan itu menampilkan catatan seperti "An older <tool> was set to run live. That setting no longer applies to this tool." dengan tautan Move it in Tool Policy →.


Periksa hasilnya

Anda berhasil jika:

  • Setiap tool di Effect unknown yang ingin Anda putuskan punya sakelar Run Live di posisi yang Anda inginkan.
  • Setelah menyimpan, footer menampilkan "No unsaved changes".
  • Pada skenario yang memanggil tool yang Anda atur ke Run Live, tool itu tertulis Live di panel What the agent's tools will do (dibuka dengan Review Tools di bawah Agent Tools), dan menaruh kursor di chip-nya menampilkan "Set to run live in the tool policy." Untuk tool yang Anda atur diblokir, tertulis Blocked dan "Set to blocked in the tool policy."
  • Di sebuah hasil, pemanggilan tool menampilkan baris Tool policy di bawah argumennya. Tool yang tidak pernah Anda atur menampilkan Built-in default.

Jika Anda melihat hal lain:

  • Sebuah tool Blocked dan Anda tidak pernah mengaturnya. Itu default Effect unknown. Jika aman dijalankan live, nyalakan Run Live dan simpan. Jika tidak, biarkan dan beri mock.
  • Tool yang Anda atur ke Run Live masih menampilkan Mocked. Itu wajar: mock yang menjawab panggilan menang atas halaman ini.
  • Tool yang Anda atur ke Run Live tidak berjalan live. Periksa bahwa Anda sudah menyimpan, dan bahwa tool itu menyala di versi yang Anda jalankan.
  • Penyimpanan Anda ditolak. Orang lain menyimpan lebih dulu. Lihat di atas.

Langkah berikutnya