Tool Policy
Buka di CMSHalaman Tool Policy menjawab satu pertanyaan untuk seluruh agent Anda: ketika sebuah simulasi memanggil tool dan tidak ada mock yang menjawab, haruskah panggilan itu berjalan sungguhan atau diblokir? Dalam panduan ini Anda mempelajari mengapa halaman ini ada, cara membacanya, cara mengubah sebuah tool, dan cara menyimpan dengan aman. Waktu yang dibutuhkan sekitar sepuluh menit.
Agent contohnya adalah Libraría, yang punya banyak tool. Agent Anda akan punya tool lain. Langkah-langkahnya sama. Jika Anda belum yakin apa itu pemanggilan tool, baca dulu Tool dalam Simulasi.
AI terlibat di setiap run: agent menulis jawabannya dan memutuskan kapan memanggil tool. Halaman ini sendiri tidak memakai AI. Apa yang dilakukan sebuah tool ditentukan oleh aturan yang Anda baca di sini, jadi pengaturan yang sama memberi keputusan yang sama setiap kali. Panggilan yang dilakukan sebuah skenario tetap bisa berbeda dari satu run ke run berikutnya.
Mengapa tool policy ada
Qlar harus berhati-hati dengan tool dalam pengujian. Sebagian tool hanya membaca informasi. Yang lain menulis, mengirim, atau memesan sesuatu, atau menjangkau sistem yang tidak bisa dilihat Qlar. Sebuah pengujian tidak boleh mengubah data sungguhan secara tidak sengaja.
Jadi ketika agent memanggil sebuah tool selama simulasi, Qlar lebih dulu mencari mock, yaitu jawaban yang sudah ditulis. Jika tidak ada mock yang menjawab panggilan itu, sesuatu yang lain harus memutuskan apa yang dilakukan. Itulah Tool Policy. Ia menetapkan, untuk setiap tool, apakah panggilan boleh run live (sungguhan) atau blocked (diblokir).
Dua hal lain yang perlu diketahui:
- Berlaku untuk setiap skenario agent, pada Draft maupun Published. Anda mengaturnya sekali.
- Ini hanya default. Mock selalu menang, dan satu skenario tetap bisa mengizinkan sebuah tool berjalan live sendiri.
Istilah penting
| Istilah | Artinya |
|---|---|
| Run live | Tool melakukan panggilan sungguhan, ke sistem sungguhan, dengan kredensial sungguhan. |
| Blocked | Panggilan tidak dilakukan. Agent diberi tahu bahwa tool tidak tersedia. |
| Not reviewed | Tool yang belum diputuskan oleh siapa pun. Sampai ada yang memutuskan, tool itu diblokir. |
| Mock | Jawaban yang sudah ditulis. Lihat Tool Mocks. |
| Allow live | Pengaturan pada satu skenario yang mengizinkan satu tool berjalan live dalam skenario itu. Tidak ada di halaman ini. |
Sebelum memulai
- Anda memiliki peran Owner atau Contributor pada agent. Siapa pun dengan salah satu peran itu bisa mengubah sakelar Run live di halaman ini, dan perubahannya berlaku untuk semua skenario agent.
- Agent Anda punya setidaknya satu tool. Jika tidak, halaman menampilkan "This agent has no tools that can be set here."
- Tool Policy tampil di sidebar di bawah Simulation hanya jika fitur diaktifkan untuk CMS Anda.
- Anda sudah membaca Tool dalam Simulasi. Halaman itu menjelaskan hasil-hasil yang dipakai di bawah.
Langkah 1: Buka halaman dan baca kartu keputusan
- Di sidebar, buka Simulation dan klik Tool Policy.
- Baca baris di bawah judul: "What each tool does in simulations when no mock answers the call. Applies to every scenario of this agent, on both Draft and Published."
- Baca kartu How a tool call is decided in a simulation. Kartu ini menampilkan lima chip, dari kiri ke kanan, dalam urutan Qlar menanyakannya. Yang pertama punya jawaban menang.
| Chip | Artinya |
|---|---|
| Step mocks | Mock set yang dipasang pada step yang melakukan panggilan. |
| Scenario mocks | Mock set yang dipasang pada seluruh skenario. |
| Scenario's Allow live | Skenario mengizinkan tool ini berjalan live, diatur di panel Agent Tools skenario. |
| This policy | Pengaturan di halaman ini. |
| Built-in default | Apa yang dilakukan tool ketika tidak ada yang di atas berlaku. |
Catatan di bawah chip berbunyi "Mocks always win, so a tool that runs live here can still be mocked in the scenarios that need specific answers."
Halaman ini hanya mengatur chip keempat. Anda bisa mengatur sebuah tool berjalan live di sini dan tetap menjaganya aman di setiap skenario yang me-mock-nya.
Langkah 2: Pahami kelompok dan defaultnya
Di bawah kartu, tool agent Anda ada dalam empat kelompok. Setiap kelompok adalah kartu yang bisa Anda buka dan tutup. Di samping judulnya ada hitungan, misalnya "12 tools · 3 not reviewed · 1 unsaved". Pada Libraría hitungannya berbunyi "52 tools · 45 not reviewed" untuk Effect unknown, "3 tools" untuk Reads data, dan "7 tools" untuk Not set on this page.
| Kelompok | Default | Tool apa saja di dalamnya |
|---|---|---|
| Effect unknown | Default: Blocked | Tool yang tidak bisa dinilai Qlar dari luar: API Anda sendiri (cara bagi program untuk saling berbicara), server MCP (layanan yang menyediakan tool bagi agent AI dengan cara standar), agent lain, agent A2A (agent yang dijalankan di tempat lain dan diajak bicara agent Anda lewat standar A2A), dan tool plugin dengan efek yang tidak diketahui. Tool ini diblokir sampai ada yang meninjaunya. Masing-masing punya sakelar Run live. Kelompok ini terbuka saat Anda tiba. |
| Reads data | Default: Live | Tool plugin yang hanya membaca data, seperti pembaca database, tabel data, dan dokumen publik. Tool ini berjalan live kecuali Anda mematikan Run live, yang memblokirnya. |
| Not set on this page | Tanpa chip default | Tool yang tidak pernah diubah halaman ini. Masing-masing menampilkan apa yang dilakukannya: Simulated success untuk tool yang menulis data, seperti formulir, pengingat, atau eskalasi, atau Always runs untuk tool bawaan dan internal yang hanya membaca. |
| No longer on this agent | Tanpa chip default | Pengaturan sisa untuk tool yang sudah tidak dimiliki agent. Hanya muncul jika ada sisa. Lihat Membersihkan pengaturan untuk tool yang sudah tidak ada. |
Di dalam sebuah kelompok, tool diurutkan menurut asalnya, dengan judul seperti Custom API · nama grup API, Plugins · nama plugin, MCP · nama server, Other agents, dan A2A. Berikut Effect unknown yang terbuka, dengan judul pertama Custom API · Finance dan sebuah tool yang punya sakelar Run live, dalam keadaan mati:
Di Reads data, judulnya menyebut plugin, misalnya Plugins · Library Policies (Test). Sakelar Run live menyala, karena tool ini berjalan live secara default:
Not set on this page tidak punya sakelar. Tool-nya didaftar di bawah sub-judul Simulated success dan Always runs, masing-masing dengan chip yang menyatakannya:
Tool di Not set on this page tidak punya sakelar. Untuk membuat tool Simulated success berjalan sungguhan, buka skenario dan pakai Allow live… di panel Agent Tools-nya. Kelompok itu diakhiri catatan "To run a Simulated success tool for real, open the scenario and use Allow live… in its Agent Tools panel. Real writes are always a per-scenario choice." Pada formulir skenario, Allow live… ada di panel Agent Tools, yang Anda buka dengan Review all tools.
Langkah 3: Temukan tool yang Anda inginkan
Bar di atas kelompok punya filter dan pencarian.
| Kontrol | Fungsinya |
|---|---|
| All tools | Menampilkan semua tool. |
| Not reviewed (n) | Hanya menampilkan tool Effect unknown yang belum ditinjau siapa pun, beserta jumlahnya. |
| Unsaved (n) | Hanya menampilkan tool yang sudah Anda ubah dan belum disimpan. |
| Search tools | Mencari tool berdasarkan nama, deskripsi, atau judul sumber, tanpa membedakan huruf besar dan kecil. |
Selama filter atau pencarian aktif, kelompok yang tidak punya hasil disembunyikan, dan yang cocok terbuka. Jika tidak ada yang cocok, halaman menampilkan "No tools match".
Mulailah dengan Not reviewed. Inilah tool yang saat ini tidak bisa dipakai agent Anda dalam simulasi.
Filter Not reviewed (45) diberi tanda di sini:
Langkah 4: Putuskan untuk setiap tool
Setiap tool adalah satu baris dengan ikon, nama, deskripsi singkat, dan di sebelah kanan sakelar Run live. Gambar menunjukkan get_book, tool yang belum ditinjau siapa pun, dengan chip Not reviewed dan sakelarnya (diberi tanda) dalam keadaan mati.
| Pada baris | Artinya |
|---|---|
| Sakelar Run live, menyala | Tool melakukan panggilan sungguhan dalam simulasi ketika tidak ada mock atau pengaturan skenario yang menjawab. |
| Sakelar Run live, mati | Tool diblokir. |
| Chip Not reviewed | Belum ada yang memutuskan tentang tool ini. Menyalakan atau mematikan sakelarnya, ke arah mana pun, menandainya sudah ditinjau setelah Anda menyimpan. |
| Chip Disabled, Disabled in Draft, Disabled in Published, Draft only, atau Published only | Tool dimatikan, atau hanya ada di satu versi agent. |
| Baris yang ditandai berubah | Anda mengubahnya dan belum menyimpan. Dihitung di Unsaved. |
| Baris "Turned off in Draft and Published. Enable the tool to change this setting; it applies again as soon as the tool is on." | Tool mati di kedua versi, jadi sakelar dikunci. |
Ketika Anda menyalakan Run live untuk tool yang bisa menimbulkan kerugian nyata, sebuah peringatan muncul di bawahnya:
- Untuk API Anda sendiri yang bukan pembacaan biasa (bukan GET, metode HTTP yang hanya membaca data; metode seperti POST, PUT, dan DELETE mengirim atau mengubahnya): "This is a
<method>call. Running it live changes real data in every simulation run." - Untuk tool MCP yang namanya menyiratkan perubahan data: "The name suggests this tool changes data. Running it live does so in every simulation run."
- Untuk agent lain: "This agent runs as a normal conversation, so its own tools also run for real: its escalations, forms and API calls are not simulated."
- Untuk agent A2A: "
<name>is outside Qlar. Whatever it does with the request happens for real."
Pada judul di dalam sebuah kelompok, Turn all on dan Turn all off mengubah semua tool dari sumber itu sekaligus, misalnya semua tool satu server MCP. Setiap tombol berwarna abu-abu jika tidak akan mengubah apa pun. Hati-hati dengan Turn all on: baca peringatannya dulu.
Titik awal yang baik untuk sebagian besar agent:
- Biarkan tool yang menulis atau mengirim tetap diblokir, dan beri mock pada skenario yang membutuhkannya.
- Atur tool yang hanya membaca ke Run live, jika data yang dibacanya aman dibaca dalam pengujian.
Langkah 5: Simpan policy
Perubahan Anda belum berlaku sampai Anda menyimpannya. Sebuah bar di bagian bawah halaman menampilkan "No unsaved changes", atau "n unsaved changes" setelah Anda mengubah sesuatu. Setelah Anda menyalakan Run live untuk get_book, barisnya disorot dan bar berbunyi "1 unsaved change", dengan tombol Cancel dan Save.
- Klik Save di bar. Tombol berwarna abu-abu jika tidak ada yang perlu disimpan.
- Dialog berjudul "Save n changes to the tool policy?" terbuka. Isinya "Every scenario of Libraría uses these settings for calls that no mock answers, starting with the next run. Runs already queued keep the old settings."
- Baca daftar di bawahnya. Setiap perubahan satu baris, misalnya "get_book: Not reviewed (Blocked) → Live". Jika ada tool yang menjadi live, sebuah peringatan ditambahkan: "Tools set to Live call the real system with real credentials in every simulation run, so what they do is not simulated." Untuk agent lain, ditambahkan bahwa semua yang mereka lakukan, termasuk tool mereka sendiri, terjadi sungguhan.
- Klik Save policy, atau Cancel untuk kembali. Save policy adalah tombol berbingkai dan Cancel adalah tombol merah.
Untuk membuang perubahan tanpa menyimpan, klik Cancel di bar.
Yang berubah saat menyimpan
- Mulai run berikutnya. Simulasi berikutnya untuk agent ini memakai pengaturan baru. Run yang sudah antre tetap memakai yang lama.
- Setiap skenario. Satu kali simpan berlaku untuk setiap skenario agent.
- Draft dan Published. Pengaturan berlaku untuk simulasi pada kedua versi.
- Tidak ada yang perlu dipublikasikan. Tool Policy hanya mengubah apa yang dilakukan simulasi. Ia tidak mengubah agent live Anda, jadi Anda tidak perlu mempublikasikan apa pun.
Jika orang lain menyimpan lebih dulu
Orang lain yang punya akses bisa menyimpan policy saat halaman Anda terbuka. Jika itu terjadi, penyimpanan Anda tidak berhasil, dan halaman menampilkan "The policy changed since you opened it. Reload it?"
Klik Reload. Qlar memuat versi yang lebih baru dan membuang perubahan Anda yang belum disimpan. Lihat apa yang diubah orang itu, lalu buat perubahan Anda lagi dan simpan. Jika pemuatan ulang gagal, halaman menampilkan "Failed to reload the tool policy."
Pesan lain yang mungkin Anda temui:
| Pesan | Yang perlu dilakukan |
|---|---|
| "Tool policy saved — The next simulation run of this agent uses the new settings." | Tidak ada. Perubahan Anda sudah tersimpan. |
| "Failed to load the tool policy." | Klik Retry. |
| "Failed to save the tool policy." | Coba lagi. Halaman menampilkan alasannya jika server memberikannya. |
| "The tools of the Draft and Published versions couldn't be loaded, so the tool policy can't be edited right now." | Coba lagi nanti. |
| "The Draft version couldn't be loaded, so settings for tools found only there are kept unchanged." (atau Published) | Anda tetap bisa mengedit. Pengaturan yang tidak bisa diperiksa Qlar dibiarkan apa adanya. |
Allow live diatur per skenario, bukan di sini
Anda tidak akan menemukan Allow live… di halaman ini. Mengizinkan tool melakukan panggilan sungguhan adalah pilihan untuk satu skenario sekali waktu. Pilihan itu dibuat di panel Agent Tools skenario, dan hanya Owner atau Admin organisasi yang bisa membuatnya. Tool dalam Simulasi menunjukkan caranya. Halaman ini hanya punya sakelar Run live. Siapa pun dengan peran Owner atau Contributor pada agent bisa mengubahnya, dan sakelar itu berlaku untuk semua skenario sebagai default. Allow live milik skenario ditanyakan sebelum halaman ini, jadi ia bisa menimpa blokir yang diatur di sini.
Membersihkan pengaturan untuk tool yang sudah tidak ada
Ketika sebuah tool dihapus dari agent, atau server MCP atau plugin dihapus lalu ditambahkan lagi, pengaturan lamanya tertinggal dan tidak berfungsi. Pengaturan seperti ini muncul di kartu No longer on this agent. Masing-masing menampilkan nama tool lama dan sebuah chip, Was Live atau Was Blocked.
- Buka kartu itu. Isinya "These settings belong to tools this agent no longer has, so they do nothing now."
- Untuk setiap pengaturan lama, pilih tool penggantinya di Move to… dan klik Move. Tool dengan nama yang sama ditandai "· same name". Pengaturan lama keluar dari daftar dan tool baru mengambil nilainya.
- Untuk seluruh server MCP atau plugin, pakai Move all to… untuk memindahkan setiap pengaturan ke tool dengan nama yang sama pada server atau plugin yang sekarang. Sebuah pesan memberi tahu berapa yang dipindahkan dan mengapa ada yang tertinggal.
- Jika tidak ada pengganti, klik Remove.
- Simpan policy. Cancel mengembalikan setiap pengaturan yang dipindahkan dan dihapus.
Custom API atau agent lain yang Anda ganti namanya di halamannya sendiri terbawa secara otomatis. Tool yang hanya dimatikan tidak pernah didaftar di sini.
Periksa hasilnya
Anda berhasil jika:
- Kartu Effect unknown tidak punya tool tersisa di bawah Not reviewed, atau Anda tahu mengapa masih ada.
- Setelah menyimpan, footer menampilkan "No unsaved changes".
- Pada skenario yang memanggil tool yang Anda atur ke Run live, panel Agent Tools menampilkan Live · Tool policy. Untuk tool yang Anda biarkan atau atur diblokir, panel menampilkan Blocked · Tool policy.
- Di sebuah hasil, pemanggilan tool menampilkan chip sumber Tool policy.
Jika Anda melihat hal lain:
- Skenario masih menampilkan Blocked · Not reviewed in the tool policy. Anda belum menyimpan, atau Anda tidak menyentuh tool itu. Buka di halaman ini, atur sakelarnya ke arah mana pun, lalu simpan.
- Tool yang Anda atur ke Run live masih menampilkan Mocked. Itu wajar: mock menang atas halaman ini.
- Tool yang Anda atur ke Run live tidak berjalan live. Periksa bahwa Anda sudah menyimpan, dan bahwa tool itu menyala di versi yang Anda jalankan.
- Penyimpanan Anda ditolak. Orang lain menyimpan lebih dulu. Lihat di atas.
Langkah berikutnya
- Sebelumnya dalam bagian ini: Tool Mocks.
- Sebagai bagian dari membangun Atlas: Memilih Tool yang Berjalan Live.
- Jika sebuah pemanggilan tool diblokir: Tool dalam Simulasi.
- Referensi per field: Tool Policy.