Memilih Tool yang Berjalan Live

Di langkah ini Anda menentukan tool Atlas mana yang boleh berjalan sungguhan saat Anda mengujinya. Atlas punya tool yang hanya membaca, tool yang bertanya kepada agent lain, dua tool dokumentasi, dan tool yang menyerahkan percakapan kepada manusia. Sebuah pengujian tidak boleh mengubah data sungguhan secara tidak sengaja, jadi Qlar memblokir atau berpura-pura untuk sebagian besar tool itu secara default. Anda meninjaunya sekali di halaman Tool Policy, lalu melihat bagaimana satu skenario bisa membiarkan satu tool berjalan sungguhan. Waktu yang dibutuhkan sekitar lima belas menit.

Sebelum halaman ini, Menguji Tool dengan Aman Memakai Mock memberi get_project_status sebuah jawaban terskrip. Mock selalu menang, jadi halaman ini penting untuk semua yang tidak Anda mock: default "blocked" atau "live" yang berlaku ketika tidak ada mock yang menjawab.

AI terlibat di setiap run: Atlas menulis jawabannya dan memutuskan kapan memanggil tool. Halaman Tool Policy sendiri tidak memakai AI. Pengaturan yang sama memberi keputusan yang sama setiap kali, tetapi apa yang dilakukan Atlas dalam sebuah skenario tetap bisa berbeda dari run ke run.

Sebelum memulai

• Atlas sudah punya tool-nya, seperti di Menghubungkan API Anda, Menghubungkan MCP Server, Bekerja dengan Agent Lain dan Mengalihkan ke Manusia.
• Anda memiliki peran Owner atau Contributor pada agent.
• Anda sudah membaca Menguji Tool dengan Aman Memakai Mock, jadi Anda tahu arti Blocked, Simulated dan Live untuk sebuah pemanggilan tool.
• Tool Policy muncul di sidebar di bawah Simulation hanya ketika fitur ini diaktifkan di CMS Anda.

Langkah 1: Pilah tool Atlas menjadi membaca dan menulis

Tool yang hanya membaca aman diulang. Tool yang menulis, mengirim, atau menyerahkan bisa mengubah sesuatu yang nyata. Sebelum menyentuh halamannya, pilah tool Atlas:

Aturan praktisnya: biarkan tool yang hanya membaca berjalan live, jika data yang dibacanya aman dibaca dalam pengujian. Biarkan tool yang menulis atau mengirim tetap diblokir, dan beri mock.

Langkah 2: Buka halaman Tool Policy

1. Di sidebar, buka Simulation lalu klik Tool Policy.
2. Baca baris di bawah judul: "What each tool does in simulations when no mock answers the call. Applies to every scenario of this agent, on both Draft and Published."
3. Baca kartu How a tool call is decided in a simulation. Kartu ini menampilkan lima chip dalam urutan Qlar menanyakannya, dan yang pertama punya jawaban menang: Step mocks, Scenario mocks, Scenario's Allow live, This policy dan Built-in default.

Halaman ini hanya mengatur chip keempat, This policy. Ia berlaku untuk setiap skenario Atlas, pada Draft maupun Published. Anda mengaturnya sekali.

Di bawah kartu, tool Atlas berada dalam tiga grup:

• Effect unknown ("4 tools · 4 not reviewed", Default: Blocked). Qlar tidak bisa mengetahui dari luar apa yang dilakukan sebuah custom API, MCP server, atau agent lain, jadi get_project_status (di bawah Custom API), resolve-library-id dan query-docs (di bawah MCP · context7_docs, dengan Turn all on dan Turn all off), serta Ledger (di bawah A2A, dengan badge A2A) semuanya berada di sini.
• Reads data ("0 tools", Default: Live). Atlas tidak punya tool yang diketahui Qlar hanya membaca, jadi grup ini kosong.
• Not set on this page ("6 tools"). Tool bawaan escalate_conversation ada di sini di bawah Simulated success, tanpa switch. Tool di bawah Always runs juga ada di sini.

Langkah 3: Putuskan untuk setiap tool

1. Di atas grup, filternya berbunyi All tools, Not reviewed (4), dan Unsaved (0), di samping kotak Search tools. Klik Not reviewed (4) untuk menampilkan hanya tool yang belum diputuskan siapa pun. Inilah tool yang saat ini tidak bisa dipakai Atlas dalam simulasi.

2. Temukan get_project_status dan nyalakan switch Run live. Tool dengan request GET tidak menampilkan peringatan, karena membaca itu tidak berbahaya.
3. Lakukan hal yang sama untuk resolve-library-id dan query-docs, jika Anda tidak keberatan keduanya menjangkau server publik. Nama keduanya tidak mengesankan mengubah data, jadi tidak ada peringatan juga.

4. Biarkan switch Run live milik Ledger mati. Jika Anda menyalakannya, sebuah peringatan berbunyi "Ledger is outside Qlar. Whatever it does with the request happens for real." Itulah sebabnya ia tetap mati.

Tool yang Anda biarkan mati tetap diblokir dan tetap menampilkan chip Not reviewed. Keduanya berarti sama untuk sebuah run: pemanggilan tidak dilakukan. Tool yang Anda nyalakan juga tetap menampilkan chip Not reviewed sampai Anda menyimpan, seperti ditunjukkan langkah berikutnya. Header grup kini berbunyi "4 tools · 4 not reviewed · 3 unsaved", dan bar di bagian bawah berbunyi "3 unsaved changes" dengan Cancel dan Save.

Tips: baris yang Anda ubah diberi tanda, dan dihitung di Unsaved (n). Tidak ada yang diterapkan sampai Anda menyimpan.

Langkah 4: Simpan policy

1. Klik Save pada bar di bagian bawah halaman.
2. Dialog berjudul "Save n changes to the tool policy?" terbuka. Isinya "Every scenario of Atlas uses these settings for calls that no mock answers, starting with the next run. Runs already queued keep the old settings."
3. Baca daftarnya. Setiap perubahan satu baris, misalnya "get_project_status: Not reviewed (Blocked) → Live". Karena ada tool yang menjadi live, dialog menambahkan "Tools set to Live call the real system with real credentials in every simulation run, so what they do is not simulated."

4. Klik Save policy.

Policy hanya mengubah apa yang dilakukan simulasi. Ia tidak mengubah Atlas yang tayang, jadi Anda tidak perlu mem-publish apa pun. Untuk membuang perubahan tanpa menyimpan, klik Cancel pada bar.

Langkah 5: Lihat dampaknya dalam sebuah skenario

1. Buka Simulation → Scenarios lalu buka skenario yang tidak me-mock get_project_status, misalnya salah satu yang Anda tulis di Menyusun Rangkaian Uji Pertama.
2. Di panel setup, di bawah Agent Tools, klik Review all tools. Panel What the agent’s tools will do terbuka.
3. Setelah policy disimpan, get_project_status tertulis Live · Tool policy. Ledger tertulis Blocked · Not reviewed in the tool policy, karena sakelarnya Anda biarkan.

Panel terbuka dengan judul What the agent’s tools will do, baris seperti "Atlas · runs against the published version", dan tautan Edit tool policy →. Tab Whole scenario dan Step 1 beralih antara seluruh skenario dan satu step, dan baris seperti "5 action tools · 0 mocked · 4 will be blocked" meringkasnya, dengan chip Live, Simulated, dan Blocked serta filter All dan Needs attention.

Screenshot di bawah diambil sebelum policy disimpan, jadi menampilkan kondisi belum tersimpan: setiap tool yang belum Anda simpan keputusannya tertulis Blocked · Not reviewed in the tool policy (chip menghitung 3 Live, 1 Simulated, dan 4 Blocked; yang Simulated adalah escalate_conversation, yang tidak pernah diblokir), dengan catatan "Nobody has reviewed this tool in the tool policy yet, so calls are blocked.", tautan Review in Tool Policy, dan tombol Mock it serta Allow live…. Chip Live · Tool policy baru muncul setelah Anda mengklik Save policy di langkah 4.

Setelah sebuah run, pemanggilan yang sama menampilkan chip sumber Tool policy pada hasilnya, di bawah Tool calls. Pada skenario yang me-mock tool itu, seperti yang dari halaman sebelumnya, pemanggilan tetap menampilkan Mocked: mock menang atas halaman ini.

Langkah 6: Biarkan satu tool penulis berjalan live dalam satu skenario

Kadang sebuah skenario harus membuktikan bahwa hal yang sungguhan berfungsi. Untuk Atlas, itu adalah eskalasi: ketika seseorang meminta pengecualian atas batas persetujuan yang tidak diizinkan SOP-FIN-007, Operations duty supervisor harus benar-benar diberi tahu. Secara default escalate_conversation berstatus Simulated success: Atlas bersikap seolah sudah mengeskalasi, dan tidak ada eskalasi yang dibuat. Itu tepat untuk sebagian besar pengujian.

Untuk membuktikan hal yang sungguhan, izinkan live pada satu skenario itu:

1. Buat skenario bernama Exception to an approval limit di folder Kirana Projects, dengan cara yang sama seperti di Menyusun Rangkaian Uji Pertama. User Message-nya meminta pengecualian untuk proyek USD 1,2 juta karena Regional Director sedang cuti dan tenggat vendor adalah besok. Expected Response-nya: Atlas mengatakan tidak bisa menyetujui pengecualian itu dan menyerahkannya kepada seseorang. Simpan, lalu buka kembali.
2. Di bawah Agent Tools, klik Review all tools, dan temukan escalate_conversation.
3. Klik Allow live…. Sebuah konfirmasi berbunyi "Real data will change." dan, untuk tool eskalasi, bahwa supervisor akan diberi tahu. Konfirmasikan.

4. Barisnya kini tertulis Live, dengan "Takes effect after you save" di bawahnya. Klik Save pada skenario. Sebuah run memakai skenario yang tersimpan.
5. Jalankan skenario itu sekali, pada Draft, untuk membuktikan eskalasinya. Klik Run pada kartunya dan, di bawah Run against, pilih Draft. Run pada Draft mengirim eskalasi ke kotak masuk eskalasi draft, dan konfirmasi menyatakannya: "Escalations from this run go to the draft escalation inbox." (Catatan ini hanya muncul saat Anda menjalankan satu skenario dari kartu atau form-nya. Run all dan Run selected tidak menampilkannya.) Atlas harus punya salinan draft untuk ini: jika Draft berwarna abu-abu, simpan dulu sebuah perubahan pada Atlas, seperti di Menguji Perubahan Sebelum Publish.

Jangan jalankan skenario ini pada Published selagi Allow live menyala. Run pada Published mengirim eskalasi ke supervisor sungguhan, yang akan diberi tahu untuk sebuah pengujian.

Untuk membatalkannya, klik Remove pada baris yang sama, lalu simpan. Lakukan ini segera setelah Anda membuktikan eskalasinya: selama Allow live… menyala, setiap run skenario itu pada Published memberi tahu supervisor sungguhan. Itu termasuk run seluruh folder: konfirmasinya punya pilihan Run against tetapi tidak memberi catatan eskalasi, jadi periksa sendiri versinya sebelum memulai.

Siapa yang bisa memakai Allow live…

Hanya Owner dan Admin organisasi yang bisa memakai Allow live… pada sebuah skenario. Sakelar Run live di halaman Tool Policy (langkah 3) berbeda: siapa pun dengan peran Owner atau Contributor pada agent bisa mengubahnya, dan sakelar itu berlaku untuk semua skenario. Untuk Allow live…, yang Anda lihat bergantung pada peran Anda:

• Jika Anda Owner atau Admin organisasi, tombol Allow live… aktif dan Anda bisa melakukan langkah 3 dan 4 sendiri.
• Jika bukan, tombol terlihat tetapi berwarna abu-abu. Arahkan kursor ke sana untuk membaca "Only organisation Owners and Admins can allow a tool to run live". Catatan gembok di bagian bawah panel mengatakan hal yang sama. Mintalah Owner atau Admin organisasi Anda untuk membuka skenario dan mengizinkan tool itu, atau pakai mock: siapa pun dengan peran Owner atau Contributor pada agent bisa memakai Mock it.

Gunakan Allow live… seperlunya. Ia melakukan panggilan sungguhan, dengan kredensial sungguhan, di setiap run skenario itu. Jalankan skenario seperti itu pada Draft, seperti di langkah 5.

Periksa hasilnya

Anda berhasil jika:

• Effect unknown tidak lagi memiliki tool di bawah Not reviewed yang memang ingin Anda putuskan, dan footer berbunyi "No unsaved changes".
• Dalam sebuah skenario, get_project_status tertulis Live · Tool policy, dan Ledger tertulis Blocked · Not reviewed in the tool policy.
• Dalam sebuah hasil, pemanggilan get_project_status yang tidak dijawab mock menampilkan hasil Live dengan chip sumber Tool policy.

Jika Anda melihat hal lain:

• Panel Agent Tools masih berbunyi Blocked · Not reviewed in the tool policy. Anda belum menyimpan policy, atau Anda tidak mengubah switch tool itu.
• Pemanggilan menampilkan Mocked. Itu wajar. Mock set selalu menang atas Tool Policy.
• Penyimpanan Anda ditolak. Orang lain menyimpan lebih dulu. Halaman berbunyi "The policy changed since you opened it. Reload it?" Klik Reload, lalu buat perubahan Anda lagi.
• Allow live… berwarna abu-abu. Anda bukan Owner atau Admin organisasi. Lihat daftar di bawah langkah 6. Sakelar Run live di halaman Tool Policy tidak terpengaruh.

Langkah berikutnya

• Berikutnya dalam langkah ini: Menguji Perubahan Sebelum Publish.
• Fitur yang sama secara lebih mendalam: Tool Policy dan Tool dalam Simulasi.
• Referensi per field: Tool Policy dan Scenarios.
• Sebelumnya dalam langkah ini: Menguji Tool dengan Aman Memakai Mock.