Menguji Kualitas Agent
Buka di CMSKini Atlas menjawab dari kebijakan Kirana, mencari data proyek yang live, menanyakan aturan pembayaran kepada Ledger, menyerahkan kasus mendesak kepada supervisor, bahkan bisa berbicara. Setiap kemampuan itu adalah satu lagi cara sebuah jawaban bisa salah, dan mencoba pertanyaan satu per satu secara manual di Preview tidak lagi cukup. Langkah ini mengajari Anda menguji Atlas seperti menguji sistem penting lainnya: tulis pengecekannya sekali, jalankan setiap kali Anda mengubah sesuatu, dan lihat dengan tepat apa yang gagal. Ini dilakukan dengan Simulation, yang Anda temukan di bawah Simulation pada sidebar agent.
Anda menyusun rangkaian uji kecil untuk Atlas, menguji tool status proyeknya tanpa menyentuh data sungguhan, menentukan tool Atlas mana yang boleh berjalan sungguhan saat pengujian, dan memeriksa setiap perubahan sebelum sampai ke karyawan.
AI terlibat sepanjang langkah ini. Atlas menulis jawabannya, Qlar menyarankan kriteria lulus, dan AI menilai setiap kriteria. Masing-masing bisa berbeda dari satu run ke run berikutnya, jadi yang Anda lihat tidak akan persis sama dengan yang ditampilkan di halaman-halaman ini. Baca satu hasil sebagai contoh, dan jalankan lagi sebelum menyimpulkan ada yang rusak.
Sebelum memulai
- Atlas sudah menjawab dengan baik sendiri. Lihat Memberi Identitas pada Agent dan Mengajari Agent Anda.
- Tool Atlas sudah terpasang: Menghubungkan API Anda untuk
get_project_status, dan opsional Menghubungkan MCP Server, Bekerja dengan Agent Lain dan Mengalihkan ke Manusia. - Anda tahu cara menyimpan dan mem-publish perubahan. Lihat Preview dan Publish Perubahan.
- Anda memiliki akses Owner atau Contributor pada agent. Peran lain tidak melihat Simulation di sidebar.
Mengapa menguji Atlas sekarang
Ini adalah langkah terakhir Tahap 3. Sampai sekarang setiap halaman meminta Anda memeriksa satu kemampuan baru secara manual: ajukan satu pertanyaan di Preview, baca jawabannya, lanjut. Itu cukup selama Atlas masih tahu sedikit. Sekarang itu tidak cukup, karena tiga alasan:
- Perubahan merambat. Dokumen baru, Response Prompt yang berbeda, atau tool baru bisa diam-diam mengubah jawaban yang Anda periksa minggu lalu. Hanya pengecekan yang berulang yang menyadarinya.
- Tool membuat pengujian berisiko. Ketika Atlas memanggil
get_project_status, sebuah pengujian bisa membaca data yang berubah semalam. Ketika Atlas bertanya kepada Ledger atau menyerahkan ke supervisor, pengujian bisa menjangkau sistem atau orang sungguhan. - Karyawan bergantung pada jawabannya. Rantai persetujuan yang salah lebih buruk daripada tidak ada jawaban, dan Anda ingin mengetahuinya sebelum publish, bukan dari seorang supervisor lapangan.
Sebuah skenario adalah percakapan singkat yang Anda tulis sekali, beserta jawaban yang Anda harapkan. Sebuah run memainkan skenario Anda terhadap Atlas dan membiarkan AI menilai apakah setiap jawaban memenuhi permintaan Anda. Anda bisa menjalankannya lagi setelah setiap perubahan.
Apa yang dicakup rangkaian uji untuk Atlas
Rangkaian uji pertama yang baik untuk Atlas punya tiga jenis skenario, dalam urutan yang sama dengan halaman-halaman langkah ini:
| Yang Anda periksa | Contoh untuk Atlas | Dibahas di |
|---|---|---|
| Jawaban dari knowledge | "Who has to approve a project worth $2.5 million?" harus memberikan Group Risk Office review, lalu Regional Director, lalu CFO, dari SOP-FIN-007. | Menyusun Rangkaian Uji Pertama |
| Tool status proyek | "What is the status of project KG-2041?" harus melaporkan status dan tahap persetujuan yang dikembalikan tool, dan kode yang tidak dikenal seperti KG-9999 harus mendapat jawaban sopan agar kodenya diperiksa. | Menguji Tool dengan Aman Memakai Mock |
| Batas persetujuan | Permintaan pengecualian atas batas persetujuan yang tidak diizinkan SOP-FIN-007 tidak boleh diputuskan oleh Atlas. Hal ini dibahas di sana sebagai satu contoh, yaitu skenario eskalasi. | Memilih Tool yang Berjalan Live |
Halaman keempat menunjukkan cara memakai rangkaian uji itu setiap kali Anda mengubah Atlas: Menguji Perubahan Sebelum Publish.
Halaman dalam langkah ini
| Halaman | Yang akan Anda lakukan |
|---|---|
| Menyusun Rangkaian Uji Pertama | Membuat folder Kirana Projects, menulis tiga skenario tentang apa yang diketahui Atlas, menjalankannya, dan membaca hasilnya. |
| Menguji Tool dengan Aman Memakai Mock | Menuliskan jawaban terskrip untuk get_project_status agar skenario tentang status proyek mendapat hasil tool yang sama setiap kali, tanpa menyentuh apa pun yang nyata. |
| Memilih Tool yang Berjalan Live | Menentukan, untuk seluruh agent, tool Atlas mana yang boleh berjalan sungguhan saat pengujian dan mana yang tetap diblokir, serta melihat bagaimana satu skenario bisa mengizinkan sebuah tool berjalan live. |
| Menguji Perubahan Sebelum Publish | Mengubah satu pengaturan Atlas, menjalankan rangkaian uji pada Draft, membandingkannya dengan Published, lalu publish ketika hasilnya sudah benar. |
Mulai dari mana: kalau Anda belum pernah membuat skenario, mulailah dengan Menyusun Rangkaian Uji Pertama. Skenario pertama itu tidak membutuhkan tool apa pun. Kalau Atlas sudah punya rangkaian uji dan pertanyaan Anda soal tool, buka Menguji Tool dengan Aman Memakai Mock. Kalau Anda hanya ingin memeriksa perubahan sebelum publish, buka Menguji Perubahan Sebelum Publish.
Periksa hasilnya
Setelah menyelesaikan langkah ini, Anda seharusnya bisa mengatakan hal-hal berikut tentang Atlas:
- Atlas punya folder berisi skenario yang bisa dijalankan dengan satu klik, dan Anda tahu mana yang lulus.
- Anda tahu tool Atlas mana yang diblokir, di-mock, atau diizinkan berjalan live dalam pengujian.
- Anda bisa menjalankan rangkaian uji yang sama pada Draft dan membandingkannya dengan Published sebelum mengklik Publish.
Langkah berikutnya
- Berikutnya dalam langkah ini: Menyusun Rangkaian Uji Pertama.
- Berikutnya dalam alur: Mengingat Setiap Pengguna, langkah pertama Tahap 4, agar Atlas bisa mengingat di mana setiap orang bekerja.
- Referensi per field: Scenarios, Results, Tool Mocks dan Tool Policy.
- Fitur yang sama secara lebih mendalam: bagian Simulasi, mulai dari Pengenalan dan Simulasi Pertama Anda, lalu Menjalankan Simulasi, Membaca Hasil, Tool dalam Simulasi, Tool Mocks dan Tool Policy.
- Langkah sebelumnya: Berbicara dengan Suara.