Menyusun Rangkaian Uji Pertama

Di langkah ini Anda menyusun rangkaian uji pertama untuk Atlas, asisten operasional Kirana Group. Anda membuat folder bernama Kirana Projects, menulis tiga skenario singkat tentang apa yang diketahui Atlas dari SOP-FIN-007 dan briefing keselamatan lokasi, menjalankan semuanya sekaligus terhadap Atlas yang sedang tayang, lalu membaca hasilnya. Waktu yang dibutuhkan sekitar lima belas menit.

Sebuah skenario adalah percakapan singkat yang Anda tulis sekali: apa yang dikatakan pengguna, dan jawaban yang Anda harapkan dari Atlas. Anda tidak perlu menulis jawabannya kata demi kata. Anda menjelaskan apa yang harus ada dalam jawaban yang baik, dan AI memeriksa setiap jawaban terhadapnya. Itulah criteria skenario tersebut.

AI terlibat di beberapa tempat. Qlar menyarankan criteria, Atlas menulis jawabannya, dan AI menilai apakah setiap jawaban cocok. Semuanya bisa berbeda setiap kali, jadi yang Anda lihat tidak akan persis sama dengan yang ditampilkan di halaman ini. Baca halaman ini untuk memahami bentuk hasilnya, bukan teks persisnya.

Halaman ini mengikuti Atlas melalui run pertama. Untuk langkah yang sama pada agent lain, lihat Simulasi Pertama Anda.

Sebelum memulai

• Atlas sudah bisa menjawab dari SOP-FIN-007 dan dari briefing keselamatan lokasi. Lihat Dokumen dan Video. Rangkaian uji hanya berguna sejauh jawaban yang diperiksanya.
• Agent sudah di-publish. Run pertama memakai Published, versi yang dipakai karyawan sekarang. Lihat Preview dan Publish Perubahan.
• Anda memiliki peran Owner atau Contributor pada agent.
• Anda sudah membaca Menguji Kualitas Agent untuk melihat posisi halaman ini.

Langkah 1: Buka Simulation

1. Buka Atlas di CMS.
2. Di sidebar, buka Simulation lalu klik Scenarios.

Halaman Conversation Simulation terbuka pada tab Scenarios. Tab Results di sebelahnya tetap kosong sampai Anda menjalankan sesuatu. Panel Folders di sisi kiri mencantumkan All folders dan setiap folder yang sudah dimiliki agent. Pada agent tanpa folder, panel itu menampilkan No folders yet.

Langkah 2: Buat folder Kirana Projects

Skenario berada di dalam folder, jadi buat satu folder terlebih dahulu.

1. Di panel Folders, klik New folder.
2. Di dialog Create New Folder, ketik Kirana Projects pada Folder Name.
3. Klik Create, lalu Close pada pesan sukses.

Folder tampil di panel Folders. Klik folder itu, agar skenario yang Anda tulis berikutnya masuk ke dalamnya.

Langkah 3: Tulis skenario pertama

Skenario pertama memeriksa pertanyaan yang Anda ajukan di Dokumen: siapa yang menyetujui proyek senilai $2,5 juta.

1. Klik New Scenario, di atas daftar. Formulir Create New Scenario terbuka dengan satu step kosong. Panel setup di sisi kiri (Agent Tools, Tool Mocks, Date and Time) untuk halaman-halaman berikutnya. Abaikan dulu.

2. Di bawah Scenario Step (1), pada Step 1, tulis User Message:

   Who has to approve a project worth $2.5 million?
   

3. Tulis Expected Response dengan kata-kata Anda sendiri:

   Atlas gives the approval chain from SOP-FIN-007: Group Risk Office review, then the Regional Director, then the CFO.
   

4. Klik Suggest Criteria. Qlar menulis criteria dari expected response Anda, dan kotak Evaluation Criteria mencantumkannya. Qlar menulis satu sampai tiga, jadi daftar Anda bisa lebih pendek atau lebih panjang dari contoh di bawah. Dengan satu criterion, kotaknya berbunyi Evaluation Criterion (1) dan tombolnya Rewrite Criterion. Dengan lebih banyak, berbunyi Evaluation Criteria (n) dan Rewrite Criteria.
5. Baca setiap criterion. Edit teksnya, hapus satu dengan ikon tempat sampah, atau klik Add Criterion untuk menulis sendiri. Pertahankan yang benar-benar penting, misalnya:
   • Jawaban menyebut Group Risk Office review.
   • Jawaban menyebut Regional Director.
   • Jawaban menyebut CFO, paling akhir.
   • Jawaban menyebut SOP-FIN-007 sebagai sumber.

Ketika setiap step sudah punya criteria, Suggest All Criteria di bagian bawah formulir diganti oleh Save.

Langkah 4: Simpan skenario ke dalam folder

1. Klik Save. Qlar menyarankan nama dari step Anda, misalnya tentang kewenangan persetujuan, dan membuka dialog Scenario Information.
2. Periksa Scenario Name. Ganti saran itu dengan Approval chain for a $2.5 million project.
3. Periksa Folder. Seharusnya sudah Kirana Projects, karena Anda memilih folder itu lebih dulu. Jika belum, pilih dari daftar.

4. Klik Continue, lalu Yes pada "Are you sure you want to create this scenario?".
5. Ketika "Scenario created successfully" muncul, klik Close.

Anda kembali ke tab Scenarios, dan skenario itu ada di daftar beserta foldernya dan jumlah step-nya.

Langkah 5: Tulis dua skenario lagi

Ulangi langkah 3 dan 4 dengan dua skenario ini. Kontrol yang dipakai sama. Skenario kedua punya dua step, jadi klik Add Message untuk menambahkan step kedua.

Untuk setiap step klik Suggest Criteria dan baca apa yang ditulis Qlar. Dengan dua step, Suggest All Criteria (1/2 Steps ready) mengisi sisanya untuk Anda. Angkanya menghitung step yang sudah punya criteria.

Pada Step 1 skenario Capex request attachments, klik juga Add Criterion dan tulis The answer is no longer than two sentences. Atlas menjawab pertanyaan seperti ini dengan daftar lengkap, jadi ini pengecekan yang akan gagal. Anda membutuhkan satu criterion yang gagal di langkah 7 untuk melihat seperti apa kegagalan itu.

Criteria yang baik itu spesifik: "Jawaban menyebut form KG-F12" bisa diperiksa, sedangkan "Jawaban membantu" tidak. Menulis Skenario yang Baik membahasnya lebih dalam.

Langkah 6: Jalankan folder

1. Di panel Folders, klik Kirana Projects.
2. Di atas daftar, klik Run All (3). Sebuah konfirmasi berjudul Attention terbuka dan bertanya Run all 3 scenarios in "Kirana Projects"?
3. Di bawah Run against, pilih Published. Tertulis "What your users talk to now." Opsi Draft untuk Menguji Perubahan Sebelum Publish. Pada agent yang tidak diubah sejak di-publish, tertulis "Same as published right now".

4. Klik Yes.
5. Ketika pesan sukses menyebutkan run berhasil dimulai terhadap versi published, klik Close.

Qlar membuka halaman Simulation Result. Statusnya dimulai sebagai Running dan berubah menjadi Completed ketika Atlas sudah menjawab setiap pertanyaan.

Anda juga bisa menjalankan satu skenario dengan Run pada kartunya. Untuk Atlas, konfirmasi itu mencantumkan tool yang diblokir dalam simulasi, seperti Projects API, Ledger, dan tool MCP, dan tombolnya berbunyi Run anyway. Pertanyaan-pertanyaan ini tidak membutuhkan tool tersebut, jadi Anda boleh melanjutkan. Menguji Tool dengan Aman Memakai Mock menjelaskan arti blocked dan apa yang harus dilakukan. Run satu folder penuh tidak menampilkan daftar itu.

Langkah 7: Baca hasilnya

1. Lihat empat kartu di bagian atas: STATUS, CRITERIA MATCH, DURATION, dan STEPS. CRITERIA MATCH menyebutkan berapa criteria yang cocok dari seluruhnya, misalnya 7/8 Matched. STATUS juga menampilkan chip Published, yaitu versi yang menjawab.

2. Di bawah Scenarios (3), setiap baris menampilkan foldernya, berapa step yang selesai, lama waktunya, dan badge seperti 4/5 Matched. Setiap baris juga menampilkan Mocks used in this run, meski Anda tidak memakai mock. Klik sebuah skenario untuk membukanya, lalu klik Step #1, dan Step #2 jika ada.
3. Setiap step menampilkan Expected Response Anda di samping AI Agent Response, yaitu apa yang benar-benar dikatakan Atlas. Atlas menulis dalam Markdown dan halaman ini menampilkannya sebagai teks biasa, jadi Anda bisa melihat tanda seperti **bold**. Di bawah kedua jawaban, Evaluation Criteria (x/y Matched) punya satu kotak per criterion:
   • Kotak hijau berarti cocok, dan gelembung ucapan (💬) mengutip bagian jawaban yang membuktikannya.
   • Kotak abu-abu berarti tidak cocok, dan lampu (💡) memberi alasannya.

Pada contoh ini kotak abu-abu adalah criterion yang Anda tambahkan di langkah 5, "The answer is no longer than two sentences." Alasannya mengatakan jawaban berisi lima kalimat. Itulah rangkaian uji yang bekerja: ia memberi tahu dengan tepat pengecekan mana yang gagal dan mengapa, dan Anda bisa memperbaikinya lalu menjalankan folder yang sama lagi. Untuk kotak abu-abu tentang isi yang kurang, misalnya rincian dokumen yang dilewatkan Atlas, lihat Retrieval. Membaca Hasil menjelaskan setiap bagian halaman.

Buka Step #1 skenario $2,5 juta sekali lagi. Di bawah criteria, step itu bisa menampilkan Tool calls (1) dengan chip Live 1. Itu adalah Atlas yang mencari di pengetahuannya, yang selalu berjalan sungguhan dalam simulasi. Menguji Tool dengan Aman Memakai Mock membahas tool yang tidak demikian.

Periksa hasilnya

Anda berhasil jika melihat semua ini:

• Folder Kirana Projects dengan tiga skenario di dalamnya.
• Sebuah run dengan status Completed dan chip Published.
• Untuk setiap criterion, kotak hijau dengan kutipan atau kotak abu-abu dengan alasan. Setidaknya satu kotak abu-abu muncul, dari criterion yang Anda tambahkan di langkah 5.

Jika Anda melihat hal lain:

• Suggest Criteria berwarna abu-abu. Tombol ini tetap nonaktif sampai Expected Response pada step itu berisi teks. Tulis jawaban yang diharapkan lebih dulu.
• Tidak ada tombol Save. Tombol di bawah berbunyi Suggest All Criteria sampai setiap step punya setidaknya satu criterion. Klik tombol itu, atau tambahkan criterion pada step yang belum punya.
• Muncul folder bernama Default. Qlar membuat Default ketika Anda memulai skenario sebelum ada folder, dan sebuah agent mungkin sudah memilikinya, seperti Atlas di sini. Keduanya bukan kesalahan. Pindahkan skenarionya ke Kirana Projects nanti. Lihat Mengatur Skenario dalam Folder.
• Kotak abu-abu untuk sesuatu yang jelas dikatakan Atlas. Penilaiannya juga AI. Baca alasannya, dan jika criterion-nya kabur, tulis ulang. Jalankan folder lagi sebelum menyimpulkan.
• Status tetap Running untuk waktu lama. Jawaban yang lambat bisa memakan beberapa menit. Setelah 10 menit halaman berhenti memperbarui diri, jadi klik ikon refresh.

Langkah berikutnya

• Berikutnya dalam langkah ini: Menguji Tool dengan Aman Memakai Mock, untuk menguji tool status proyek tanpa menyentuh data sungguhan.
• Panduan yang sama pada agent lain: Simulasi Pertama Anda, lalu Mengatur Skenario dalam Folder dan Menulis Skenario yang Baik.
• Referensi per field: Scenarios dan Results.
• Sebelumnya dalam langkah ini: Menguji Kualitas Agent.