Membaca Hasil
Buka di CMSSetiap run yang selesai meninggalkan sebuah hasil. Dalam panduan ini Anda mempelajari cara menemukan sebuah run di tab Results, cara membaca halaman hasil dari atas ke bawah, arti kotak kriteria hijau dan abu-abu, apa yang ditunjukkan sorotan pada jawaban agent, dan apa yang disampaikan pemberitahuan di halaman. Waktu yang dibutuhkan sekitar sepuluh menit.
Agent contohnya adalah Libraría, yang sudah punya run. Agent Anda akan punya nama dan angka lain. Langkah-langkahnya sama. Jika Anda belum pernah menjalankan skenario, mulailah dari Menjalankan Simulasi.
AI terlibat dua kali pada setiap hasil: agent menulis jawabannya dan AI menilai setiap kriteria. Keduanya bisa berbeda dari satu run ke run berikutnya, jadi skenario yang sama bisa terbaca sedikit berbeda setiap kali. Anggap satu hasil sebagai contoh, bukan jaminan, dan jalankan lagi sebelum Anda menyimpulkan ada yang rusak.
Istilah penting
| Istilah | Artinya |
|---|---|
| Result (hasil) | Apa yang ditinggalkan sebuah run: status, jawaban asli agent, dan penilaian untuk setiap kriteria. Satu run punya satu hasil, dengan kode seperti #TE-0001. |
| Criterion (kriteria) | Satu hal yang harus ada atau dilakukan oleh jawaban. Sebuah kriteria hanya cocok atau tidak cocok. |
| Excerpt (kutipan) | Bagian jawaban agent yang membuktikan sebuah kriteria cocok. |
| Highlight (sorotan) | Tanda berwarna pada jawaban agent: hijau di bagian yang mendukung sebuah kriteria, merah di bagian yang bertentangan dengannya. |
| Tool call (pemanggilan tool) | Saat agent memakai salah satu tool-nya ketika menjawab. |
Sebelum memulai
- Anda memiliki peran Owner atau Contributor pada agent.
- Anda punya setidaknya satu run. Lihat Menjalankan Simulasi.
- Anda tahu versi mana yang dipakai run itu, Published atau Draft. Jika belum, baca Menjalankan Simulasi terlebih dahulu.
Langkah 1: Buka tab Results
- Di sidebar, buka Simulation lalu klik Scenarios.
- Di halaman Conversation Simulation, klik tab Results.
Anda melihat satu kartu per run, yang terbaru di atas. Setiap kartu menampilkan:
- kode run, misalnya
#TE-0007 - chip Published atau Draft, yang memberi tahu versi agent mana yang menjawab, dan chip status
- kapan run dimulai dan berapa lama berjalan
- berapa banyak skenario dan step di dalamnya
Statusnya adalah Completed, Failed, Running, atau Stopped.
Klik List View di atas daftar untuk tabel dengan kolom Run, Status, Version, Started, Duration, Scenarios, dan Steps. Klik Grid View untuk kembali ke kartu. Daftar menampilkan satu kelompok run sekaligus. Klik Load More di bagian bawah untuk kelompok berikutnya.
Pada agent tanpa run, tab ini menampilkan No simulation results yet dan "Run your scenarios to see results here".
Langkah 2: Temukan run yang Anda cari
Klik Show Filters untuk membuka panel filter. Tombolnya berubah menjadi Hide Filters selama panel terbuka.
| Filter | Fungsinya |
|---|---|
| Code | Hanya menampilkan run yang kodenya cocok dengan yang Anda ketik, misalnya TE-0001. |
| Status | Hanya menampilkan run Completed, Failed, Running, atau Stopped. |
| Version | Menampilkan run All, hanya run Draft, atau hanya run Published. |
| Run Date From dan Run Date To | Hanya menampilkan run yang dimulai dalam rentang tanggal ini, kedua hari ikut dihitung. |
Klik Apply untuk memfilter. Klik Reset untuk menghapus filter dan melihat semua run lagi. Jika tidak ada yang cocok, tab ini menampilkan No Results Found dan menyarankan Anda mengubah filter atau rentang tanggal.
Di sebelah Show Filters, Sort By mengurutkan daftar berdasarkan Run Date (bawaan, yang terbaru di atas), Code, Status, atau Duration. Dropdown kedua beralih antara Ascending dan Descending.
Klik sebuah kartu atau baris untuk membuka hasilnya.
Langkah 3: Baca bagian atas halaman
Halaman ini berjudul Simulation Result. Di bawah judul Anda melihat kode run dan waktu mulai. Baca bagian atas dengan urutan ini.
Tombol-tombolnya. Run yang masih Running punya tombol merah Stop dan ikon refresh. Run yang tidak sedang berjalan punya Run Again dan tombol Delete dengan ikon tempat sampah. Tanda panah di kiri judul kembali ke tab Results. Lihat Menjalankan Simulasi untuk Stop dan Run Again.
Empat kartu ringkasan.
| Kartu | Yang disampaikannya |
|---|---|
| STATUS | Status run, dengan chip Published atau Draft di sebelahnya. Selalu periksa chip ini lebih dulu, agar Anda tahu apa yang sedang Anda nilai. |
| CRITERIA MATCH | Berapa kriteria yang cocok dari seluruh kriteria di semua step, misalnya 8/10 Matched. Lencananya hijau pada 70% atau lebih, kuning dari 30% sampai 69%, dan merah di bawah 30%. Jika hanya ada satu kriteria, kartunya bertuliskan CRITERION MATCH. |
| DURATION | Berapa lama seluruh run berjalan. |
| STEPS | Berapa banyak step di dalam run. Jika hanya ada satu step, kartunya bertuliskan STEP. |
Pemberitahuan. Beberapa pesan bisa muncul di bawah judul. Semuanya dijelaskan di Pemberitahuan di halaman di bawah.
Langkah 4: Buka sebuah skenario
Di bawah kartu, judul Scenarios (n) (Scenario (1) jika run hanya memiliki satu) mencantumkan setiap skenario dalam run sebagai satu baris. Sebuah baris menampilkan:
- ikon status dan nama skenario
- folder tempatnya berada
- berapa step yang selesai, misalnya "3/3 Steps completed", dan berapa lama berjalan
- Failed at step #n berwarna merah jika skenario gagal, dengan alasannya di bawah baris
- "2 blocked calls" berwarna merah jika agent mencoba memakai tool yang diblokir
- tautan Mocks used in this run
- lencana seperti 3/5 Matched setelah skenario selesai
Klik panah di ujung kanan baris untuk membukanya. Bagian tengah baris adalah tautan Mocks used in this run, jadi jangan klik di sana. Baris itu terbuka menjadi satu kartu per step. Skenario yang gagal punya baris kemerahan, sehingga mudah ditemukan sekilas.
Langkah 5: Baca satu step
Setiap step adalah kartu dengan judul Step #1, Step #2, dan seterusnya, dengan lencana kecocokannya sendiri setelah selesai. Klik panah di ujung kanannya untuk membukanya. Dari atas ke bawah, isinya:
- Pesan pengguna. Pertanyaan yang Anda tulis untuk step itu, dengan teks lebih besar.
- Expected Response dan AI Agent Response, berdampingan. Yang pertama adalah jawaban yang Anda tulis di skenario. Yang kedua adalah jawaban asli agent pada run ini. Jika step gagal, baris merah Error menjelaskan alasannya. Baris itu berada di header kartu, jadi Anda bisa membacanya tanpa membuka step.
- Evaluation Criteria, beserta berapa yang cocok.
- Tool calls, jika run mencatatnya.
Jawaban agent ditampilkan sebagai teks biasa, jadi tanda format seperti **bold** muncul sebagai tanda bintang.
Cara sebuah kriteria ditampilkan
Judulnya berbunyi Evaluation Criteria (x/y Matched). Di bawahnya, setiap kriteria adalah satu kotak.
| Yang Anda lihat | Artinya |
|---|---|
| Kotak hijau: kata-kata kriteria, lalu 💬 dan kutipan dalam tanda petik | Kriteria cocok. Kutipan itu adalah bagian jawaban yang membuktikannya. |
| Kotak abu-abu: kata-kata kriteria, lalu 💡 dan sebuah kalimat | Kriteria tidak cocok. Kalimat itu adalah alasannya, misalnya jawaban tidak menyebutnya, atau mengatakan hal yang berbeda. |
Pada gambar, penanda 1 ada pada kriteria yang cocok dan penanda 2 pada kriteria yang tidak cocok. Tidak ada label lain. Baca kotak abu-abu sebagai "ini tidak terjadi, dan inilah sebabnya". Klik judulnya untuk melipat kotak atau membukanya lagi.
Step tanpa kriteria menampilkan No Evaluation Criteria, "This step does not have evaluation criteria defined." Step itu tidak punya apa pun untuk dicocokkan, sehingga lencananya tidak dihitung dalam total.
Sorotan pada jawaban agent
Qlar juga menandai bagian-bagian yang dikutip di AI Agent Response:
- Hijau menandai bagian jawaban yang mendukung kriteria yang cocok.
- Merah menandai bagian jawaban yang bertentangan dengan sebuah kriteria.
Jadi kotak abu-abu dengan sorotan merah pada jawaban berarti agent mengatakan kebalikan dari yang Anda harapkan. Kotak abu-abu tanpa sorotan merah biasanya berarti jawaban melewatkannya. Ketika agent mengutip pengetahuannya, label referensi singkat muncul di dalam jawaban. Klik label itu untuk membaca teks sumbernya tanpa meninggalkan halaman.
Baca kedua sisi sebelum memutuskan siapa yang salah. Terkadang jawabannya sudah baik dan kriterianya yang terlalu ketat. Memperbaiki dan Menguji Ulang menunjukkan apa yang diubah pada setiap kasus.
Langkah 6: Lihat pemanggilan tool
Jika agent Anda punya tool, kartu step diakhiri dengan Tool calls (n). Di sebelahnya ada chip kecil yang menghitung hasil tiap panggilan, misalnya Blocked 1 dan Live 1. Jika agent tidak memakai tool pada step itu, kartu menampilkan No tool calls in this turn.
Klik Tool calls (n) untuk membuka daftarnya. Judulnya "In the order the agent called them". Setiap baris menampilkan:
- nomor panggilan, seperti #1, dan key tool, misalnya
custom:list_books. Tool plugin menampilkan key yang lebih panjang dan diakhiri nama tool, sepertiplugin:...:fn_loan_status - chip hasil: apa yang terjadi pada panggilan itu, salah satu dari Mocked, Default, Simulated, Live, Blocked, Internal, atau Unknown
- chip sumber: mengapa hasilnya begitu, salah satu dari Step, Scenario, Tool policy, Not reviewed in the tool policy, Allowed live in this scenario, atau Built-in default
- pratinjau singkat dari yang dikirim agent, dan satu kalimat yang menjelaskan hasilnya
Yang pertama dilihat adalah Blocked. Panggilan tidak dilakukan, dan agent diberi tahu bahwa tool itu tidak tersedia. Tool yang tidak ada di tool policy menampilkan Not reviewed in the tool policy sebagai sumbernya. Skenario dengan panggilan terblokir menampilkan "n blocked calls" di barisnya. Chip Live membawa peringatan, "Live — may contain real data", karena panggilan itu benar-benar dijalankan pada sistem sungguhan.
Klik sebuah baris untuk melihat Arguments dan Response dari panggilan itu. Pada panggilan Blocked Anda bisa mengklik Mock this call, dan pada panggilan Mocked atau Live Anda bisa mengklik Save as case, untuk mengubahnya menjadi mock. Tool dalam Simulasi menjelaskan setiap hasil dan sumber, dan Tool Mocks menunjukkan cara memakainya. Setiap baris skenario juga punya Mocks used in this run. Tautan itu membuka panel hanya-baca berisi mock yang dipakai run tersebut saat dimulai.
Pemberitahuan di halaman
| Yang Anda lihat | Artinya |
|---|---|
| "Live updates paused after 10 minutes — use refresh to check the latest status." | Run masih Running setelah 10 menit. Halaman berhenti memperbarui diri. Klik ikon refresh untuk melihat status terbaru. Jika masih belum bergerak setelah beberapa menit, klik Stop lalu Run Again. |
| Note: "The draft changed during this run. Later scenarios may have used newer settings." | Anda menyimpan perubahan pada agent saat run Draft berjalan. Sebagian skenario menjawab dengan pengaturan lama dan sebagian dengan yang baru. Jalankan lagi jika Anda butuh hasil yang bersih. |
| Note: "The agent was published during this run. Later scenarios may have used the newly published settings." | Hal yang sama untuk run Published: seseorang melakukan publish saat run berjalan. |
| Baris merah Error:, kadang diakhiri "Running it again may help." | Run, sebuah skenario, atau sebuah step tidak dapat selesai, dan inilah alasannya. |
Periksa hasilnya
Anda berhasil jika bisa menjawab hal-hal ini dari halaman:
- Versi mana yang menjawab, Published atau Draft?
- Berapa kriteria yang cocok secara total, dan di skenario serta step mana kotak abu-abu berada?
- Untuk satu kotak abu-abu: apakah jawabannya yang salah, atau kriterianya yang terlalu ketat?
- Apakah agent memakai tool, dan apakah ada panggilan yang Blocked.
Jika Anda melihat hal lain:
- Tab Results kosong. Belum ada yang dijalankan, atau sebuah filter menyembunyikan run. Klik Reset.
- Kriterianya berbeda dari run sebelumnya. Jawaban dan penilaiannya dihasilkan oleh AI, jadi bisa berubah. Klik Run Again lalu bandingkan. Kriteria yang terus berganti biasanya terlalu samar. Lihat Menulis Skenario yang Baik.
- Halaman hasil lama sekali berstatus Running. Klik ikon refresh. Lihat baris pertama tabel pemberitahuan.
- Sebuah step sama sekali tidak punya baris Tool calls. Run itu dibuat sebelum pencatatan pemanggilan tool tersedia. Jika agent memang tidak memakai tool, step menampilkan No tool calls in this turn.
Langkah berikutnya
- Berikutnya dalam bagian ini: Memperbaiki dan Menguji Ulang mengubah kotak abu-abu menjadi sebuah perubahan dan memeriksa bahwa perubahan itu berhasil.
- Jika agent Anda memanggil tool: Tool dalam Simulasi.
- Referensi per field: Results.