Menjalankan dan Memantau

Setelah merancang skenario, eksekusi menunjukkan apakah agent Anda benar-benar bekerja sesuai harapan. Halaman ini menjelaskan cara menjalankan simulasi dan memantau status eksekusinya dengan percaya diri.

Langkah demi Langkah: Menjalankan Skenario

1) Buka conversation simulation yang sudah ada

1. Buka Simulation → Scenarios (judul halamannya Conversation Simulation).
2. Buka sebuah skenario dari daftar.

2) Mulai eksekusi

1. Klik Run di halaman formulir skenario.
2. Konfirmasi saat diminta.
3. Anda akan diarahkan ke halaman detail hasil simulasi.

3) Pantau status run

Perhatikan status eksekusi selama diproses:

• running: simulasi masih diproses
• completed: semua langkah selesai
• failed: satu atau lebih langkah gagal
• stopped: eksekusi dihentikan secara manual

4) Gunakan kontrol selama dan setelah eksekusi

• Refresh saat berjalan untuk mengambil status terbaru
• Stop jika Anda perlu membatalkan run
• Run Again setelah selesai untuk pemeriksaan regresi
• Delete run lama yang tidak lagi Anda butuhkan

Gunakan Daftar Hasil secara Efisien

Buka tab Results di Simulation → Scenarios untuk mengelola banyak eksekusi.

Gunakan filter dan pengurutan untuk:

1. Mencari run berdasarkan rentang tanggal.
2. Mencari berdasarkan kode eksekusi.
3. Memfilter berdasarkan status.
4. Mengurutkan dari yang terbaru atau terlama.

Ini membantu Anda dengan cepat memeriksa run yang relevan setelah perubahan besar.

Gunakan Mock untuk Pemanggilan Tool

Dalam simulasi, tool tanpa mock akan diblokir (Custom API, MCP, agent lain), berjalan live (plugin yang membaca data), atau mengembalikan sukses kosong (tool yang menulis data). Jika run memperingatkan adanya tool yang diblokir, atau hasil berubah dari run ke run karena data live, pasang sebuah mock set ke skenario. Pada hasil run, daftar Tool calls di setiap step menunjukkan apakah sebuah pemanggilan Mocked, Live, atau Blocked, dan Mocks used in this run menampilkan mock set yang dipakai run tersebut. Lihat Menguji Tool dengan Aman Memakai Mock.

Praktik Terbaik Eksekusi

1. Jalankan skenario kritis terlebih dahulu setelah setiap pembaruan besar.
2. Pertahankan jadwal run yang konsisten (harian atau mingguan, tergantung risiko trafik).
3. Jalankan ulang set skenario yang sama sebelum dan sesudah perubahan model.
4. Gunakan kode eksekusi dalam diskusi tim agar mudah dilacak.
5. Hentikan dan segera selidiki saat skenario prioritas tinggi gagal.

Proses Singkat Uji Regresi Penggantian Model

Gunakan proses ringan ini setiap kali Anda mengganti model:

1. Jalankan skenario baseline pada model saat ini.
2. Ganti model di pengaturan draft.
3. Jalankan skenario yang persis sama.
4. Bandingkan hasil kriteria.
5. Publish hanya setelah skenario kritis lulus.

Langkah berikutnya

Sekarang tafsirkan kualitas kriteria dan ubah temuan menjadi perbaikan:

Menganalisis dan Memperbaiki