Docs/Simulasi/Memperbaiki dan Menguji Ulang

Memperbaiki dan Menguji Ulang

Kriteria abu-abu bukan akhir pekerjaan. Itu awal sebuah perbaikan. Dalam panduan ini Anda mempelajari cara menilai apakah agent atau pengujiannya yang salah, pengaturan mana yang diubah untuk setiap jenis masalah, cara memeriksa perubahan di Draft sebelum pengguna Anda melihatnya, cara membandingkan kedua hasil, dan kapan harus Publish. Panduan ini juga memberi Anda rutinitas untuk mengganti model AI dengan aman. Waktu yang dibutuhkan sekitar lima belas menit.

Agent contohnya adalah Libraría. Skenario dan angka di bawah hanyalah contoh. Agent Anda akan punya nama lain. Langkah-langkahnya sama. Jika Anda belum pernah membaca hasil, mulailah dari Membaca Hasil.

AI terlibat setiap kali: agent menulis jawabannya dan AI menilai setiap kriteria, jadi satu run bisa berbeda dari run berikutnya. Ini penting di sini, karena Anda ingin tahu apakah sebuah perubahan membantu atau hasilnya hanya bergeser secara kebetulan. Rutinitas di bawah menjalankan pemeriksaan dua kali sebelum mempercayainya.

Istilah penting

Istilah	Artinya
Baseline	Hasil dari sebelum perubahan Anda. Hasil baru dibandingkan dengannya.
Draft	Perubahan terakhir Anda yang tersimpan, belum dipublish. Run pada Draft menunjukkan bagaimana agent akan menjawab setelah Anda publish.
Published	Versi yang saat ini dipakai pengguna Anda.
Version	Chip Published atau Draft pada setiap run, dan filter bernama sama di tab Results.

Sebelum memulai

Anda memiliki peran Owner atau Contributor pada agent.
Anda punya hasil dengan setidaknya satu kriteria abu-abu, sehingga ada yang bisa diperbaiki. Lihat Membaca Hasil.
Anda tahu bahwa menyimpan perubahan tidak sama dengan mempublishnya. Jika belum, baca Preview dan Publish Perubahan. Hanya beberapa menit.

Langkah 1: Putuskan siapa yang salah

Buka hasilnya dan lihat satu kriteria abu-abu bersama jawabannya. Hanya ada tiga kemungkinan:

Agent yang salah. Jawaban melewatkan sebuah fakta, mengatakan hal yang keliru, atau bernada salah. Perbaiki agent.
Pengujiannya yang salah. Jawabannya baik, tetapi kriterianya meminta sesuatu yang sebenarnya tidak Anda butuhkan, atau terlalu samar atau terlalu persis. Perbaiki skenario.
Sebuah tool menghalangi. Step memakai tool dan panggilannya Blocked, atau jawaban datang dari mock yang memberi data keliru. Perbaiki pengaturan tool.

Baca kotak abu-abu (💡) untuk alasannya dan sorotan pada jawaban. Tanyakan pada diri Anda: apakah pengguna sungguhan akan puas dengan jawaban ini? Jika ya, pengujiannya yang salah. Jika tidak, agent-nya.

Kotak Evaluation Criteria pada sebuah step hasil, bertuliskan 1/2 Matched, dengan kriteria hijau tentang jam buka perpustakaan dan kriteria abu-abu tentang jam tutup hari Sabtu yang diberi kotak penanda beserta alasannya

Perbaiki satu hal dalam satu waktu. Jika Anda mengubah tiga pengaturan sekaligus lalu hasilnya membaik, Anda tidak akan tahu mana yang berhasil.

Langkah 2: Temukan pengaturan yang diubah

Yang Anda lihat	Kemungkinan penyebab	Yang diubah
Jawaban mengatakan tidak tahu, atau melewatkan fakta yang ada di konten Anda.	Fakta itu tidak ada di knowledge, atau sudah usang.	Tambahkan atau perbaiki di Knowledge → Documents, Websites, atau Videos. Periksa cara pemecahannya di Knowledge → Chunks. Perubahan knowledge langsung berlaku, jadi tidak perlu publish.
Fakta ada di knowledge Anda, tetapi agent tidak memakainya atau mengutip bagian yang salah.	Agent tidak menemukan atau tidak memilih bagian itu.	Knowledge → Retrieval, halaman Agent Retrieval, dan Knowledge → Chunks. Perubahan pada pengaturan Retrieval adalah perubahan draft. Perubahan pada chunk langsung berlaku, seperti perubahan knowledge lainnya. Lihat Menyempurnakan Kualitas Jawaban.
Faktanya benar, tetapi nada, panjang, format, atau bahasanya tidak. Agent keluar topik atau menolak padahal seharusnya menjawab.	Instruksi agent.	Persona → Behavior, halaman Agent Behavior: Mission, Personality, dan Interaction. Perubahan draft. Lihat Behavior.
Jawaban lambat, terlalu dangkal, atau agent tidak bisa membaca lampiran.	Model AI atau konteksnya.	Conversation → Model & Context, Conversation AI Model. Perubahan draft. Pakai rutinitas ganti model di bawah.
Sebuah step gagal atau menjawab buruk karena pemanggilan tool Blocked.	Belum ada yang memutuskan apa yang dilakukan tool itu dalam simulasi.	Beri mock, atau izinkan berjalan live untuk skenario itu. Lihat Tool dalam Simulasi dan Tool Mocks. Tool Mocks dan Tool Policy hanya mengubah apa yang dilakukan simulasi. Keduanya tidak mengubah agent live Anda, jadi tidak ada yang perlu dipublish.
Sebuah tool menjawab dengan data yang salah.	Case mock yang Anda tulis, atau tool-nya sendiri.	Ubah case di Simulation → Tool Mocks jika itu mock. Jika itu panggilan live, periksa tool-nya sendiri di Tools.
Jawabannya baik, tetapi sebuah kriteria abu-abu.	Kriterianya terlalu ketat atau terlalu samar.	Ubah skenarionya, bukan agent: tulis ulang kriterianya, perbaiki Expected Response lalu klik Rewrite Criteria, atau aktifkan Fixed date & time jika jawabannya bergantung pada tanggal hari ini. Lihat Menulis Skenario yang Baik.
Kriteria yang sama cocok pada satu run dan abu-abu pada run berikutnya.	Kriteria yang longgar, atau sekadar variasi AI.	Jalankan lagi. Jika terus berganti, buat kriterianya lebih spesifik.

Halaman Agent Behavior punya satu kolom untuk setiap bagian instruksi agent, dan setiap kolom punya tombol Modify sendiri.

Halaman Agent Behavior yang menampilkan kolom Mission beserta isinya dan tombol Modify di bawahnya

Ambil skenario "Opening hours" dari hasil yang gagal di langkah 1. Kriteria abu-abunya adalah "The answer gives the closing time on Saturdays", dan alasannya mengatakan jawaban meminta klarifikasi dan tidak memberikan jam tutup hari Sabtu. Kriterianya wajar, jadi pengujiannya tidak salah. Lihat mengapa agent bertanya, bukan menjawab. Entah konten Anda belum memuat jam hari Sabtu, dan Anda menambahkannya di Knowledge → Documents, atau instruksi agent membuatnya bertanya dulu, dan Anda mengubahnya di Persona → Behavior. Setelah itu Anda menguji ulang.

Langkah 3: Buat perubahan dan simpan

Buka halaman dari tabel dan buat satu perubahan.
Klik Save dan konfirmasi jika CMS memintanya.

Pengaturan yang disimpan masuk ke Draft. Pengguna Anda tetap berbicara dengan versi Published sampai Anda mempublishnya. Perubahan knowledge adalah pengecualian: dokumen, website, video, dan chunk-nya dipakai bersama oleh kedua versi, jadi langsung berlaku begitu selesai diproses. Tool Policy, Tool Mocks, dan perubahan skenario berbeda lagi: semuanya disimpan sendiri, berlaku pada run Anda berikutnya di versi mana pun, dan tidak perlu Publish. Lihat Preview dan Publish Perubahan.

Jika perubahannya adalah perubahan skenario, simpan skenarionya. Run selalu memakai skenario yang sudah disimpan.

Langkah 4: Jalankan lagi pada Draft

Buka Simulation → Scenarios.
Klik Run pada skenario yang Anda perbaiki. Untuk menguji ulang satu folder penuh, klik Run All (n).
Di bawah Run against, pilih Draft. Keterangannya berbunyi Unpublished changes jika Anda punya perubahan draft. Jika berbunyi "Same as published right now", draft tidak punya perubahan sendiri, dan run pada Draft menjawab seperti run pada Published.
Klik Yes, atau Run anyway jika dialog mencantumkan tool yang diblokir, lalu Close pada pesan keberhasilan.

Di bawah kedua pilihan, dialog menjelaskan bahwa Draft memakai pengaturan draft: prompt, model, tool, plugin, dan skill. Knowledge, dokumen, dan data plugin dipakai bersama dengan agent live.

Pilihan Run against dengan Published (What your users talk to now) dan Draft (Unpublished changes) serta catatan bahwa Draft memakai pengaturan draft sementara knowledge, dokumen, dan data plugin dipakai bersama dengan agent live

Di halaman hasil, pastikan chip di sebelah status bertuliskan Draft. Lalu baca kotak abu-abu yang menjadi awal pekerjaan ini. Anda bisa mengklik Run Again pada hasil Draft itu setelah setiap perubahan berikutnya. Tombol itu memulai run baru untuk skenario yang sama pada draft sebagaimana keadaannya saat itu. Run Again pada hasil Published kembali ke Published, jadi mulai pengujian ulang Anda dari Run seperti di atas. Lihat Menjalankan Simulasi untuk semua cara memulai run.

Langkah 5: Bandingkan berdasarkan Version

Satu hasil yang lebih baik belum membuktikan banyak, jadi bandingkan.

Buka tab Results dan klik Show Filters.
Buka baseline, yaitu run Published terakhir untuk skenario yang sama, dan run Draft baru Anda. Pakai filter Version dan filter Code untuk menemukannya. Kolom Version di List View juga menampilkan chip-nya.
Letakkan kedua hasil berdampingan, misalnya di dua tab browser, lalu bandingkan:
- CRITERIA MATCH: apakah totalnya naik, misalnya dari 8/10 ke 9/10?
- Skenario yang Anda perbaiki: apakah kotak abu-abu kini hijau, dengan kutipan yang masuk akal?
- Skenario lain: apakah ada kotak hijau yang menjadi abu-abu di tempat lain? Perbaikan di satu tempat bisa merusak tempat lain, jadi periksa seluruh folder.
- DURATION, jika kecepatan bagian dari masalahnya.
Jalankan Draft sekali lagi. Jika hasilnya sama, Anda bisa mempercayainya. Jika melompat-lompat, kriterianya terlalu samar untuk dinilai. Tulis ulang lalu mulai lagi dari langkah 4.

Chip Version pada setiap hasil membedakan keduanya. Di sini kedua hasil berdampingan, dengan chip Published di kiri dan chip Draft di kanan. Keduanya bertuliskan 1/2 Matched karena satu-satunya perubahan untuk gambar ini hanyalah perubahan yang tidak berpengaruh. Setelah perbaikan yang sungguhan, Anda berharap total Draft naik.

Dua kartu ringkasan hasil berdampingan: hasil Published di kiri dan hasil Draft di kanan, masing-masing dengan chip Completed, chip Published atau Draft yang diberi kotak penanda, dan CRITERIA MATCH bertuliskan 1/2 Matched

Hasil yang sedikit berbeda dalam susunan kata tetapi sama dalam penilaian adalah hal normal. Lihat penilaian dan kutipannya, bukan kata-katanya.

Langkah 6: Publish

Ketika Draft setidaknya sebaik Published di semua tempat yang Anda periksa, publish.

Klik Publish di bilah atas. Tombol ini hanya muncul selama agent punya perubahan yang belum dipublish. Pada layar kecil, buka menu pengguna di kanan atas, yang punya aksi yang sama.
Tunggu Publishing... selesai. Tombolnya lalu menghilang.

Selama ada perubahan draft yang menunggu, tombol ini terlihat seperti berikut, di sebelah Preview:

Bilah atas dengan tombol Preview dan tombol Publish yang diberi kotak penanda, ditampilkan selagi ada perubahan draft yang menunggu dipublish

Publish bersifat semua atau tidak sama sekali. Tombol ini mempublish setiap perubahan draft yang tersimpan, bukan hanya yang Anda uji. Pastikan Anda sudah menguji semuanya. Perubahan knowledge tidak perlu dipublish karena sudah live.

Setelah publish, jalankan skenario sekali lagi pada Published. Hasilnya membawa chip Published dan menjadi baseline baru untuk perubahan berikutnya.

Mengganti model AI dengan aman

Mengubah Conversation AI Model bisa mengubah setiap jawaban, jadi ujilah pada lebih dari satu skenario. Pakai rutinitas ini.

Baseline. Pilih folder berisi skenario terpenting Anda, klik Run All (n) dan pilih Published. Catat CRITERIA MATCH dan DURATION.
Ganti. Buka Conversation → Model & Context, ubah Conversation AI Model lalu simpan. Lihat Model & Context.
Jalankan pada Draft. Jalankan folder yang sama lagi dengan Run against diatur ke Draft.
Ulangi. Jalankan Draft untuk kedua kalinya. Dua run menunjukkan seberapa jauh hasil bergeser secara kebetulan.
Bandingkan. Pakai filter Version seperti pada langkah 5. Lihat penilaian per skenario, bukan hanya totalnya, dan juga DURATION. Periksa pula pemanggilan tool: model yang berbeda bisa memanggil tool dengan cara berbeda.
Putuskan. Jika model baru sama baik atau lebih baik, publish. Jika tidak, kembalikan model lama lalu simpan. Pengguna Anda tidak pernah melihat model baru itu, karena versi Published tidak berubah.

Cobalah model itu pada skenario yang penting bagi pengguna Anda. Model yang bagus pada pertanyaan mudah masih bisa gagal pada yang sulit, jadi sertakan beberapa yang sulit.

Periksa hasilnya

Anda berhasil jika melihat semua hal berikut:

Skenario yang Anda perbaiki punya kotak hijau di tempat yang tadinya abu-abu, dengan chip Draft pada hasilnya.
Total dan skenario lain tidak memburuk, dan run kedua sependapat.
Setelah Publish, tombolnya hilang dari bilah atas, dan run pada Published memberi Anda baseline baru.

Jika Anda melihat hal lain:

Kotak abu-abu masih abu-abu. Baca lagi alasannya. Mungkin Anda memperbaiki hal yang salah. Kembali ke langkah 2.
Kriteria lain menjadi abu-abu. Perubahan itu membantu satu jawaban dan merugikan yang lain. Batalkan, atau buat perubahan yang lebih kecil.
Run pada Draft terlihat sama seperti sebelumnya. Periksa keterangan di bawah Draft. Jika berbunyi "Same as published right now", perubahan Anda bukan perubahan draft. Itu wajar untuk perubahan knowledge, mock, atau skenario. Jika bukan itu, pastikan Anda sudah menyimpannya.
Tidak ada tombol Publish. Tidak ada yang belum dipublish. Perubahan knowledge tidak pernah memunculkan tombol itu, karena sudah live.
Hasilnya berubah setiap run. Itu AI. Nilai sebuah perubahan dari dua atau tiga run, bukan satu.

Langkah berikutnya

Kembali ke awal siklus: Membaca Hasil.
Jika tool menjadi masalahnya: Tool dalam Simulasi dan Tool Mocks.
Kriteria yang lebih baik: Menulis Skenario yang Baik.
Versi cerita: Menguji Perubahan Sebelum Publish menjalani siklus yang sama untuk Atlas, agent Kirana Group.
Referensi per field: Results.

PreviousMembaca Hasil

NextTool dalam Simulasi