Menganalisis dan Memperbaiki

Buka di CMS

Eksekusi hanyalah separuh dari proses. Nilai sebenarnya dari simulasi datang dari analisis dan perbaikan yang terarah.

Memahami Evaluasi Kriteria

Di detail hasil simulasi, setiap langkah percakapan dievaluasi berdasarkan kriteria Anda.

Anda akan melihat hasil seperti:

  • Matched: respons memenuhi kriteria
  • Contradicted: respons bertentangan dengan maksud kriteria
  • Unmentioned: respons tidak membahas poin yang diwajibkan

Gunakan hasil ini untuk mengetahui dengan tepat di mana kualitasnya menurun.

Langkah demi Langkah: Menganalisis Hasil

1) Buka detail hasil

  1. Buka Simulation → Scenarios lalu buka tab Results.
  2. Buka eksekusi tertentu.
  3. Bentangkan detail skenario dan langkahnya.

2) Periksa hasil kriteria

  1. Tinjau rasio kecocokan dan hasil di tingkat langkah.
  2. Baca kutipan dan catatan alasan jika tersedia.
  3. Identifikasi pola kegagalan yang berulang.

3) Prioritaskan perbaikan

Prioritaskan berdasarkan risiko bagi user:

  1. Kesalahan compliance atau kebijakan
  2. Panduan faktual yang salah
  3. Informasi penting untuk pengambilan keputusan yang terlewat
  4. Ketidakkonsistenan nada dan gaya

4) Terapkan perbaikan yang terarah

Berdasarkan jenis kegagalannya, perbarui:

  • Instruksi perilaku persona
  • Pengaturan dialog
  • Cakupan dan kualitas resource
  • Instruksi tool atau plugin
  • Kualitas kriteria skenario itu sendiri

5) Jalankan ulang dan verifikasi

  1. Jalankan ulang skenario yang terdampak.
  2. Pastikan hasil kriteria membaik.
  3. Pantau progresnya di beberapa run.

Checklist Kesiapan Penggantian Model

Gunakan checklist ini sebelum mem-publish model baru:

PemeriksaanSyarat lulus
Run baseline tersediaSet skenario yang sama sudah dieksekusi pada model lama
Skenario kritis stabilTidak ada regresi kritis di kategori utama
Kualitas kriteria terjagaKualitas kecocokan tetap dapat diterima di seluruh langkah berisiko tinggi
Tinjauan kegagalan selesaiSetiap contradiction/unmentioned pada langkah kritis sudah ditinjau
Rencana aksi terdokumentasiSetiap celah yang tersisa memiliki penanggung jawab dan tenggat waktu

Jika salah satu syarat ini belum terpenuhi, biarkan model baru tetap di draft dan lanjutkan iterasi.

Siklus Perbaikan Berkelanjutan

Perlakukan simulasi sebagai siklus yang terus berjalan:

  1. Rancang skenario.
  2. Jalankan simulasi.
  3. Analisis hasilnya.
  4. Perbaiki konfigurasi.
  5. Jalankan ulang untuk verifikasi.

Siklus ini menjaga kualitas percakapan tetap kuat meskipun model, resource, dan otomatisasi Anda terus berkembang dari waktu ke waktu.

Halaman Terkait

Langkah berikutnya

PreviousMenjalankan dan Memantau