Feedback Insight
Buka di CMSHalaman Feedback menampilkan sinyal kepuasan eksplisit yang ditinggalkan pengguna Anda saat mereka menilai sebuah jawaban. Bahkan volume feedback negatif yang kecil pun berisi informasi bernilai tinggi — pengguna hanya repot-repot memberi rating ketika mereka merasa cukup kuat terhadap hasilnya.
Feedback positif memberi tahu Anda apa yang perlu dipertahankan. Feedback negatif memberi tahu Anda apa yang perlu diperbaiki. Keduanya memberi tahu Anda bagian mana dari agent yang benar-benar berinteraksi dengan pengguna Anda.
Membuka Halaman Feedback
Di sidebar, buka Analytics dan klik Feedback.
Setelah halaman terbuka, orientasikan diri Anda dengan urutan ini: kartu ringkasan di bagian atas terlebih dahulu, lalu grafik tren di bawahnya, kemudian panel daftar detail yang digunakan untuk investigasi.
Kartu Ringkasan
| Kartu | Yang Ditampilkan |
|---|---|
| Total Feedback | Berapa banyak jawaban yang secara eksplisit dinilai dalam periode yang dipilih |
| Positive Feedback | Jumlah dan persentase rating 👍 |
| Negative Feedback | Jumlah dan persentase rating 👎 |
Menafsirkan Angka
Agent yang sehat biasanya menunjukkan tingkat positif di atas 80%. Benchmark bervariasi tergantung domain — agent dukungan teknis cenderung memiliki kepuasan lebih rendah dibanding agent tanya-jawab informasional karena pertanyaannya lebih sulit — tetapi tren-nya lebih penting daripada persentase absolutnya.
Tingkat negatif yang terus meningkat dari minggu ke minggu adalah sinyal paling dapat diandalkan bahwa ada sesuatu yang berubah: ekspektasi pengguna mungkin bergeser, knowledge base mungkin sudah usang, atau integrasi upstream mungkin gagal secara senyap.
Catatan: Total Feedback hanya menghitung percakapan di mana pengguna benar-benar mengklik rating. Percakapan yang tidak dinilai tidak direpresentasikan. Ketika volume total feedback sangat rendah (kurang dari 30 rating dalam suatu periode), perlakukan persentasenya sebagai indikator arah, bukan pengukuran yang signifikan secara statistik.
Volume Feedback Rendah
Jika Total Feedback secara konsisten sangat rendah dibanding volume percakapan Anda, pertimbangkan apakah pengguna bisa dengan mudah melihat tombol rating di channel yang mereka gunakan. Beberapa integrasi channel menampilkan UI rating secara berbeda, dan beberapa pengguna mungkin tidak menyadari bahwa mereka bisa memberi feedback.
Grafik Tren Feedback
Grafik batang berkelompok memplot feedback positif (hijau) dan feedback negatif (merah) berdampingan untuk setiap rentang waktu dalam periode yang dipilih.
Perlakukan grafik ini sebagai lapisan deteksi perubahan Anda: grafik ini dengan cepat menunjukkan apakah sentimen stabil, membaik, atau melenceng seiring waktu.
Gunakan Period Selector (pojok kanan atas) untuk menyesuaikan rentang waktu. Tampilan 30 hari paling berguna untuk analisis tren: satu hari buruk kurang bermakna dibanding tren yang berlangsung selama beberapa minggu.
Membaca Pola Tren
| Pola | Yang Diindikasikan |
|---|---|
| Tingkat negatif tiba-tiba melonjak pada tanggal tertentu | Perubahan konfigurasi atau update knowledge pada tanggal tersebut mengubah perilaku agent |
| Tingkat negatif meningkat bertahap selama beberapa minggu | Knowledge base semakin usang, atau ekspektasi pengguna berkembang melampaui cakupan agent saat ini |
| Positif dan negatif sama-sama naik secara proporsional | Lebih banyak pengguna memberi rating — mekanisme rating menjadi lebih terlihat, belum tentu ada perubahan akurasi |
| Tingkat positif tinggi tetapi volume sangat rendah | Hanya pengguna paling terlibat (dan paling puas) yang memberi rating; pengguna yang frustrasi mungkin pergi secara senyap |
| Feedback negatif mengelompok pada jam-jam tertentu | Kemungkinan penurunan performa atau integrasi yang gagal saat traffic tinggi |
Klik batang mana pun untuk membuka panel Feedback List di bawah grafik.
Setelah Anda menemukan pola yang mencurigakan pada batang grafik, langsung pindah ke panel daftar untuk bukti konkret dari percakapan individual.
Menginvestigasi Feedback Individual
Panel Feedback List menampilkan setiap jawaban yang dinilai dalam rentang waktu yang Anda klik. Setiap baris berisi:
- Date / Time dari rating tersebut
- User yang memberikannya
- Message — pertanyaan pengguna yang memicu rating tersebut (dipotong; arahkan kursor untuk teks lengkap)
- Reason — teks opsional yang diketik pengguna untuk menjelaskan rating negatif
- View Conversation — tombol yang membuka thread percakapan lengkap. Tombol ini memerlukan izin Conversation history pada catatan contributor Anda, yang menyala secara default; tanpa izin itu tombolnya tetap muncul tetapi percakapannya diganti peringatan. Potongan pesan yang tampil di sini tidak tercakup izin tersebut. Lihat Mengelola Akses Agent. Jika organization memiliki Mode Privasi yang aktif, potongan pesan maupun percakapan lengkapnya sama-sama dihapus setelah jendela retensi berakhir, untuk role apa pun.
Gunakan panel ini untuk berpindah dari metrik agregat ke diagnosis tingkat kasus, di mana setiap baris menjadi petunjuk investigasi yang bisa ditindaklanjuti.
Gunakan view toggle (pojok kanan atas panel) untuk beralih antara tata letak tabel dan tata letak kartu yang dioptimalkan untuk layar yang lebih sempit. Klik Load More untuk memuat hasil tambahan.
Selalu Tindak Lanjuti Feedback Negatif
Cuplikan pesan dan teks alasan memberi tahu Anda apa yang salah. Percakapan lengkapnya memberi tahu Anda mengapa:
- Apakah agent berhalusinasi mengenai fakta yang tidak ada di knowledge base?
- Apakah agent salah memahami cakupan pertanyaan dan menjawab pertanyaan yang terkait tetapi berbeda?
- Apakah agent memberikan jawaban yang secara teknis benar tetapi dalam format yang kurang membantu (misalnya, deretan panjang bullet point padahal kalimat langsung sudah cukup)?
- Apakah agent mengarahkan pengguna ke tempat lain padahal sebenarnya punya informasi untuk menjawab langsung?
- Apakah agent memicu function tool yang mengembalikan data yang tidak terduga?
Setiap mode kegagalan ini memiliki perbaikan yang berbeda. Anda tidak bisa mengidentifikasi perbaikan yang tepat tanpa membaca percakapan lengkapnya.
Pola Feedback Negatif yang Umum
Gunakan tabel di bawah ini sebagai panduan diagnostik saat meninjau feedback negatif.
| Pola dalam teks alasan | Kemungkinan Penyebab | Tempat Investigasi |
|---|---|---|
| "Wrong information" / "Not accurate" | Knowledge yang usang atau hilang | Tinjau konten resource / knowledge base |
| "Didn't answer my question" | Cakupan Mission terlalu sempit, atau penanganan pertanyaan yang ambigu | Revisi Mission dan Interaction di Behavior |
| "Too long" / "Too much text" | Gaya Interaction tidak membatasi panjang respons | Tambahkan panduan panjang respons ke Interaction |
| "Too short" / "Not enough detail" | Gaya Interaction terlalu membatasi panjang | Longgarkan panduan panjang atau tambahkan instruksi untuk memperluas topik kompleks |
| "Keeps asking me questions" | Perilaku klarifikasi yang terlalu hati-hati | Sesuaikan Interaction agar lebih tegas |
| "Used the wrong tool" / "Wrong data" | Deskripsi function tool menyesatkan AI | Tulis ulang nama dan deskripsi Custom API |
| "Not helpful" (tanpa detail lebih lanjut) | Masalah pemformatan, latency, atau rendering channel | Periksa log Monitoring dan pengaturan channel |
| Tanpa teks alasan tetapi konsisten negatif | Masalah kepuasan pengguna yang tidak terkait konten | Tinjau Personality dan Interaction untuk nada bicara |
| Feedback negatif dari pengguna yang sama berulang kali | Ketidakcocokan ekspektasi pengguna tertentu | Tinjau thread percakapan mereka dan pertimbangkan apakah cakupan agent mencakup kasus penggunaan mereka |
Bertindak Berdasarkan Feedback
Feedback paling bernilai ketika mendorong perubahan yang spesifik dan bisa diuji. Proses di bawah ini menjaga perubahan tetap bisa dipertanggungjawabkan:
- Kelompokkan — Kelompokkan feedback negatif berdasarkan teks alasan atau bagian agent yang terlibat (knowledge, behavior, function tools).
- Prioritaskan — Fokus pada kelompok dengan alasan yang paling sering berulang. Satu keluhan terisolasi kurang penting dibanding keluhan yang sama muncul dari banyak pengguna.
- Hipotesis — Bentuk hipotesis yang spesifik: "Jika saya menambahkan instruksi panjang respons ke Interaction, kelompok 'terlalu panjang' seharusnya mengecil."
- Ubah — Lakukan perubahan dalam mode Draft. Jangan langsung dipublikasikan.
- Validasi — Uji secara manual di panel preview. Pastikan tidak ada error Monitoring baru yang muncul di log Draft.
- Publikasikan — Deploy Draft ke Published.
- Ukur — Periksa tren Feedback selama 7 hingga 30 hari berikutnya, tergantung volume traffic Anda. Perubahan yang berhasil akan terlihat dalam data tren.
Tip: Ekspor halaman Feedback (atau ambil screenshot) sebelum melakukan perubahan konfigurasi. Memiliki baseline memudahkan Anda menunjukkan peningkatan kepada stakeholder setelah perubahan berlaku.
Halaman Terkait
- Baca Dashboard — lacak volume percakapan dan adopsi function-tool
- Telusuri dengan Monitoring Logs — telusuri peristiwa teknis di balik feedback negatif
- Ikhtisar Analytics & Logs — ritme monitoring dan siklus perbaikan
- Konfigurasi Behavior — tindak lanjuti insight dengan merevisi Mission, Personality, dan Interaction