Overview
Meluncurkan agent hanyalah permulaan. Tanpa pengamatan yang sistematis, Anda tidak dapat mengetahui apakah pengguna mendapatkan jawaban yang bisa mereka percaya, apakah integrasi berjalan dengan benar, atau apakah nada bicara agent sudah sesuai dengan yang Anda inginkan.
Kegagalan yang senyap adalah jenis yang paling berbahaya: seorang pengguna bertanya, menerima jawaban yang terdengar yakin tetapi salah, lalu pergi tanpa memberikan feedback apa pun. Kecuali Anda meninjau percakapan dan melacak feedback yang memang diberikan pengguna, kegagalan-kegagalan itu menumpuk tanpa terlihat. Seiring waktu, hal ini mengikis kepercayaan terhadap agent dan tim di baliknya.
qlar memberi Anda empat permukaan pengamatan khusus, masing-masing dirancang untuk jenis pertanyaan yang berbeda:
| Permukaan | Di Mana | Paling Cocok untuk |
|---|---|---|
| Dashboard | Home | Volume, tren, adopsi function-tool |
| Feedback Insight | Analytics → Feedback | Kepuasan pengguna, deteksi pola kegagalan |
| Monitoring Logs | Analytics → Logs | Error teknis, debugging integrasi, jejak audit |
| Conversation Analysis | Analytics → Analysis | Deteksi pola berbasis AI, evaluasi batch, analisis tren |
Gunakan keempatnya bersama-sama untuk membangun gambaran lengkap tentang bagaimana agent Anda berperilaku di produksi.
Empat Permukaan Pengamatan
Dashboard
Halaman Dashboard menjawab pertanyaan: Apakah agent saya digunakan, dan apakah penggunaannya bertumbuh?
Buka halaman ini setiap pagi untuk menangkap anomali yang terjadi semalaman. Lima kartu metrik memberi Anda gambaran kesehatan secara langsung, dan grafik percakapan memungkinkan Anda menelusuri setiap rentang waktu untuk membaca thread individualnya. Diagram pie Function Tools mengungkap tool mana yang benar-benar dipanggil AI — dan mana yang diabaikannya.
Buka halaman ini saat: Anda ingin memeriksa aktivitas keseluruhan, menemukan anomali traffic, atau memverifikasi bahwa function tool sedang digunakan.
Feedback Insight
Halaman Feedback menjawab pertanyaan: Apakah pengguna puas dengan jawaban yang mereka terima?
Halaman ini menampilkan rating eksplisit yang diberikan pengguna (👍 / 👎) dan memungkinkan Anda menelusuri setiap rating negatif untuk membaca alasan pengguna beserta percakapan lengkapnya. Tingkat negatif yang terus meningkat dari minggu ke minggu adalah sinyal peringatan dini paling dapat diandalkan bahwa ada sesuatu pada agent yang telah berubah atau melenceng.
Buka halaman ini saat: Anda ingin mengukur kepuasan pengguna, mengidentifikasi pola keluhan yang berulang, atau melacak apakah perubahan konfigurasi meningkatkan kualitas.
Monitoring Logs
Halaman Monitoring menjawab pertanyaan: Apa yang sebenarnya terjadi, dan mengapa?
Halaman ini mengekspos aliran log mentah dari layanan backend agent, difilter berdasarkan sumber (Published atau Draft), tingkat keparahan, dan rentang waktu. Setiap baris log tertaut ke percakapan yang bersangkutan dan membuka panel konteks terstruktur berisi payload permintaan lengkap serta detail error dari panggilan API eksternal mana pun.
Buka halaman ini saat: Anda perlu mendiagnosis error tertentu, memvalidasi bahwa perubahan konfigurasi berfungsi di Draft sebelum dipublikasikan, atau membangun jejak audit setelah sebuah insiden.
→ Telusuri dengan Monitoring Logs
Conversation Analysis
Halaman Conversation Analysis menjawab pertanyaan: Pola apa yang muncul di ratusan percakapan — dan apa artinya?
Berbeda dari permukaan lain yang menampilkan peristiwa individual dan hitungan aktivitas, Conversation Analysis menjalankan evaluasi batch berbasis AI di seluruh riwayat percakapan Anda. Tentukan apa yang ingin diukur — tingkat keluhan, kualitas resolusi, sentimen, topik yang sedang tren, sinyal risiko — tentukan rentang tanggal, dan dapatkan grafik agregat beserta insight yang dihasilkan AI berdasarkan data. Telusuri dari segmen grafik mana pun ke percakapan individual di balik angka-angka tersebut.
Buka halaman ini saat: Anda ingin mendeteksi tren kualitas dalam skala besar, memahami apa yang secara konsisten ditanyakan pengguna, mengidentifikasi pola kegagalan yang berulang, atau menghasilkan gambaran performa agent berbasis data selama suatu periode.
→ Jalankan Conversation Analysis
Membangun Ritme Monitoring
Pengamatan individual memang berguna; ritme yang konsisten membuatnya berdampak. Tabel di bawah ini adalah titik awal — sesuaikan frekuensi dan fokusnya dengan skala deployment dan basis pengguna Anda.
| Frekuensi | Yang Diperiksa | Tujuan |
|---|---|---|
| Harian | Dashboard tampilan 24 jam · Log Warning dan Error | Menangkap kegagalan senyap dan anomali traffic sebelum menumpuk |
| Mingguan | Dashboard tampilan 30 hari · Tren Feedback · Diagram pie Function-tool · Export PDF | Mengukur tren kualitas mingguan dan menyiapkan update untuk stakeholder |
| Setelah perubahan konfigurasi | Dashboard tampilan 72 jam · Log Draft sebelum dipublikasikan · Skor Feedback pasca-publish | Memastikan perubahan memberikan efek yang diinginkan dan tidak menimbulkan regresi |
| Bulanan | Dashboard tampilan 12 bulan · Tren Avg Messages per Conversation · Alasan feedback negatif · Run Conversation Analysis untuk bulan lalu | Mengidentifikasi pergeseran jangka panjang, mendeteksi pola yang muncul dalam skala besar, dan merencanakan iterasi agent berikutnya |
| Setelah insiden | Log Monitoring difilter ke rentang waktu insiden · View Context pada setiap Error | Analisis akar masalah dan dokumentasi tindakan perbaikan |
Tip: Ekspor Dashboard sebagai PDF sebelum dan sesudah setiap perubahan konfigurasi yang signifikan. Menyimpan snapshot ini memudahkan Anda menunjukkan peningkatan kepada stakeholder dengan data konkret, bukan sekadar anekdot.
Menutup Siklus Perbaikan
Pengamatan tidak bernilai apa-apa kecuali mendorong tindakan. Gunakan kerangka kerja di bawah ini untuk berpindah dari apa yang Anda lihat di qlar menjadi apa yang Anda ubah pada agent Anda.
Amati → Diagnosis → Bertindak
| Yang Anda amati | Kemungkinan diagnosis | Di mana bertindak di qlar |
|---|---|---|
| Tingkat feedback negatif di atas 20% | Nada, cakupan, atau akurasi agent tidak memenuhi ekspektasi pengguna | Revisi Behavior (Mission, Personality, Interaction) |
| Avg Messages / Conversation meningkat selama beberapa minggu | Agent tidak menyelesaikan permintaan dalam satu balasan; pengguna mengulang atau menindaklanjuti berulang kali | Perbaiki sumber daya Knowledge dan persempit cakupan Mission |
| Sebuah function tool jarang muncul di diagram pie | Model AI tidak mengenali kapan tool tersebut relevan | Tulis ulang Name dan Description tool tersebut di pengaturan Custom API |
| Log error melonjak setelah upload knowledge | Masalah parsing atau chunking dokumen pada resource baru | Periksa status resource di Knowledge → Resources |
| Traffic turun drastis pada channel tertentu | Channel messenger terputus atau token kedaluwarsa | Verifikasi koneksi di pengaturan Channels → Messenger |
| Pengguna menyebut "informasi salah" dalam alasan feedback negatif | Knowledge base sudah usang atau dokumen sumber telah berubah | Perbarui atau upload ulang resource yang relevan |
| Log Critical dari layanan tertentu | Kegagalan level infrastruktur di luar konfigurasi Anda | Ekspor detail log dan eskalasikan ke support |
Siklus Iterasi
Setiap agent membaik melalui iterasi. Ritme praktisnya seperti ini:
- Amati — Tinjau Dashboard, Feedback, dan Logs sesuai jadwal di atas.
- Diagnosis — Identifikasi satu atau dua masalah dengan dampak terbesar terhadap kepuasan pengguna.
- Hipotesis — Bentuk perubahan yang spesifik: "Jika saya menambahkan instruksi yang lebih jelas tentang panjang respons ke Interaction, alasan feedback 'terlalu panjang' seharusnya berkurang."
- Bertindak — Lakukan perubahan dalam mode Draft.
- Validasi — Gunakan log Monitoring yang difilter ke Draft Agent untuk memastikan tidak ada error baru. Uji secara manual di panel preview.
- Publikasikan — Deploy Draft ke Published.
- Ukur — Periksa tren Feedback dan metrik Dashboard selama 72 jam hingga 30 hari berikutnya, tergantung volume traffic Anda.
- Ulangi — Kembali ke langkah 1.
Agent yang dipantau dan diiterasi secara rutin secara konsisten mengungguli agent yang hanya di-deploy sekali lalu dibiarkan tanpa perubahan.
Halaman Terkait
- Baca Dashboard — kartu metrik, grafik percakapan, adopsi function-tool, dan export PDF
- Analisis Feedback Pengguna — tren kepuasan, pola feedback negatif, dan alur perbaikan
- Telusuri dengan Monitoring Logs — level log, filter, tombol aksi, dan alur debug
- Jalankan Conversation Analysis — evaluasi batch berbasis AI, tipe analisis, grafik agregat, dan deteksi pola
- Otomatisasi dengan Custom API — konfigurasikan function tool yang penggunaannya Anda lacak di Dashboard
- Konfigurasi Behavior — tindak lanjuti insight dari Feedback dengan merevisi Mission, Personality, dan Interaction
- Tingkatkan dengan Simulation — gunakan percakapan simulasi untuk menguji hipotesis sebelum menerapkan perubahan ke produksi