Retrieval
Buka di CMSHalaman Retrieval berisi konfigurasi teknis yang mengatur apakah, dan bagaimana, agent mengambil dan mempelajari isi knowledge base Anda. Untuk pemakaian umum, sebagian besar pengaturan di sini tidak perlu diubah. Namun, menyesuaikannya dengan konten dan pola pertanyaan Anda bisa meningkatkan kualitas jawaban secara nyata.
Buka Knowledge → Retrieval di sidebar kiri. CMS menempatkan halaman ini di bawah Knowledge; di dokumentasi ini halaman tersebut termasuk tahap Menyempurnakan Kualitas Jawaban. Satu-satunya pengecualian adalah switch Enable Reference yang dijelaskan di bawah: aktifkan switch ini begitu Anda mulai menambahkan knowledge.
Untuk Atlas, asisten operasional Kirana Group, ada dua aturan untuk halaman ini. Pertama, Enable Reference dan Restrict Answer sama-sama tetap aktif, sehingga Atlas hanya menjawab dari SOP Kirana dan tidak pernah menebak aturan. Kedua, Anda baru mengubah pengaturan pencarian saat sebuah jawaban melewatkan salah satu bagian SOP, dan itu pun satu pengaturan setiap kali.
Sebelum memulai
- Tambahkan dan proses sumber knowledge Anda di Mengajari Agent Anda (Dokumen, Websites, Video).
- Siapkan daftar singkat pertanyaan uji, termasuk beberapa pertanyaan yang saat ini dijawab kurang baik oleh agent. Anda akan memakainya untuk menilai setiap perubahan. Untuk Atlas: "Who has to approve a project worth $2.5 million?" dan "What do I need to attach to a USD 400,000 capex request?".
Reference
Pengaturan ini menentukan apakah agent memakai Knowledge base Anda saat menyusun jawaban.
Enable Reference
Saat aktif, agent mencari referensi yang berasal dari konten Knowledge yang Anda unggah (dokumen, video, dan website) sebelum menjawab. Dengan begitu agent bisa memberi jawaban yang akurat dan sesuai konteks, berdasarkan konten Anda sendiri, bukan hanya mengandalkan pengetahuan AI model dasar.
Nonaktifkan hanya jika agent Anda ditujukan untuk percakapan umum tanpa knowledge base sendiri.
Bagaimana konten menjadi referensi: Setiap dokumen, video, dan website yang Anda tambahkan lewat menu Knowledge diurai dan dipecah menjadi potongan teks (chunk). Chunk inilah yang sebenarnya dicari agent, dan chunk inilah referensinya. Konten harus diunggah lebih dulu agar jawaban berbasis referensi bisa berjalan.
Jika Anda mengklik Yes, Enable saat menyimpan dokumen pertama, kedua switch di kartu ini sudah aktif. Lihat Dokumen.
Restrict Answer
Hanya tersedia saat Enable Reference aktif.
| Switch | Yang dilakukan agent | Teks bantuan di bawah switch |
|---|---|---|
| Nonaktif (default) | Memakai knowledge Anda sebagai sumber utama, tetapi juga boleh menjawab dengan informasi dari luar knowledge base. | "Allow the agent to respond using information from outside the knowledge base." |
| Aktif | Hanya menjawab dari knowledge base Anda (dan dari hasil tool-nya, misalnya web search jika diaktifkan). Jika referensi tidak bisa menjawab pertanyaan, agent meminta maaf karena tidak dapat menjawab, alih-alih menebak atau memakai pengetahuan umum. | "Limits the agent's answers to your organization's knowledge base to ensure controlled and reliable responses." |
Teks bantuan di bawah switch menjelaskan kondisi saat ini, sehingga teksnya berubah ketika switch diubah. Jika Anda melihat "Allow the agent to respond using information from outside the knowledge base", artinya Restrict Answer sedang nonaktif.
Menonaktifkan Enable Reference juga menonaktifkan Restrict Answer (dan mematikan sitasi).
Gunakan ini saat akurasi dan keterlacakan ke dokumen Anda sangat penting, misalnya agent untuk hukum, kepatuhan, atau kebijakan internal. Atlas membiarkannya aktif: saat seseorang bertanya tentang aturan yang tidak ada di SOP Kirana, Atlas mengatakannya terus terang dan menunjuk orang yang bisa memutuskan, alih-alih mengarang jawaban.
Content Scope
Kartu ini memungkinkan Anda membatasi tipe konten yang dipakai agent saat retrieval. Secara default, agent mencari di semua tipe konten dalam knowledge base.
Di bawah Content Types Configuration, klik Add New Content Type untuk menambah baris, lalu ketik tipe konten di baris tersebut (placeholder-nya menyarankan FAQ, Policy, dan Documentation). Hapus baris dengan tombol hapus di sebelahnya. Jika tipe konten ditentukan di sini, agent hanya mengambil chunk yang cocok dengan salah satu tipe dalam daftar. Kosongkan daftar ini untuk mengizinkan semua tipe konten.
Gunakan filter tipe konten jika knowledge base Anda berisi campuran materi (misalnya SOP, FAQ, dan katalog vendor) dan Anda ingin agent membatasi pencariannya ke kategori tertentu. Atlas membiarkan daftar ini kosong, sehingga ia mencari di semua sumbernya.
Search
Pengaturan ini langsung menentukan berapa banyak hasil yang dipertimbangkan agent untuk setiap pertanyaan dan seberapa ketat pencocokannya dengan pertanyaan user.
| Pengaturan | Penjelasan |
|---|---|
| Reference per-Query | Jumlah chunk yang diambil dan diberikan ke AI untuk setiap pertanyaan user. Nilai yang lebih tinggi memberi AI lebih banyak konteks, tetapi menambah waktu respons dan biaya token. Default untuk agent baru: 3. |
| Search Tolerance | Slider 1 sampai 10 yang mengatur seberapa dekat isi chunk harus cocok dengan pertanyaan. Nilai rendah menuntut kecocokan yang lebih ketat dan bisa tidak menemukan hasil untuk pertanyaan yang ambigu; nilai tinggi menjangkau lebih luas, tetapi bisa ikut mengambil chunk yang kurang relevan. Screenshot menunjukkan 5. |
| Tolerance Increment | Slider 1 sampai 3. Jika tidak ada hasil pada toleransi saat ini, pencarian diperluas bertahap sebesar nilai ini sampai hasil ditemukan atau toleransi maksimum tercapai. Screenshot menunjukkan 2. |
Panduan penyesuaian
| Situasi | Penyesuaian yang disarankan |
|---|---|
| Agent sering mengatakan tidak bisa menjawab pertanyaan yang seharusnya bisa dijawab | Naikkan Search Tolerance atau Tolerance Increment |
| Jawaban agent melenceng dari topik | Turunkan Search Tolerance |
| Jawaban agent dangkal atau kurang detail | Naikkan Reference per-Query |
| Waktu respons terlalu lambat | Turunkan Reference per-Query |
Contoh dengan Atlas. Seseorang bertanya "What do I need to attach to a USD 400,000 capex request?". Atlas menyebutkan form KG-F12, tetapi tidak menyebutkan tiga penawaran vendor yang diwajibkan bagian 4 SOP-FIN-007 di atas USD 250,000. Pertama, periksa di Chunks bahwa teks bagian 4 ada dan berstatus Active. Jika ya, naikkan Reference per-Query dari 3 ke 4, simpan, lalu tanyakan lagi di percakapan baru. Biarkan Restrict Answer tetap aktif selama Anda melakukannya.
Reranker
Reranker menambahkan tahap penilaian kedua setelah vector search awal. Vector search berjalan cepat, tetapi bekerja berdasarkan kemiripan embedding, sehingga bisa memunculkan chunk yang topiknya berdekatan tanpa menjadi jawaban terbaik untuk pertanyaan yang diajukan. Reranker membaca teks setiap chunk kandidat terhadap pertanyaan dan mengurutkannya ulang berdasarkan relevansi konteks sebelum pilihan akhir diberikan ke AI.
Hasilnya adalah jawaban yang lebih presisi, terutama untuk knowledge base dengan banyak chunk yang mirip, tanpa perlu menurunkan Search Tolerance atau menaikkan Reference per-Query.
Cara kerjanya
- Vector search mengambil kumpulan kandidat yang lebih besar, yang jumlahnya diatur oleh Documents to Rerank.
- AI model reranker menilai setiap kandidat terhadap pertanyaan.
- Sebanyak Reference per-Query chunk teratas (dari kartu Search) dipilih dari kumpulan yang sudah diurutkan ulang.
- Chunk tersebut dikirim ke AI untuk menyusun jawaban akhir.
Documents to Rerank harus lebih besar dari Reference per-Query. Reranker membutuhkan kumpulan yang lebih luas daripada pilihan akhir, misalnya ambil 10 kandidat, urutkan ulang, lalu berikan 3 terbaik ke AI.
Pengaturan
| Pengaturan | Penjelasan |
|---|---|
| Enable Reranker | Menyalakan atau mematikan tahap reranking. Default-nya nonaktif. Saat nonaktif, chunk teratas dari vector search dipakai apa adanya. |
| Reranker AI Model | AI model yang dipakai untuk menilai kandidat. Hanya bisa diubah saat reranker aktif. Default: Organization default, yang memakai model yang diatur organisasi Anda (tanda panah menunjukkan model mana, misalnya → Smart). |
| Documents to Rerank | Jumlah kandidat yang diambil vector search untuk dinilai reranker. Harus bilangan bulat positif yang lebih besar dari Reference per-Query. Default: 10. |
Kapan mengaktifkan reranker
Aktifkan jika:
- Knowledge base Anda memiliki banyak chunk dengan kosakata yang mirip, misalnya kumpulan FAQ yang besar atau banyak SOP yang sama-sama membahas approval
- Agent mengambil chunk yang secara teknis relevan, tetapi melewatkan chunk yang paling tepat
- Kualitas jawaban tidak konsisten meskipun pengaturan Search Tolerance sudah memadai
Biarkan nonaktif jika:
- Knowledge base Anda kecil dan terstruktur dengan baik, sehingga vector search saja sudah cukup. Atlas, dengan satu SOP, satu halaman web, dan satu video, membiarkannya nonaktif.
- Kecepatan menjadi prioritas, karena tahap reranking menambah satu panggilan AI model untuk setiap pertanyaan
Training
| Pengaturan | Penjelasan |
|---|---|
| Content Training AI Model | AI model yang dipakai untuk training knowledge base dan pembuatan embedding. Default: Organization default (di screenshot → Thinker). Mengubahnya memengaruhi cara konten baru diindeks; konten yang sudah diindeks tidak otomatis diindeks ulang. |
Menyimpan perubahan
Klik Save di kanan bawah dan konfirmasi. Pengaturan retrieval adalah bagian dari draft agent: Preview langsung memakainya, sedangkan agent live Anda memakainya setelah Anda mengklik Publish (lihat Preview dan Publish Perubahan). Perubahan pada kartu Training hanya berlaku untuk konten yang baru diindeks; embedding yang sudah ada tidak diperbarui.
Periksa hasilnya
Ubah satu pengaturan setiap kali. Setelah setiap penyimpanan, klik tombol reload di panel preview di sisi kanan halaman, lalu ajukan lagi pertanyaan uji Anda:
- Jawaban harus memakai sumber Anda (dan menyebutkannya, jika sitasi aktif). Untuk Atlas, "Who has to approve a project worth $2.5 million?" tetap harus menghasilkan Group Risk Office review, Regional Director, dan CFO, dengan SOP-FIN-007 sebagai sumber.
- Saat Restrict Answer aktif, pertanyaan di luar knowledge Anda tidak boleh dijawab dengan karangan dari pengetahuan umum.
- Jika jawaban masih tidak muncul, periksa di Chunks apakah chunk yang tepat ada, aktif, dan teksnya benar.
Untuk perbandingan sebelum dan sesudah yang bisa diulang pada banyak pertanyaan, gunakan Otomasi Pengujian.
Langkah berikutnya
- Chunks: periksa dan perbaiki chunk yang diambil agent dengan pengaturan Anda saat ini (langkah berikutnya).
- Dokumen: sumber utama konten yang di-training dan dicari.
- Websites: konten dari web yang mengikuti pengaturan pencarian yang sama.
Datang dari halaman Chat? Enable Reference dan Restrict Answer dulu berada di Chat. Sekarang keduanya ada di sini.