Knowledge Search dengan Model Sendiri
Buka di CMSSaat agent mencari di knowledge base-nya, setiap potongan dokumen dan setiap pertanyaan lebih dulu diubah menjadi angka oleh embedding model. Secara default itu embedding model Qlar. Pilih embedding model milik Anda sendiri, maka knowledge Anda dan pertanyaan end user hanya dikirim ke akun provider Anda.
Siapa yang bisa melakukannya? Owner dan Admin organization. Pilihan ini berlaku untuk semua agent di organization.
Sebelum memulai
- API key untuk OpenAI, Azure OpenAI, atau OpenAI-compatible server yang menyediakan embedding. Lihat Memakai API Key Sendiri.
- Langganan (subscription) tidak bisa dipakai untuk knowledge search.
- Mengganti model membangun ulang knowledge index setiap agent, dengan satu panggilan ke model Anda per knowledge chunk di akun Anda. Tab Tasks menampilkan perkiraan jumlah chunk-nya sebelum Anda memilih.
1. Tambahkan embedding model
Buka halaman Organizations → pilih organization Anda → Manage organization → tile AI Models → tab Sources → Add API key (atau Add models di key yang sudah ada).
- Dari daftar Qlar: untuk OpenAI dan Azure OpenAI, centang text-embedding-3-small (1536 dimensi) atau text-embedding-3-large (3072 dimensi). Embedding model bertuliskan "Embeddings · n dimensions", bukan chip kemampuan.
- Model yang tidak ada di daftar (semua provider di atas, termasuk OpenAI-compatible server): Add a model that isn't listed, ketik Model name-nya, nyalakan Embedding model (for knowledge search), lalu isi Dimensions, yaitu panjang vektornya. Tidak yakin? Klik Detect: Qlar meng-embed satu teks pendek dengan model itu untuk membaca ukuran vektornya.
- Azure OpenAI: isi Deployment name bila nama deployment Anda berbeda dengan nama model.
Klik Add key (atau Add models). Embedding model hanya ditawarkan untuk Knowledge search, tidak pernah sebagai model chat.
Pilih yang mana? Dalam pengujian kami, text-embedding-3-large lebih sering menemukan potongan yang tepat dibanding index Qlar; text-embedding-3-small lebih murah dan hasilnya setara dengan index Qlar.
2. Pilih untuk Knowledge search
Tab Tasks → Other services → Knowledge search → Embedding model. Biarkan Qlar embeddings (OpenAI) untuk tetap memakai milik Qlar.
Begitu Anda memilih, knowledge index setiap agent dibangun ulang dengan model baru. Di bawah pemilih, setiap agent menampilkan status pembangunan ulangnya; daftar ini diperbarui sendiri selama proses berjalan:
| Status | Arti |
|---|---|
| Indexing x of y | Pembangunan ulang sedang berjalan. |
| Ready · model | Agent mencari knowledge-nya dengan model Anda. |
| Rebuild failed | Pembangunan ulang berhenti; arahkan kursor untuk melihat alasannya (misalnya key salah atau dicabut). Perbaiki penyebabnya, lalu klik Retry di samping statusnya. Agent yang menampilkan Indexing tanpa kemajuan selama setengah jam juga mendapat Retry. |
| Not indexed yet | Tidak ada yang bisa dicari: organization Anda hanya memakai model sendiri dan tidak punya model Knowledge search. |
Rebuild all, di bawah daftar, membangun ulang index semua agent. Tombol ini bertanya dulu dan menyebutkan kira-kira berapa knowledge chunk yang di-embed ulang dengan model Anda.
Selama pembangunan ulang agent berjalan, agent tetap mencari di index yang sudah dimilikinya:
- Berganti dari satu model milik Anda ke model lain: agent mencari di index-nya yang sekarang dengan model sebelumnya sampai index baru siap, selama model sebelumnya masih ada di organization Anda (tidak dihapus atau dimatikan).
- Pertama kali pindah dari embedding Qlar: agent mencari di index Qlar, bila organization Anda mengizinkan model Qlar.
Selain itu, misalnya saat Anda sekaligus menghapus model sebelumnya, agent tidak bisa mencari knowledge-nya sampai pembangunan ulangnya selesai. Halaman Documents agent menampilkan status yang sama di atas daftar.
Perlu diketahui
- Setelah pembangunan ulang selesai, index lama dihapus, termasuk index Qlar. Kembali ke index lama berarti membangun ulang lagi.
- Dokumen baru di-index dengan model Anda saat dilatih. Potongan yang sangat panjang dipendekkan agar muat di batas input model.
- Tagihan: panggilan embedding di model Anda tidak memakai credit Qlar; provider Anda yang menagih.
- Mengganti (rotate) key embedding model tidak membangun ulang apa pun.
Mengganti atau menghapus
| Yang dilakukan | Yang terjadi |
|---|---|
| Memilih embedding model lain | Index setiap agent dibangun ulang dengan model baru; sampai saat itu index lama tetap menjawab (selama model lama masih ada) dan dihapus setelah yang baru siap. |
| Mengosongkan pemilih (kembali ke Qlar) | Index setiap agent dibangun ulang dengan embedding Qlar, kecuali organization Anda hanya memakai model sendiri: knowledge search lalu mati dan dokumen bertuliskan Not indexed yet. |
| Menghapus atau mematikan modelnya | Sama dengan mengosongkan pemilih. |