Menguji Perubahan Sebelum Publish

Di langkah ini Anda memeriksa perubahan pada Atlas sebelum karyawan melihatnya. Anda mengubah satu pengaturan dan menyimpannya, yang hanya mengubah draft. Anda menjalankan rangkaian uji Kirana Projects pada Draft, membandingkan hasilnya dengan run pada Published, dan mengklik Publish hanya ketika draft setidaknya sebaik yang sedang tayang. Waktu yang dibutuhkan sekitar lima belas menit.

Kebiasaan ini sama dengan di Preview dan Publish Perubahan, tetapi bisa diulang: alih-alih mengajukan beberapa pertanyaan secara manual di Preview, Anda memainkan ulang seluruh rangkaian uji dan membandingkan angkanya.

AI terlibat di setiap run: Atlas menulis jawabannya dan AI menilai setiap criterion. Keduanya bisa berbeda setiap kali, jadi satu run pada Draft dibandingkan satu run pada Published adalah contoh, bukan bukti. Pengaturan yang sama bisa lulus di satu run dan gagal di run berikutnya. Baca kotak abu-abunya, bukan hanya totalnya, dan jalankan lagi bila selisihnya kecil.

Sebelum memulai

• Anda punya rangkaian uji dari Menyusun Rangkaian Uji Pertama, dan sebaiknya juga skenario status proyek dari Menguji Tool dengan Aman Memakai Mock, di folder Kirana Projects.
• Atlas sudah di-publish, dan Anda sudah menjalankan rangkaian uji itu sekali pada Published.
• Jika pada halaman sebelumnya Anda mengizinkan tool eskalasi berjalan live di suatu skenario, hapus pengaturan itu dulu. Jika tidak, run seluruh folder pada Published akan memberi tahu supervisor sungguhan.
• Anda adalah Owner atau Contributor pada agent. Hanya peran ini yang bisa publish.
• Tombol Publish di top bar hanya tampil pada layar selebar minimal 1025 px. Pada layar yang lebih kecil, buka menu pengguna di kanan atas: menu itu memiliki aksi Publish yang sama.

Apa itu Draft, dan apa yang dibagikannya dengan Atlas yang tayang

Atlas punya dua versi. Versi published adalah yang dipakai karyawan sekarang. Draft adalah perubahan tersimpan Anda yang belum di-publish. Sebuah run bisa memakai salah satunya: Anda memilih dengan Run against pada konfirmasi.

Ketika Anda memilih Draft, sebuah catatan muncul di bawah pilihan: "Uses the draft's settings: prompt, model, tools, plugins, skills. Knowledge, documents and plugin data are shared with the live agent." Untuk Atlas, artinya:

Jadi run Draft adalah latihan yang aman untuk pengaturan Anda. Ia membaca knowledge yang sama dengan yang dibaca karyawan, dan tidak mengubah apa pun bagi mereka.

Langkah 1: Ubah satu pengaturan dan simpan

Untuk berlatih langkah-langkahnya tanpa mengubah cara Atlas menjawab, ubah Disclaimer, teks kecil yang tampil di bawah kotak input chat. Saat ini kosong pada Atlas. Inilah perubahan yang dipakai gambar-gambar di halaman ini.

1. Buka Persona → Profile.
2. Di Disclaimer, ketik Please double-check important details. Keterangan di bawah field berbunyi "Text shown below the chat input box. Leave empty to hide the disclaimer."
3. Klik Save, lalu Yes.

Perubahan ini hanya tersimpan di draft. Karyawan masih berbicara dengan versi sebelumnya. Di top bar, tombol Publish muncul. Tombol ini hanya tampil selama draft berisi sesuatu yang belum live.

Untuk perubahan yang berarti, pakai yang ditunjuk oleh pengujian mock. Di Menguji Tool dengan Aman Memakai Mock, jawaban tentang KG-2041 tidak pernah menyebut proyek mana yang dimaksud. Untuk memperbaikinya:

1. Di sidebar, buka Tools lalu klik Custom API. Buka get_project_status.
2. Di Response Prompt, ubah teksnya menjadi: Start with the project code and name, then the status and the current approval stage, then progress, budget spent versus total, and the latest update. Keep it under six lines.
3. Klik Save all changes di bagian bawah halaman, lalu Yes.

Langkah-langkah di bawah sama. Bedanya, kedua run kemudian bisa menjawab secara berbeda, seperti dijelaskan langkah 3. Dengan Disclaimer, kedua run menjawab dengan cara yang sama, dan Anda hanya melihat label versinya berubah.

Langkah 2: Jalankan rangkaian uji pada Draft

1. Buka Simulation → Scenarios lalu pilih folder Kirana Projects.
2. Klik Run All (n) di atas daftar. Konfirmasi bertanya Run all 2 scenarios in "Kirana Projects"? Angkanya mengikuti skenario di folder Anda.
3. Di bawah Run against, lihat keterangan di bawah Draft. Kini berbunyi Unpublished changes. Pilih Draft. Catatan tentang apa yang dibagikan draft muncul.

4. Klik Yes, dan Close pada pesan sukses, yang menyatakan run berhasil dimulai terhadap draft.

Qlar membuka halaman Simulation Result. Di samping status, chip berbunyi Draft, jadi Anda selalu tahu versi mana yang menjawab. Statusnya dimulai sebagai Running dan berubah menjadi Completed ketika selesai.

Jika Draft berwarna abu-abu dan keterangannya "No separate draft yet.", Atlas belum punya salinan draft, jadi tidak ada yang bisa dijalankan. Sebuah agent mendapat salinan draft saat dibuat atau saat pertama kali disimpan atau di-publish, dan publish tidak menghapusnya. Menyimpan perubahan apa pun pada Atlas membuatnya. Jika Draft bisa dipilih tetapi keterangannya "Same as published right now", draft-nya ada tetapi sama dengan versi published. Dalam kedua kasus, run pada Draft akan menjawab seperti Published.

Langkah 3: Bandingkan dengan Published

Agar perbandingannya adil, jalankan folder yang sama pada Published juga, sekarang, sehingga kedua run terjadi pada hari yang sama dengan pertanyaan yang sama.

1. Kembali ke Simulation → Scenarios, pilih Kirana Projects lalu klik Run All (n).
2. Di bawah Run against, pilih Published lalu klik Yes.
3. Buka tab Results. Setiap run adalah satu kartu dengan kodenya seperti #TE-0034, chip Published atau Draft, dan statusnya. Klik Show Filters (lalu berbunyi Hide Filters) untuk memfilter menurut Code, Status, Version, Run Date From, dan Run Date To, lalu klik Apply, atau Reset untuk mengosongkannya. Version dimulai dari All. Pilih Draft atau Published untuk melihat satu jenis saja. Sort By Run Date Descending menaruh run terbaru di atas. Di List View, Version adalah sebuah kolom.

4. Buka kedua run satu per satu dan bandingkan kartu CRITERIA MATCH, yang menghitung semua kriteria dalam folder. Dengan perubahan Disclaimer, kedua run cocok sama: pada gambar keduanya menunjukkan 4/4 Matched, karena Disclaimer tidak mengubah apa yang ditanyakan skenario.

5. Jika Anda mengubah Response Prompt, lihat juga lencana pada baris skenario status proyek di bawah Scenarios (n). Misalnya, baris itu bisa menunjukkan 5/6 Matched pada run Published dan 6/6 Matched pada run Draft. Buka skenario itu pada keduanya. Pada run Published, criterion The answer identifies KG-2041 as the Surabaya warehouse expansion project. berupa kotak abu-abu. Pada run Draft, ia bisa berupa kotak hijau dengan kutipan, karena Atlas kini memulai dengan nama proyek.

Yang perlu diperhatikan:

• Lebih baik di Draft, tidak ada yang lebih buruk, atau sama saja ketika perubahan tidak seharusnya memengaruhi jawaban, seperti Disclaimer. Perubahannya berhasil. Lanjut ke langkah 4.
• Lebih buruk di Draft pada skenario yang tidak ada hubungannya dengan perubahan. Baca kotak abu-abunya sebelum memutuskan. Jika itu variasi AI, jalankan skenario itu lagi dengan Run Again. Jika itu nyata, kembali ke langkah 1 dan sempurnakan perubahannya.
• Tidak ada selisih. Entah perubahannya tidak memengaruhi pertanyaan-pertanyaan ini, atau rangkaian uji belum punya skenario yang menguji perubahan itu. Tulis satu di Menulis Skenario yang Baik.

Jika Anda mengubah Atlas atau mem-publish saat sebuah run berjalan, halaman hasil memperingatkan: "The draft changed during this run. Later scenarios may have used newer settings." atau "The agent was published during this run. Later scenarios may have used the newly published settings." Jalankan lagi untuk hasil yang bersih.

Langkah 4: Publish

Ketika Anda puas dengan run Draft:

1. Klik Publish di top bar.

2. Tombol berbunyi Publishing... selama perubahan diterapkan, lalu menghilang.

Tidak ada langkah konfirmasi, dan publish mengirim setiap perubahan draft yang tersimpan sekaligus. Pastikan run Draft mencakup semua yang Anda ubah. Jika Anda mengubah Disclaimer hanya untuk berlatih, kosongkan lagi (teks lamanya kosong), simpan, lalu publish, agar draft bersih dan karyawan tidak pernah melihat teks latihan itu. Sebuah penyimpanan menandai agent memiliki perubahan yang belum di-publish walaupun tidak ada yang berbeda, dan hanya Publish yang membersihkannya.

Karyawan kini mendapat Atlas yang baru. Untuk memastikan, buka View di top bar untuk melihat versi published, atau buka konfirmasi sebuah run baru: di bawah Draft, keterangannya berbunyi Same as published right now.

Periksa hasilnya

Anda berhasil jika bisa mengatakan hal-hal ini:

• Versi mana yang dipakai setiap run, dari chip Published atau Draft.
• Skenario mana yang membaik atau memburuk karena perubahan Anda, dan mengapa.
• Tombol Publish sudah hilang dari top bar, dan keterangan di bawah Draft berbunyi Same as published right now.

Jika Anda melihat hal lain:

• Draft berwarna abu-abu. Keterangannya "No separate draft yet." Atlas belum punya salinan draft. Simpan dulu sebuah perubahan pada Atlas.
• Kedua run terlihat sama. Perubahan Anda mungkin tidak menyentuh apa yang ditanyakan skenario. Lihat kasus "Tidak ada selisih" di langkah 3.
• Sebuah skenario berubah-ubah antar run. Jawaban agent dan penilaian AI berubah dari run ke run. Klik Run Again dan bandingkan. Criterion yang terus berubah-ubah biasanya terlalu samar.
• Tombol Publish tidak ada. Tidak ada yang perlu di-publish, atau layar Anda lebih sempit dari 1025 px. Pakai menu pengguna di kanan atas.

Langkah berikutnya

• Berikutnya dalam alur: Mengingat Setiap Pengguna, langkah pertama Tahap 4, agar Atlas bisa mengingat di mana setiap orang bekerja.
• Fitur yang sama secara lebih mendalam: Menjalankan Simulasi dan Memperbaiki dan Menguji Ulang.
• Referensi per field: Results dan Scenarios.
• Sebelumnya dalam langkah ini: Memilih Tool yang Berjalan Live.