Simulasi Pertama Anda

Buka di CMS

Dalam panduan ini Anda menyusun dan menjalankan simulasi pertama. Anda mulai dari agent yang belum punya pengujian, membuat folder, menulis percakapan singkat dua langkah, membiarkan Qlar menyarankan kriteria lulus, menjalankannya pada versi yang dipakai pengguna Anda, lalu membaca hasilnya. Waktu yang dibutuhkan sekitar sepuluh menit.

Agent contohnya adalah Linguéa, asisten bahasa dan tata bahasa multibahasa yang menjawab dari buku-buku referensinya. Pengujiannya mengajukan dua pertanyaan tata bahasa Spanyol: kapan memakai subjunctive setelah "quiero que", dan kapan tetap memakai infinitive. Jika Anda mengikutinya dengan agent Anda sendiri, tulis dua pertanyaan yang cocok untuk agent itu. Langkah-langkahnya sama.

AI terlibat di beberapa tempat: Qlar menyarankan kriteria, agent menulis jawabannya, dan AI menilai apakah setiap jawaban cocok. Semuanya bisa berbeda setiap kali, jadi yang Anda lihat tidak akan persis sama dengan yang ditampilkan di halaman ini. Baca halaman ini untuk memahami bentuk hasilnya, bukan teks persisnya.

Sebelum memulai

  • Anda memiliki peran Owner atau Contributor pada agent. Peran lain tidak melihat grup Simulation di sidebar.
  • Agent belum punya data simulasi: belum ada folder maupun skenario. Jika sudah ada, langkah-langkahnya tetap berlaku, tetapi layar Anda akan tampak sedikit berbeda pada langkah 1 dan 2.
  • Anda tahu versi mana yang sedang diuji. Run pertama ini memakai Published, yaitu yang saat ini tayang untuk pengguna Anda pada agent. Lihat Preview dan Publish Perubahan.
  • Anda sudah mengenal istilah scenario, step, criterion, dan Published. Jika belum, baca Pengenalan terlebih dahulu. Hanya dua menit.

Langkah 1: Buka Simulation

  1. Buka agent Anda di CMS. Di sini agent-nya Linguéa.
  2. Jika sidebar sedang diciutkan, arahkan penunjuk ke sidebar untuk memperluasnya. Lalu klik Simulation untuk membuka grupnya.
  3. Klik Scenarios.
Sidebar agent dengan grup Simulation terbuka, berisi Scenarios, Tool Mocks, dan Tool Policy, dengan Scenarios diberi kotak penanda

Halaman Conversation Simulation terbuka pada tab Scenarios. Tab Results di sebelahnya tetap kosong sampai Anda menjalankan sesuatu.

Langkah 2: Buat folder

Skenario disimpan di dalam folder, jadi buat satu folder dulu. Pada agent yang belum punya folder, sisi kiri halaman menampilkan No folders yet.

  1. Di panel Folders, klik New folder.
Panel Folders pada agent baru yang menampilkan No folders yet, dengan tombol New folder pada tampilan kosong diberi kotak dan panah
  1. Pada dialog Create New Folder, ketik Folder Name, misalnya Spanish verbs.
  2. Klik Create.
Dialog Create New Folder dengan Folder Name Spanish verbs serta tombol Create dan Cancel
  1. Saat pesan Folder "Spanish verbs" created successfully muncul, klik Close.

Folder sekarang muncul di panel Folders.

Langkah 3: Mulai skenario baru

Klik New Scenario, di atas daftar skenario. Form Create New Scenario terbuka dengan satu langkah yang masih kosong.

Tab Scenarios dengan folder Spanish verbs di panel Folders dan tombol New Scenario diberi kotak penanda
Membuat folder dan skenario pada Linguéa

Langkah 4: Tulis langkah-langkahnya

Satu step adalah satu giliran percakapan. Setiap step punya User Message (apa yang dikatakan pengguna) dan Expected Response (jawaban yang Anda inginkan).

  1. Pada Step 1, tulis User Message:

    When do I use the subjunctive after 'quiero que'?

  2. Tulis Expected Response dengan kata-kata Anda sendiri. Tidak harus persis sama, karena teks ini hanya menjadi panduan untuk kriteria pada langkah berikutnya:

    The agent explains that 'quiero que' is followed by the subjunctive when you want someone else to do something.

  3. Klik Add Message untuk menambah step kedua.

Form Create New Scenario dengan Step 1 yang sudah berisi User Message dan Expected Response, serta tombol Suggest Criteria, Add Criterion, dan Add Message di bawahnya

  1. Pada Step 2, tulis User Message:

    And when do I keep the infinitive, like in 'quiero ir'?

  2. Tulis Expected Response:

    The agent explains that you keep the infinitive when the person who wants and the person who acts are the same, and answers in two sentences at most.
Step 2 skenario yang sudah berisi User Message dan Expected Response miliknya sendiri

Kedua step berada dalam satu percakapan, seperti chat sungguhan, jadi step 2 diajukan tepat setelah step 1 dan agent mengingat apa yang sudah dikatakannya.

Langkah 5: Dapatkan kriteria

Kriteria adalah satu hal yang harus ada atau dilakukan oleh jawaban agent. Satu step bisa punya beberapa kriteria. Run memeriksa tiap kriteria secara terpisah, sehingga kriteria inilah yang menentukan sebuah pengujian lulus atau gagal.

  1. Pada Step 1, klik Suggest Criteria. Qlar menulis kriteria dari Expected Response Anda. Sesaat kemudian kotak Evaluation Criteria menampilkannya, dan tombolnya kini bertuliskan Rewrite Criterion (jika kriterianya lebih dari satu, tertulis Rewrite Criteria).
Step 1 dengan tombol Suggest Criteria diberi kotak penanda, di atas kotak Evaluation Criteria (0) yang masih kosong
Step 1 setelah kriteria disarankan: kotak Evaluation Criterion (1) berisi satu kriteria dan tombolnya kini bertuliskan Rewrite Criterion
  1. Baca setiap kriteria. Ubah teksnya, klik ikon tempat sampah untuk menghapus satu kriteria, atau klik Add Criterion untuk menulis kriteria Anda sendiri.
  2. Di bagian bawah form, klik Suggest All Criteria (1/2 Steps ready). Tombol ini mengisi kriteria untuk setiap step yang belum punya. Angkanya menghitung step yang sudah punya kriteria.
Bagian bawah form dengan Step 2 yang belum punya kriteria dan tombol Suggest All Criteria (1/2 Steps ready) diberi kotak penanda, di samping Cancel
  1. Muncul pesan "Successfully generated criteria for 1 Step". Klik Close.

Setelah semua step punya kriteria, Suggest All Criteria digantikan oleh Save. Sebelum Anda menutup pesan itu, Save tersembunyi di baliknya.

Langkah 6: Simpan skenario

  1. Klik Save. Qlar menyarankan nama dari step Anda dan membuka dialog Scenario Information.
Bagian bawah form setelah kedua step punya kriteria: Evaluation Criteria (2) pada Step 2, dengan tombol Save dan Cancel
  1. Periksa Scenario Name, misalnya "Spanish Subjunctive Versus Infinitive Usage". Ubah jika Anda mau. Jika namanya kosong, ketik satu.
  2. Periksa Folder. Folder sudah terpilih jika Anda hanya punya satu folder, atau jika Anda memilih sebuah folder di panel Folders sebelum mengklik New Scenario. Jika tidak, pilih folder dari daftar.
Dialog Scenario Information dengan Scenario Name saran Spanish Subjunctive Versus Infinitive Usage, Folder Spanish verbs, dan tombol Continue
  1. Klik Continue.
  2. Qlar bertanya "Are you sure you want to create this scenario?" Klik Yes.
Dialog Attention yang bertanya Are you sure you want to create this scenario? dengan tombol Yes dan Cancel
  1. Saat "Scenario created successfully" muncul, klik Close.

Anda kembali ke tab Scenarios, dan skenario Anda ada di daftar dengan nama, folder, dan jumlah step-nya.

Menulis step, mendapatkan kriteria, dan menyimpan skenario pada Linguéa

Langkah 7: Jalankan pada Published

  1. Pada kartu skenario, klik Run.
  2. Di bawah Run against, pilih Published. Keterangannya "What your users talk to now." Saat Anda membuka dialog ini lagi, pilihan terakhir Anda untuk agent ini diingat. Draft adalah versi dengan perubahan Anda yang belum dipublish. Jika belum ada perubahan, tertulis "Same as published right now". Pilihan ini berwarna abu-abu pada agent yang tidak punya draft terpisah.
Dialog run dengan pilihan Run against: Published terpilih dan diberi kotak penanda, Draft bertuliskan Same as published right now
  1. Klik Yes. Jika dialog mencantumkan tool yang diblokir, tombolnya bertuliskan Run anyway. Lihat Tool dalam Simulasi untuk artinya.
  2. Saat pesan "Scenario ... execution started successfully against the published version" muncul, klik Close.
Dialog Success yang menyatakan eksekusi skenario berhasil dimulai pada versi published, dengan tombol Close

Qlar membuka halaman hasil untuk run tersebut. Agent kini menjawab kedua pesan Anda satu demi satu.

Langkah 8: Baca hasilnya

Halaman ini berjudul Simulation Result dan memuat kode run, misalnya #TE-0001. Chip statusnya dimulai sebagai Running dan berubah menjadi Completed saat run selesai. Halaman memperbarui dirinya sendiri selama 10 menit pertama run. Jika run masih berjalan setelah itu, halaman menampilkan "Live updates paused after 10 minutes — use refresh to check the latest status." dan Anda mengklik ikon refresh untuk memeriksanya.

  1. Lihat kartu ringkasan di bagian atas. CRITERIA MATCH menunjukkan berapa kriteria yang cocok dari seluruh kriteria, misalnya "2/3 Matched". STATUS, DURATION, dan STEPS ada di sebelahnya.
Bagian atas halaman Simulation Result: status Completed dan Published, CRITERIA MATCH 2/3 Matched, kartu DURATION dan STEPS, serta skenario di bawah Scenario (1)
  1. Di bawah Scenario (1), klik skenario Anda untuk membukanya. Kata ini tunggal jika run hanya memiliki satu skenario; jika lebih, tertulis Scenarios (n).
  2. Klik Step #1, lalu Step #2. Setiap step menampilkan Expected Response Anda di samping AI Agent Response, yaitu apa yang benar-benar dikatakan agent.
  3. Baca kotak Evaluation Criteria (x/y Matched) di bawah jawaban. Setiap kriteria punya kotaknya sendiri:
    • Kotak hijau berarti kriteria cocok. Di bawahnya, gelembung percakapan (💬) mengutip bagian jawaban yang membuktikannya.
    • Kotak abu-abu berarti tidak cocok. Di bawahnya, lampu (💡) memberi alasannya. Bisa jadi jawaban melewatkan poin itu, atau mengatakan kebalikannya. Pada jawaban agent, teks yang mendukung sebuah kriteria diberi sorotan hijau, dan teks yang bertentangan diberi sorotan merah.
Evaluation Criteria (1/2 Matched) pada Step 2: lencana 1 menandai kriteria hijau dengan kutipan jawaban, lencana 2 menandai kriteria abu-abu dengan alasan mengapa tidak cocok

Misalkan kriteria step 2 "Answers in no more than two sentences" berwarna abu-abu, dengan alasan seperti "The answer exceeds two sentences", sedangkan kriteria tentang tetap memakai infinitive berwarna hijau. Itulah tugas simulasi: menemukan selisih antara yang Anda harapkan dan yang dilakukan agent. Kata-kata dan warna persisnya akan berbeda di layar Anda, karena jawaban dan penilaiannya dihasilkan oleh AI. Cara memperbaiki selisih seperti ini dibahas di Memperbaiki dan Menguji Ulang.

Menjalankan skenario pada Published dan membaca hasilnya pada Linguéa

Periksa hasilnya

Anda berhasil jika melihat semua hal berikut:

  • Satu folder di panel Folders dan satu skenario di daftar, dengan dua step.
  • Satu hasil dengan status Completed dan kotak Evaluation Criteria (x/y Matched) di setiap step.
  • Untuk setiap kriteria, entah kotak hijau dengan kutipan atau kotak abu-abu dengan alasan.

Jika Anda melihat hal lain:

  • Suggest Criteria berwarna abu-abu. Tombol ini nonaktif sampai Expected Response pada step itu berisi teks. Tulis jawaban yang diharapkan dulu, lalu klik lagi.
  • Tidak ada tombol Save. Tombol di bagian bawah bertuliskan Suggest All Criteria sampai setiap step punya minimal satu kriteria. Klik tombol itu, atau tambahkan kriteria pada step yang belum punya.
  • Muncul folder bernama "Default". Anda memulai skenario pada agent yang belum punya folder, sehingga Qlar membuat Default agar skenario punya tempat. Pindahkan skenario itu nanti ke folder yang Anda beri nama sendiri. Lihat Mengatur Skenario dalam Folder.
  • Scenario Name kosong pada dialog Scenario Information. Kali ini Qlar tidak bisa menyarankan nama. Ketik satu.
  • Statusnya Failed. Buka skenario di dalam hasil. Di sana tertulis "Failed at step #n" beserta alasannya. Klik Run Again di bagian atas halaman. Jika terus gagal, lihat Membaca Hasil.
  • Status tetap Running untuk waktu yang lama. Run dengan jawaban yang lambat bisa memakan beberapa menit. Tunggu, atau klik ikon refresh di halaman. Setelah 10 menit halaman berhenti memperbarui dirinya sendiri, jadi gunakan ikon refresh sejak saat itu.
  • Warnanya tidak seperti yang Anda duga. Jawaban dan penilaiannya dihasilkan oleh AI, jadi berubah dari run ke run. Klik Run Again lalu bandingkan. Kriteria yang berubah-ubah antar run biasanya terlalu samar. Lihat Menulis Skenario yang Baik.

Langkah berikutnya

PreviousPengenalan
NextMengatur Skenario dalam Folder