Bir asistanın demo görüşmesinde iyi yanıt vermesi, gerçek müşteri trafiğinde aynı başarıyı göstereceği anlamına gelmez. Müşteriler kısa yazar, konuyu ortasında değiştirir, yanlış isim verir ve bazen hem bilgi hem işlem isteyebilir. Bu nedenle test listesi tek tek soru-cevap çiftlerinden oluşmamalı; gerçekçi konuşma akışlarını, kanalları ve dilleri kapsamalıdır. Bu yazıda, yayın öncesinde hazırlanabilecek senaryo listesinin nasıl kurulacağını ve her senaryoda beklenen davranışın neye göre ölçüleceğini anlatıyoruz.
Doğrudan Bilgi Ve Eksik Bilgi Senaryolarını Kurmak
Listenin ilk katmanı, asistanın onaylı kaynakta bulunan bilgiyi doğru aktarıp aktaramadığını ölçmelidir. Çalışma saatleri, hizmet kapsamı, adres veya paket farkı gibi sorular gerçekçi biçimde sorulmalı ve her test kaydında soru, kaynak yolu, beklenen anlam ve kabul edilebilir cevap sınırı birlikte yazılmalıdır. Örneğin pazar saatleri sorusunda yalnızca 'açıksınız' demek yetmez; kaynaktaki saatlerle uyumlu olup olmadığı kontrol edilmelidir. Kaynak eskiyse doğru görünen bir yanıt da yanlış olabilir. Bu yüzden doğrudan bilgi testi, kaynağın güncelliğiyle birlikte değerlendirilmelidir.
Eksik bilgi senaryoları, kaynakta cevabı olmayan soruların nasıl ele alındığını sınar. Bir otelde 'Bu hafta sonu deniz manzaralı oda var mı?' sorusu canlı müsaitlik gerektirir. Entegrasyon bağlı değilse asistanın boş oda olduğunu söylemesi hatadır. Doğru davranış, güncel müsaitliğin bu kanalda kesin olarak bilinmediğini belirtmek ve rezervasyon ekibine yönlendirmektir. Sonuç, cevabın kibar olmasına değil, bilinmeyen bilginin bilinmeyen olarak sunulmasına göre değerlendirilir. Bu ölçüm, otel chatbot performansı takibiyle birlikte düşünülebilir.
Konu Değişimi Ve Düzeltme Akışlarını Sınamak
Gerçek görüşmelerde müşteri bir konudan diğerine geçebilir: önce oda tipini sorar, sonra kahvaltı saatini, ardından çocuk yatağını sorar. Test senaryosu, konu değiştikten sonra asistanın önceki bağlamı doğru kullanıp kullanmadığını ve yeni soruya odaklanıp odaklanmadığını ölçmelidir. Beklenen davranış, yeni konuya uygun yanıt vermek ve gerekiyorsa tek bir netleştirici soru sormaktır. Hangi bilginin eski konudan taşınabileceği test kaydında açıkça yazılmalıdır; aksi halde değerlendirici yanlış bağlamdan gelen doğru görünümlü bir cevabı kabul edebilir.
Düzeltme senaryoları, müşterinin önceki mesajını değiştirdiği durumları kapsar. Örneğin müşteri ilk mesajda iki kişi yazıp sonra üç kişi olduğunu belirtebilir. Beklenen davranış, son doğru bilgiyi esas almak ve önceki cevabın yeni duruma göre güncellenmesini sağlamaktır. Düzeltme, kaynak sayfasındaki bilgiyi değiştirmez; bu nedenle test ekibi, yanıtta görünen bilgi ile bilgi tabanındaki kaydın birbirinden farklı olup olmadığını ayrıca kontrol etmelidir. Düzeltme yapılan her turda müşterinin doğru bilgiyi aldığı görülmelidir.
Belirsiz İsim Ve Kanal Kimliklerini Ayırmak
Müşteriler otel, ürün veya kişi adını tam yazmayabilir; kısaltma, yazım hatası veya benzer bir ad kullanabilir. Belirsiz isim senaryoları, ismin kaynaktaki adla eşleşip eşleşmediğini ve eşleşme şüpheliyse asistanın tahmin yürütmediğini kontrol eder. 'Acentemizden gelen otel' gibi bir ifade, hangi tesisi kastettiği bilinmeden tek bir sayfaya yönlendirilmemelidir. Beklenen davranış, gerçek kaynak adlarından iki olasılığı göstermek veya kısa bir soru sormaktır. Bu adım atlanırsa yanlış tesise ait bilgi verilebilir.
Kanal testleri web, WhatsApp, Instagram DM ve Facebook Messenger için ayrı senaryolar gerektirir. Aynı bilgi tabanı kullanılsa bile farklı kanallardaki kişilerin otomatik olarak birleştirildiği varsayılmamalıdır. Bir kişi WhatsApp'ta başlattığı konuyu Instagram'da sürdürdüğünde asistanın önceki görüşmeyi bildiğini varsaymak yanlıştır. WhatsApp'taki yönlendirme düğmesi ile gelen mesajlara otomatik yanıt vermek de aynı şey değildir. Her kanal için hangi akışın açık olduğu, kanal bağlantılarının kapsamı netleştirilerek test edilmelidir.
İşlem Talepleri İçin Sınır Testleri
İşlem senaryoları, bilgi yanıtı ile gerçek işlem arasındaki farkı ölçer. Müşteri rezervasyon, iptal veya randevu isteğinde bulunduğunda test, asistanın neyi söylemediğini de kaydetmelidir. Entegrasyon bağlı değilse işlemin kesinleştiğini ima eden her ifade hatalıdır. Doğru yanıt, talebin alınabileceğini, işlemin ekip veya bağlı sistem üzerinden tamamlanacağını ve hangi bilgilerin gerektiğini açıkça belirtir. Talep özeti oluşsa bile bunun rezervasyon kaydı olmadığı anlaşılır biçimde söylenmelidir.
Entegrasyonun bulunduğu kurulumlarda testler farklı soruları da kapsar: canlı veri gerçekten okunuyor mu, yazma yetkisi doğru mu, hata durumunda müşteriye ne söyleniyor? Bağlı sistem yanıt vermediğinde asistan işlemi tamamlanmış gibi göstermemelidir. Bu nedenle başarılı yanıt, zaman aşımı ve kısmi veri senaryoları ayrı tanımlanmalıdır. Kapsam netleşmeden yapılan işlem testi, asistanın gerçek yeteneğini değil varsayımları ölçer. Kurulum koşulları için ayrıca entegrasyon kapsamına bakılmalıdır.
Dil Değişimi Ve Çok Dilli Senaryolar
Çok dilli altyapı 80'den fazla dili destekler; ancak desteklenen dil listesi, her cümlenin hedef müşteri için doğru anlaşıldığını göstermez. Test listesinde hedef dillerdeki kritik ifadeler seçilmeli ve saat, konum veya iade koşulu gibi riskli bilgilerin yanlış aktarılıp aktarılmadığı kontrol edilmelidir. Verinin toplandığı dil, müşterinin tercih ettiği dil ve yanıt dili birbirinden ayrı kararlardır. Her senaryo bu üç bilgiyi ayrı bir alanda not etmelidir.
Dil değişimi senaryosu, müşterinin görüşme ortasında dil değiştirdiği durumları kapsar. Beklenen davranış, son mesajın dilini izlerken önceki bağlamı korumaktır. Sonuç yalnızca yanıtın yeni dilde yazılmasına göre değil, anlamın kaynaktaki bilgiyle aynı kalmasına göre değerlendirilir. Günlük dil kullanımı, kısaltmalar veya yerel ifadeler varsa bunlar ayrı örnek olarak eklenmelidir. Bu başlık için çok dilli chatbot testleri yaklaşımı da yol gösterici olabilir.
Beklenen Davranışı Örnek Cevaptan Ayırmak
Test kaydında sık yapılan hata, örnek cevap cümlesini doğrudan beklenen sonuç gibi yazmaktır. Aynı davranış birkaç farklı cümleyle yapılabilir. Bu yüzden her senaryo için önce davranış tanımlanmalıdır: bilgi verilmeli mi, kaynak sınırı belirtilmeli mi, ekibe geçiş yapılmalı mı, işlem ifadesi yasak mı? Örnek cümle yalnızca referans olarak eklenir. Değerlendirici, cümlenin birebir aynı olmasına değil, davranışın tanımla uyumlu olmasına bakar.
Bu ayrım yanıtlanan mesaj ile çözülen talebi karıştırmamak için de önemlidir. Doğru bir cevap, müşterinin ihtiyacının kapandığı anlamına gelmeyebilir. Test kaydına sonraki adım da eklenmelidir: insan ekibine geçiş gerekiyor mu, görüşme özeti ekibe düştü mü, müşteri bir sonraki adımı anladı mı? Bildirimin gelmesi işin çözüldüğü veya personelin atandığı anlamına gelmez. Bu ayrım, otel chatbot performansı ölçümünde tutarlı bir takip sağlar.
Senaryo Sınıflarında Beklenen Davranış
| Senaryo | Beklenen Davranış | Kaçınılacak İfade |
|---|---|---|
| Doğrudan bilgi | Onaylı kaynaktaki saat veya kapsamı yanıtlar | Kaynakta olmayan bir saati kesin söylemek |
| Eksik bilgi | Bilinmediğini belirtir ve doğru kanala yönlendirir | Tahmini cevabı onaylı bilgi gibi sunmak |
| İşlem talebi | Talebi alır ve kesinleşmediğini açıkça söyler | Rezervasyonun oluştuğunu bildirmek |
| Belirsiz isim | Gerçek kaynak adlarından iki olasılığı netleştirir | Yanlış tesise ait bilgiyi tek cevapta vermek |
Tüm sütunları görmek için tabloyu yana kaydırın.
Temsili Konuşma Örneği
Aşağıdaki görüşme temsilidir; gerçek bir müşteri sonucu değildir ve bir otel örneğiyle sınırlı kalmaktadır.
Müşteri: Yarın için deniz manzaralı oda var mı? Fiyatını da öğrenmek istiyorum.
Asistan: Yarın için güncel boş oda ve fiyat bilgisini bu kanaldan kesin olarak göremiyorum. Onaylı kaynaklarımızda oda tiplerinin genel açıklamaları yer alıyor; güncel müsaitlik için rezervasyon ekibine iletmeniz gerekir. İsterseniz tarih ve kişi sayınızı yazın, ekibin takip edebilmesi için bunları talebinize ekleyebilirsiniz.
Müşteri: Tamam. Bu oda tipinde kahvaltı dahil mi, onu da öğrenebilir miyim?
Asistan: Kahvaltının oda tipine dahil olduğu onaylı sayfada belirtilmişse onu paylaşabilirim; ancak kaynakta olmayan ayrıntıları tahmin etmem. Müsaitlik ve paket kapsamını rezervasyon ekibi netleştirecektir.
Uygulama Adımları
- Her test için soru, kanal, dil, beklenen davranış ve kaynak yolunu tek bir kayıtta yazın.
- Doğrudan bilgi, eksik bilgi, konu değişimi, düzeltme, belirsiz isim, talep, işlem ve dil senaryolarını ayrı satırlarda tutun.
- Her kanal için bağlantı durumunu ayrıca işaretleyin ve kişilerin birleştiğini varsaymayın.
- İşlem senaryolarında asistanın kullanmaması gereken ifadeleri de listeye ekleyin.
- Hedef dillerdeki riskli bilgileri ana dile çevirip anlam kontrolünü ayrı bir kişiyle yapın.
- Örnek cevabı yalnızca referans olarak saklayın; değerlendirmeyi beklenen davranış tablosuna göre yapın.
- Yayın sonrasında gerçek görüşmelerden yeni senaryolar çıkarıp listeyi düzenli olarak güncelleyin.
Gerçekçi senaryo listesi, asistanın en iyi cevabını değil en riskli anını test eder: bilgi yoksa ne olur, konu değişince bağlam nereye gider, işlem istendiğinde sınır korunur mu? Bu listeyi yayın öncesinde küçük bir ekiple hazırlamak, sonradan ortaya çıkacak hataların çoğunu azaltır. Kurulumunuz için hangi kanalların ve senaryoların önce test edileceğini demo görüşmesi üzerinden birlikte belirleyebilirsiniz.
