Gecikme nedir?
Gecikme, bir kullanıcı isteğinin gönderilmesinden yanıtın görülmesine kadar geçen süredir. Bu süre tek bir sayı değildir: yanıtın ilk parçasının ne zaman geldiği, tam cevabın ne zaman tamamlandığı, arama veya araç çağrılarının kaç saniye aldığı ve ağ bağlantısının payı ayrı ayrı ölçülebilir. Bazı yapay zekâ altyapıları, hızı öncelikli kılan bir çağrı seçeneği sunar. Ancak bu seçenek yalnızca yanıt süresini etkiler, cevabın doğruluğunu kendiliğinden garanti etmez.
İlk parça ile tam yanıt arasındaki fark
Müşterinin ilk kelimeyi hızla görmesi ile cevabın tamamını beklemesi farklı deneyimlerdir. İlk token süresini ve tam yanıt süresini ayrı ölçün. Ortalamaya ek olarak yoğun saatlerdeki yavaş istekleri de inceleyin. Kaynak verilen Amazon Bedrock belgesindeki hız odaklı seçenek, bazı model ve bölgeler için bir örnektir. Böyle bir seçenek kullanılması arama, dış araç veya ağ gecikmesini otomatik olarak ortadan kaldırmaz.
Yavaşlığın kaynağını ayırmak
Toplam süreyi bilgi araması, model yanıtı ve dış sistem çağrısı gibi adımlara ayırın. Aynı sorunun farklı yük koşullarında nasıl değiştiğini karşılaştırın. Daha kısa çıktı veya önbellek bazı adımları hızlandırabilir; ancak eski bilgi gösterme ve eksik açıklama riskleri ayrıca değerlendirilmelidir. Hız modu veya kota davranışı kullanılan sağlayıcıya bağlıdır. Entegrasyonun desteklemediği bir dönüş süresini müşteriye kesin vaat olarak yazmayın.
Temsili işletme örneği
Bir restoran zinciri, rezervasyon ve menü soruları için yapay zekâ asistanı kullanıyor. Öğle yoğunluğunda müşteriler 'bu akşam dört kişilik masa var mı' diye soruyor. Ekip, ilk parçanın iki saniye içinde gelmesini ve tam yanıtın altı saniyeyi geçmemesini hedefliyor. Test sırasında bazı yanıtlar hızlı geliyor, ancak mevcut masa bilgisini yanlış veriyor. Ekip, gecikme ölçümünü doğruluk kontrolüyle birlikte yürütüyor ve hızlı ama hatalı yanıtları ayrı raporluyor.
İlk parça süresi ile tam yanıt süresi
| Ölçüt | Ne anlatır |
|---|---|
| İlk parça | Müşterinin yanıtın başladığını görme hızı |
| Tam yanıt | Cevabın bütününün tamamlanma süresi |
| Ağ ve araç payı | Arama veya sistem çağrılarının katkısı |
Sık karıştırılan nokta
Yaygın yanlış düşünce, yanıt ne kadar hızlıysa asistanın o kadar iyi çalıştığıdır. Oysa hızlı bir yanıt yanlış masa durumu, yanlış fiyat veya eksik bilgi içerebilir. Düzeltme şudur: hız ve doğruluk aynı test listesinde, aynı senaryolarla birlikte ölçülmelidir.
Uygulamada dikkat edilecekler
- Her test senaryosunda ilk parçanın geliş süresini ve tam yanıt süresini ayrı ayrı kaydedin.
- Yoğun saat ile sakin saat için ayrı ölçüm yapın; tek bir ortalama iki dönemdeki farkı gizleyebilir.
- Kota dolduğunda standart yola düşen isteklerin sayısını ve faturalama etkisini haftalık olarak kontrol edin.
- Hızlı yanıtlardan rastgele örnek alın ve masa, saat ile fiyat bilgisinin doğruluğunu insan gözüyle denetleyin.
Sık sorulan sorular
Hızlı yanıt seçeneği her zaman daha iyi müşteri deneyimi sağlar mı?
Her zaman değil. Kaynak hızlandırmayı hedefler, ancak sonuç model, bölge ve kullanım durumuna bağlıdır. Müşteri deneyimi için hem süre hem de doğru bilgi birlikte değerlendirilmelidir.
Yanıt yavaşsa önce nereden başlamalıyım?
Aynı soruda arama, model ve araç çağrılarının sürelerini ayrı kaydedin. Gecikmenin hangi adımda toplandığını görün. Ardından o adım için kaynak boyutu, ağ durumu veya servis kotası gibi olasılıkları kontrollü denemelerle karşılaştırın.
Teknik kaynak
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Yapay Zekâ Asistanı İçin Gerçekçi Senaryo Testleri HazırlamakYanıtlanan Mesaj İle Çözülen Talebi Ayrı ÖlçmekTüm blog rehberleri