İçeriğe geç

Token

Modelin metni işlemek için kullandığı parçalardan biri.

Metin birimi

Tüm kavramlar

Nedir?

Token bir kelime, kelimenin parçası veya karakter olabilir. Token sayısı ile kelime sayısı aynı değildir; dil ve metnin yapısı sonucu etkiler.

Kaynak: Google · Machine Learning Glossary

Temsili işletme örneği

Asistana uzun bir menü belgesi, tüm konuşma geçmişi ve ayrıntılı talimatlar birlikte verildiğinde işlenen metin miktarı artar. Gereksiz tekrarları kaldırmak önemli bilgilerin daha açık sunulmasına yardımcı olabilir.

Uygulamada dikkat edilecekler

  • Belgelerde tekrarları ve ilgisiz bölümleri azaltın.
  • Kısa cevap ile yeterli bilgi arasında denge kurun.
  • Bir görüşmenin uzunluğunu yalnız kelime sayısıyla değerlendirmeyin.

İlgili kavramlar

İşletmenizde nasıl kullanılır?

Gerçek kullanım adımlarını ve örnek görüşmeleri blog rehberlerinde inceleyebilirsiniz.

Blog rehberleri