Doküman parçalama nedir?
Doküman parçalama, uzun bir belgeyi model girdi sınırına sığacak ve tek bir konuya odaklanacak küçük birimlere bölme işlemidir. Bu birimler gömme vektörüne dönüştürülebilir veya yanıt üreten bir modele bağlam olarak verilebilir. Parça boyutu karakter veya jeton cinsinden belirlenir, sınır noktası cümle, başlık veya bölüm yapısına göre seçilir. Tek evrensel bir boyut yoktur; modelin limiti, belgenin yapısı ve sorguların türü birlikte değerlendirilmelidir.
Sabit boyutlu ve yapısal parçalar
Sabit boyutlu yöntemde parça belirli bir karakter veya jeton sayısına ulaşınca kesilir ve bir sonraki parçaya kısa bir örtüşme bırakılır. Kaynak, başlangıç için yaklaşık 512 jetonluk parçaları ve yüzde 25 örtüşmeyi önerir, ancak bu değer her belgeye uymayabilir. Başlıklı belgelerde bölüm işaretleri esas alınmalı ve her parçanın başına ilgili başlık eklenmelidir ki parça tek başına okunduğunda anlamını korusun.
Koşul bütünlüğü ve örtüşme
Kiralama sözleşmelerinde bir koşul birkaç cümleye yayılabilir; sigorta muafiyeti ile ücret tablosu ayrı parçalara düşerse yanlış yanıt riski artar. Bu yüzden bölüm sınırları başlıklara ve madde numaralarına göre seçilmeli, madde adı her parçaya eklenmelidir. Örtüşme yalnızca geçişleri korur; aşırı artırılırsa aynı metin tekrar eder ve arama sonuçları gürültülü hale gelir.
Ölçüm ve test
Parça boyutunu seçmeden önce belgedeki en uzun bölümün jeton sayısı ölçülmelidir. Gerçek sorularla yapılan testte yanıtın hangi parçadan geldiği kontrol edilmeli ve koşul cümlelerinin kesilip kesilmediğine bakılmalıdır. Gömme modeli ile yanıt modeli farklı limitler taşıyorsa, daha düşük limit esas alınarak metnin her aşamada kesilmeden işlenmesi sağlanmalıdır.
Temsili işletme örneği
Temsili bir araç kiralama şirketinin 38 sayfalık kiralama koşulları belgesini düşünün. Geç iade koşulu 14. sayfada, ücret tablosu 15. sayfada yer alıyor. Sabit 2000 karakterlik parçalama bu iki bilgiyi ayırır ve bir parçada yalnızca tablo kalır. Müşteri 'geç teslimde ücret ne olur?' diye sorduğunda sistem tabloyu bulur ama geç iade şartını bulamaz. Bölüm başlıklarını parçalara eklemek ve madde bazlı bölmek bu sorunu azaltır.
Parçalama yöntemlerinin farkı
| Yöntem | Güçlü ve zayıf yön |
|---|---|
| Sabit boyut | Basit ve öngörülebilir; ancak cümleyi veya koşulu ortadan kesebilir |
| Yapısal bölüm | Koşulların bütünlüğünü korur; ancak başlıksız belgelerde uygulaması zordur |
| Anlamsal parça | Bağlamı daha iyi tutar; ancak hazırlığı ve kontrolü daha maliyetlidir |
Sık karıştırılan nokta
Yaygın yanlış düşünce, her belge için tek bir ideal parça boyutu ve en büyük örtüşmenin en iyi sonucu vereceğidir. Oysa boyut belgenin yapısına, modelin limitine ve sorgu türüne göre değişir. Fazla örtüşme tekrar ve gürültü yaratabilir. Doğrusu, birkaç ayarı gerçek sorular üzerinde karşılaştırmaktır.
Uygulamada dikkat edilecekler
- Her belgenin en uzun bölümünün jeton sayısını ölçün ve model giriş sınırını aşan parça olup olmadığını kontrol edin.
- Koşul başlıklarını ve madde numaralarını ayırın; her parçanın başına bölüm adını ekleyerek tek başına anlaşılır olmasını sağlayın.
- Gerçek müşteri sorularından küçük bir test seti hazırlayın ve her yanıtın hangi parçadan geldiğini kayıt altına alın.
- Boyut ve örtüşme değerlerini tek seferde değil, birer birer değiştirin; her değişiklikten sonra aynı test sorularını yeniden çalıştırın.
Sık sorulan sorular
Parça boyutuna hangi değerle başlamalıyım?
Kaynak, başlangıç için yaklaşık 512 jeton ve yüzde 25 örtüşme önerir. Bu bir başlangıç noktasıdır. Kullandığınız modellerin limitlerini kontrol edin ve değeri belgenize göre gerçek sorularla test ederek ayarlayın.
Örtüşme her zaman artırılmalı mı?
Hayır. Örtüşme geçiş bağlamını korur, fazlası ise aynı metnin tekrar etmesine yol açar. Tablo ağırlıklı belgelerde az örtüşme, akıcı anlatımlı metinlerde daha fazla örtüşme daha uygun olabilir.
Teknik kaynak
learn.microsoft.com · Doküman parçalama
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Chatbot Bilgi Tabanı Nasıl Hazırlanır?Yanıtı Bilinmeyen Müşteri Sorusunda Güveni KorumakTüm blog rehberleri