Güvenlik sınırları nedir?
Güvenlik sınırları, üretken yapay zekâ uygulamasının kullanıcı girdilerinde ve model yanıtlarında belirli içerikleri tespit eden, filtreleyen, maskeleyen veya engelleyen yapılandırılabilir kontrollerdir. Zararlı içerik kategorileri, yasaklı konular, özel kelime listeleri, kişisel bilgi filtreleri, yanıtın kaynağa dayanma denetimi ve mantıksal doğruluk kuralları gibi katmanlardan oluşabilir. Bu kontroller bir risk azaltma aracıdır; hiçbir filtre her durumu kusursuz yakalamaz. Bu nedenle sınırlar, uygulamanın kullanım senaryosuna göre seçilmeli ve düzenli denemelerle sınanmalıdır.
Prompt enjeksiyonu ve kişisel veri ayrımı
Güvenlik sınırları ile prompt enjeksiyonu aynı şey değildir. Sınırlar girdi ve çıktıda neyin kabul edileceğini belirler; enjeksiyon ise modelin talimatlarını ele geçirmeye çalışan bir saldırı türüdür. Sınırlar bu riski azaltabilir ama tek başına çözmez. Kişisel veri filtresi de hukuki uyumluluk anlamına gelmez; yalnızca seçilen varlık türlerini olasılıksal olarak tespit eder. Veri işleme ve saklama kararları ayrıca yönetilmelidir.
Yapılandırma ve test döngüsü
Çoğu uygulamada önce çalışma taslağı oluşturulur, filtre güçleri kategori bazında ayarlanır ve test penceresinde beklenen ile beklenmeyen girdiler denenir. Sonuçlar uygun bulununca sürüm oluşturulup model çağrısına bağlanabilir. Girdi ve çıktı kontrolü ayrı bir uygulama arayüzüyle de çalıştırılabilir. Bazı akışlarda yalnızca kullanıcı mesajının değerlendirilmesi gerekebilir; bu seçenek her arayüzde sunulmayabilir. Her değişiklikten sonra test yeniden yapılmalıdır.
Temsili işletme örneği
Temsili bir klinik randevu asistanında kapsam yalnız idari iletişimdir. Deneme mesajında randevu saatine ilişkin soruyla birlikte tedavi önerisi istenir. Beklenen davranış, randevu bilgisini onaylı kaynaktan açıklamak ve tedavi sorusunu klinik personeline yönlendirmektir. Bu ayrımın çalışıp çalışmadığı farklı ifadelerle test edilir; yalnız yasaklı kelime listesine güvenilmez. Mesaja sentetik bir kimlik numarası da eklenerek kişisel veri tespiti denenir. İlgili veri türü için gerekirse özel kural hazırlanır. Testler hem kaçan hassas veriyi hem de gereksiz yere engellenen normal randevu sorularını incelemeyi kapsar.
Kontrol türlerinin odağı
| Kontrol | Odak |
|---|---|
| Kelime filtresi | Belirli ifadeleri büyük-küçük harf duyarsız tam kelime eşleştirir |
| Kişisel veri filtresi | Kimlik benzeri bilgileri olasılıksal olarak tespit eder ve maskeler |
| Kaynak doğruluğu denetimi | Yanıtın verilen kaynakla uyumunu ve soruyla ilgisini inceler |
Sık karıştırılan nokta
Filtre açık olduğu için hiçbir zararlı veya gizli bilginin geçmeyeceği düşünülmemelidir. Bazı kontroller kelime ve kalıp eşleştirir, bazıları olasılıksal sınıflandırma veya kaynakla uyum denetimi yapar. Türleri farklı olsa da eksik tespit ve yanlış engelleme görülebilir. Kritik durumlarda erişim kontrolü ve insan incelemesi de sürece dahil edilmelidir.
Uygulamada dikkat edilecekler
- Her filtre kategorisi için beklenen ve beklenmeyen örneklerden oluşan ayrı bir test listesi hazırlayın ve her sürümde çalıştırın.
- Yasaklı konu tanımlarını kısa ve net yazın; kapsamı belirsiz ifadeler hem gereksiz engelleme hem de kaçırma üretir.
- Engelleme mesajlarında kullanıcıyı insan personele nasıl yönlendireceğinizi açıkça belirtin ve bu yolu test edin.
- Kişisel veri maskelemesini kendi form alanlarınızla deneyin ve kayıtlarda maskelenmemiş verinin saklanıp saklanmadığını kontrol edin.
Sık sorulan sorular
Güvenlik sınırlarını açmak yeterli mi?
Hayır. Etkinleştirilen kontroller tanımlanan riskleri azaltmayı hedefler; yeni ifadeler, bağlam kaynaklı hatalar veya yanlış sınıflandırmalar görülebilir. Kontrolleri kendi kullanım örneklerinizle sınayın ve kritik durumlarda insan incelemesine geçişi ayrıca tasarlayın.
Filtre engellediğinde kullanıcıya ne gösterilmeli?
Engelleme mesajı nedenini ayrıntılandırmadan, kullanıcının bir sonraki adımını söylemelidir. Örneğin klinik iletişiminde randevu değişikliği için personel hattına yönlendirme yapılabilir. Mesaj, sistemin iç kurallarını veya hangi kelimenin yakalandığını açıklamamalıdır.
Teknik kaynak
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Asistan Talimatı İle Bilgi Tabanının Görevlerini AyırmakYapay Zekâ Asistanı İçin Gerçekçi Senaryo Testleri HazırlamakTüm blog rehberleri