Çok modlu yapay zekâ nedir?
Çok modlu yapay zekâ, metin, görsel, video, ses ve kod gibi birden fazla veri türünü (modaliteyi) işleyebilen makine öğrenmesi modelleridir. Kaynağın örneğine göre bir model, yemek fotoğrafını alıp yazılı tarif üretebilir ve bunun tersini yapabilir. Yani girdi ve çıktı türü tek bir tipe sınırlı kalmaz. Kullanılabilirlik ise modele, platforma ve kanala göre değişir. Bu nedenle bir özelliğin hangi veri türlerinde çalıştığı her ortamda ayrıca doğrulanmalıdır.
Üretken yapay zekâdan farkı nedir?
Üretken yapay zekâ, makine öğrenmesi modellerinin metin, görsel, müzik veya video gibi yeni içerik üretmesini kapsayan geniş bir terimdir ve genellikle tek tip bir istemden yola çıkar. Çok modlu yapay zekâ bu yeteneği genişletir. Model birden fazla modaliteyi işler, böylece kullanıcı bir fotoğrafla istekte bulunup metin alabilir. Ayrımı yaparken modelin hangi girdileri kabul ettiğine bakmak gerekir.
Görüntüden çıkarılan veri neden kesin değildir?
Kaynak, görsel yüklenerek metin çıkarma, görsel metnini JSON biçimine dönüştürme ve yüklenen görsel hakkında soru yanıtlama gibi kullanımları örnekler. Ancak bulanık fotoğraf, yansıma, eğik çekim veya kısmen görünen etiket okumayı bozabilir. Model bir alanı yanlış okuyabilir ya da olmayan bir değer üretebilir. Bu yüzden çıkarılan her alan, kaynak görselle karşılaştırılarak insan kontrolünden geçirilmelidir.
E-ticarette kanal ve model uyumu
Bir mağaza ürün fotoğrafından açıklama üretmeyi, sipariş ekranına bilgi aktarmayı ve müşteri sorularını yanıtlamayı farklı kanallarda kullanabilir. Modelin desteklediği görsel formatı, dil kapsamı ve çıktı biçimi her kanalda aynı olmayabilir. Mobil uygulama, pazaryeri ve web sitesi için ayrı test yapmak, ürün verisindeki tutarsızlıkların yayından önce bulunmasına yardımcı olur. Hassas veya kişisel bilgilerin görsellere veya istemlere eklenmemesi de kaynağın uyarısıyla uyumludur.
Temsili işletme örneği
Temsili bir giyim e-ticaret işletmesi, tedarikçiden gelen ürün fotoğraflarından başlık ve beden tablosu taslağı hazırlamak istiyor. Model, etiketteki kumaş oranını ve beden bilgisini okuyup JSON taslağı üretiyor. Ancak fotoğraftaki etiket bulanık olduğu için bir beden değeri yanlış okunuyor. Ekip, her taslağı tedarikçi kataloğuyla karşılaştıran bir kontrol adımı ekleyince bu hata yayına çıkmadan yakalanıyor.
Üretkenlik ve çok modluluk
| Üretkenlik | Çok modluluk |
|---|---|
| Modelin yeni içerik üretmesine odaklanır | Birden fazla veri türüyle çalışmasına odaklanır |
| Yalnız metin üreten bir model de üretken olabilir | Metin ve görsel işleyen bir model çok modlu olabilir |
| Çıktının doğruluğu ayrıca denetlenir | Her girdi ve çıktı türünün desteklenip desteklenmediği ayrıca kontrol edilir |
Sık karıştırılan nokta
Yaygın düşünce, çok modlu bir modelin her görseli eksiksiz anladığı ve çıktısının doğrudan yayınlanabileceğidir. Oysa görüntü okuma olasılıksal bir süreçtir; eksik veya yanlış okuma yapılabilir. Yayın öncesi kaynak görsel ve üretici bilgileriyle karşılaştırma yapılmalıdır.
Uygulamada dikkat edilecekler
- Ürün görsellerinden çıkarılan her beden, renk ve kumaş alanını tedarikçi kataloğuyla karşılaştırın.
- Bulanık, eğik veya kırpılmış fotoğrafları model girdisine almadan önce ayrı bir kuyrukta işaretleyin.
- Her kanal için örnek ürün setiyle test yapıp çıktı biçiminin sipariş ekranında bozulmadığını doğrulayın.
- Görsel veya istemlere kişisel veri, müşteri adı ya da ödeme bilgisi eklenmediğini düzenli aralıklarla denetleyin.
Sık sorulan sorular
Çok modlu model ürün fotoğraflarını her zaman doğru okur mu?
Hayır, doğruluk görselin kalitesine, ışığa, açıya ve metnin netliğine bağlıdır. Kaynak bu tür kullanımları örnekler, ancak kesin tespit garantisi vermez. Bu nedenle çıkarılan bilgiler kaynak görselle karşılaştırılmalıdır.
Aynı model tüm satış kanallarında aynı şekilde çalışır mı?
Bu garanti edilemez. Desteklenen veri türleri, dil ve çıktı biçimi modele ve kullanılan ortama göre değişebilir. Her kanal için ayrı test yapmak ve sonuçları belgelemek, tutarlılığı izlemenin pratik yoludur.
Teknik kaynak
cloud.google.com · Çok modlu yapay zekâ
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Web Ve Mesaj Kanallarında Hizmet Bilgisini Tutarlı TutmakMüşteri Görüşme Sırasında Dil Değiştirdiğinde Ne Yapılmalı?Tüm blog rehberleri