Yapay zeka halüsinasyonu nedir
Halüsinasyon, modelin var olmayan bir şeyi, doğruyu söylerken kullandığı tonun aynısıyla söylemesidir. Bu, modelin bozulması değildir: model metnin en olası devamını kurar ve doğru görünen sahte bir kaynak, istatistiksel olarak gerçek bir kaynak kadar olasıdır.
- Ders 12 / 15
- Başlangıç
- Ücretsiz, kayıt yok
Okuduğunuz şey ve altında olmayan şey
Çizginin üstünde her şeyi doğru görünen bir cümle. Altında, o cümlenin var olduğunu öne sürdüğü şeyler.
Akıcı ve kendinden emin bir yanıt
Doğru yanıt için de kullandığı tonun aynısı. Ton, doğruluk hakkında bilgi taşımaz.
Var olmayan bir kaynak
Yazar, yıl ve dergi, hepsi doğru biçimde. Başlığı aratmak saniyeler içinde yanıtlar.
Fazla düzgün bir sayı
Yuvarlak, derli toplu ve tam beklediğiniz büyüklükte. Gerçek sayı genellikle daha çirkindir.
Uydurulmuş bir kural ya da madde
Bir madde numarası, bir politika hükmü, bir ayar adı, bir fonksiyon adı. Biçim öngörülebilir, dolayısıyla kurulur.
Gerçek bir kaynak, hiç öne sürmediği bir iddia için
Bağlantı kontrolünden sağ çıkar. Tek yol, cümleyi o sayfada bulmaktır.
Bu dört biçimin hiçbiri seyrek değil ve hiçbiri cümlenin üzerinde iz bırakmaz. Görmenin tek yolu kaynağın kendisine gitmektir.
Son kontrol: Bu dersteki bilgiler ve araç adları bu tarihte kaynaklarıyla yeniden doğrulanır.
"Halüsinasyon" kelimesi neden yanıltıyor
Halüsinasyon, şuna verilen addır: modelin, her şeyi doğru görünen ve aslında hiçbir şeye dayanmayan bir cümle üretmesi. Yazarı, yılı ve dergisi olan, hiç yazılmamış bir makale. Numarası olan, var olmayan bir kanun maddesi. Hiçbir kaynakta geçmeyen bir rakam.
Sorun adın kendisinde. "Halüsinasyon" bir şeyin bozulduğunu ve modelin normal halinden çıktığını ima eder. Gerçekte olan bunun tersi. O anda model, doğru yanıt verirken yaptığının tam olarak aynısını yapıyor: en olası devamı kuruyor. Yanıt doğru olduğunda, en olası devam tesadüfen gerçeklikle örtüşür. Yanlış olduğunda örtüşmez. O hesabın içinden bakıldığında iki durum birbirinden hiç ayırt edilemez.
Bizim tavrımız, bu ayrımın felsefi değil pratik olduğu. Halüsinasyonu bir kusur sayarsanız, bir sonraki sürümün onu düzeltmesini beklersiniz. Aynı mekanizmanın olağan davranışı sayarsanız, beklemek yerine sürecinizi her kontrol edilebilir iddianın kontrol edileceği biçimde kurarsınız. İkincisi işe yarar.

Tahmin neden kendine güven üretir
Bir dil modeli metni token token kurar ve her adımda en olası devamı seçer. Mekanizması büyük dil modeli nedir dersinde anlatılıyor. Burada önemli olan oradan tek bir satır: bu hesaba bağlı hakikat kaynağı adında bir girdi kablosu yoktur.
Peki modelden kaynak istediğinizde ne olur. Model bir atıfın biçimini son derece iyi öğrenmiştir: bir soyadı, parantez içinde bir yıl, konuya uyan bir başlık, o alanda ağırlığı olan bir dergi adı. Bunların hepsi metinde yüksek frekanslı örüntülerdir. Öğrenmediği şey, bu belirli atıfın var olup olmadığıdır; çünkü o olgunun hesapta oturacağı bir yer yoktur.
Bir de kendinden emin ton. Model akıcılık için eniyilenmiştir ve akıcılık, çekincesiz cümle demektir. Sürekli belki ve emin değilim diyen bir model değerlendirmelerde daha kötü görünür; dolayısıyla bu araçlar kesinliğe doğru itilmiştir. Sizin için sonucu basit ve tatsız: modelin tonu, yanıtın doğru olup olmadığı hakkında hiçbir bilgi taşımaz. Yanlış yanıt da doğru yanıt da aynı güvenle gelir ve bunu tehlikeli yapan da budur.
Klasik hata biçimlerini ezbere bilin
Halüsinasyon rastgele biçimler almaz. Birkaç belirli örüntüsü vardır ve onları bildiğinizde çoğunu ilk okuyuşta yakalarsınız.
- Var olmayan bir kaynak. En yaygın ve en pahalı biçim. Her ayrıntısı doğru ve varlığı olmayan bir makale, kitap, rapor ya da belge sayfası.
- Fazla düzgün bir sayı. Uydurulmuş rakamlar yuvarlak ve derli toplu olma ve tam beklediğiniz yere düşme eğilimindedir. Gerçek sayılar genellikle daha çirkindir.
- Uydurulmuş bir kural ya da madde. Bir kanun madde numarası, bir politika hükmü, bir yazılımdaki ayarın adı, bir kütüphanedeki fonksiyonun adı. Bunların biçimleri son derece öngörülebilirdir ve model biçimi kurar.
- Gerçek bir kaynak, hiç öne sürmediği bir iddia için. Dördünün en kötüsü, çünkü bağlantı kontrolünden sağ çıkar. Bağlantı açılır, sayfa gerçektir ve ona atfedilen cümle orada yoktur.
Çoğu yayın ekibi işte bu sonuncusunda dağılır. Bağlantıyı açmak yetmez; cümleyi sayfada bulmanız gerekir. Aynı kuralı kendimize de uyguluyoruz ve bir örneği yapay zeka içeriğini tespit etmek dersinde yazılı: kaynağında okuyamadığımız bir sayı basılmadı.
Yanıt nasıl kontrol edilir
Burada birkaç teknik gerçekten işe yarıyor ve hangilerinin işe yaradığını üreticiler kendileri yazmış. Anthropicin belgeleri dört temel yöntem sayıyor: modele bilmediğini söyleme iznini açıkça verin, uzun belgelerde önce kelimesi kelimesine alıntı, sonra çözümleme isteyin, her iddiayı destekleyici bir alıntı bulmaya zorlayın ve bulamazsa iddiayı geri çektirin, ve modele yalnızca verilen belgelerden çalışmasını, kendi bilgisinden bir şey eklememesini söyleyin.
Ve aynı sayfada, dördünden de önemli olan cümle: bu teknikler halüsinasyonları önemli ölçüde azaltır ama tamamen ortadan kaldırmaz ve kritik bilgi, özellikle yüksek riskli kararlarda, her zaman doğrulanmalıdır. Bunu bir eleştirmen değil, modelin üreticisi yazıyor.
Aynı belgelerin işaret ettiği bir teknik daha var ve pratikte çok hızlı: aynı istemi birkaç kez çalıştırıp çıktıları karşılaştırın; aralarındaki tutarsızlıklar halüsinasyona işaret edebilir. Kendi çalışmamızdan eklediğimiz şey, bunu aynı konuşmada değil yeni konuşmalarda yapmak; yoksa model kendi önceki yanıtını görür ve onunla hizalanır.
Ve bütün bu tekniklerin çarptığı sınır: kendi yanıtını kontrol eden bir model, bağımsız bir kontrol değildir. Bir iddia en başta hiçbir yerden gelmediyse, aynı modelden destekleyici bir alıntı istemek onu yakalamak yerine ona bir destekleyici alıntı ekleyebilir.
Bir iddiayı savunulabilir kılan dört adım
Sıra önemli. İlk üç adım modele devredilebilir, dördüncüsü devredilemez.
- 1
Bilmeme izni verin
Açıkça yazın: emin değilsen bilmiyorum de. O cümle olmadan model bir şey kurar.
- 2
Önce alıntı, sonra çözümleme
Uzun bir belgede önce kelimesi kelimesine cümleleri isteyin ve çözümlemeyi onların üzerine kurun.
- 3
Alıntısı olmayan iddiayı geri çektirin
Her iddia destekleyici bir alıntı bulmak zorundadır; bulamazsa oracıkta çıkarılır.
- 4
Kaynağı kendiniz açın
Bağlantının açılması yetmez; cümlenin o sayfada olması gerekir. Bu adım devredilemez.
Bu dört adımın hiçbiri halüsinasyonu sıfırlamaz. Modelin üreticisi de aynısını yazıyor.
Modele hiç sormamanız gereken yerler
Kural basit ve konuyla ilgisi yok: yanıtı kontrol edemiyorsanız sormayın. Doğru soru, modelin bu alanda iyi olup olmadığı değil; yanlış yanıt verse fark eder miydiniz sorusudur.
Hatanın bedelini sizin ödemediğiniz belirli yerler: hukuk ve sözleşmeler, tıp ve dozaj, fiyatlar, oranlar ve ücretler, tarihler ve son tarihler, ve gerçek bir kişi ya da gerçek bir şirket hakkındaki her cümle. Buralarda makul görünen yanlış bir cümle, apaçık yanlış olandan daha kötüdür, çünkü hiç direnç görmeden geçer.
Ve özellikle İran pazarı için önemli bir nokta. Yerel olan her şey, yani İran hukuku, iç piyasa fiyatları, İran şirketlerinin adları ve koşulları, tam olarak bu modellerin en az metin gördüğü yerdir. Az görmüş olmak yanıt vermelerini engellemez. Aynı güvenle yanıt verirler ve soru yerel olduğu için siz de büyük olasılıkla hızlıca kontrol edemezsiniz. Bu birleşim, olabilecek en kötü durumdur.
Nerede sorulur, nerede sorulmaz
Ayıran çizgi konu değil. Yanıtın yanlış olduğunu dakikalar içinde öğrenip öğrenmeyeceğiniz.
Yanıtı kontrol edebileceğiniz yerler
- Kendi verdiğiniz bir metni özetlemek
- Kendi yazdığınız bir şeyi yeniden yazmak ve düzeltmek
- Çalıştırdığınız ve hatasını gördüğünüz kod
- Seçimi siz yaparken seçenek üretmek
Hatanın bedelini sizin ödemediğiniz yerler
- Hukuk, sözleşmeler ve madde numarası olan her şey
- Tıp, ilaç ve dozaj
- Fiyatlar, oranlar ve ücretler
- Gerçek bir kişi ya da şirket hakkındaki her cümle
İkinci sütun, modelin o konularda zayıf olduğu anlamına gelmez. Hatanın bedelini başkasının ödediği anlamına gelir.
Kendimizi bağladığımız kural
Bu sitenin yayın politikası, verilerin, sayıların ve teknik iddiaların yayımdan önce kontrol edildiğini ve gerektiğinde bir kaynakla karşılaştırıldığını, yapay zeka araçlarını araştırma ve düzenlemeye yardım ölçüsünde kullandığımızı, ancak hiçbir içeriği bir insan uzmanın incelemesi ve onayı olmadan yayımlamadığımızı belirtiyor.
Ama bir politika sayfasındaki cümle yalnızca bir vaattir. Onu kurala dönüştüren şey, uygulamayı insanın elinden almaktır. Bu yüzden bu Öğrenme bölümünde, sayı gösteren her şekil, o sayının yanında ders gövdesinin de bastığı bir metin taşımak zorundadır; yoksa doğrulayıcı dosyayı reddeder ve ders hiç açılmaz. Ayrıntısı bu sayfanın aşağısındaki deneyim bloğunda.
Ve dürüstçe: kuralın bir bedeli var. Derse tam oturan bir sayıyı kaynağında okuyamadığımız için birkaç kez sildik ve yerine neden yazmadığımızı anlatan bir cümle koyduk. Sayfa bu yüzden daha zayıf görünüyor. Ama sizin uydurma bir sayınıza bir kez güvenip sonra bunu öğrenen okur geri dönmez ve o bedel çok daha büyüktür.
Yapay zekayla hızlı yol
Buradaki hızlı yol, yanıtı aldıktan sonra hata aramak değildir. Bir profesyonelin yaptığı şey <strong>sırayı tersine çevirmektir</strong>: önce kaynak, sonra yanıt. Model, herhangi bir iddiayı yazmadan önce onun nereden geldiğini ve cümlesini alıntılayıp alıntılayamayacağını söylemek zorunda kaldığında, uydurmanın büyük bir kısmı hiç gerçekleşmez. İlk tur için hızlı ve ucuz bir model yeter, son yargı için daha güçlüsü gerekir; güncel tercihlerimiz <a class="text-link" href="/tr/ai/">yapay zeka bölümünde</a> yazılı.
- Herhangi bir yanıttan önce kaynak listesini isteyin ve her biri için bir cümleyi kelimesi kelimesine alıntılayabilir mi diye sorun.
- Yanıtı yalnızca o listeden isteyin ve desteksiz olan her şeyin işaretlenmesi gerektiğini açıkça söyleyin.
- Aynı soruyu tamamen yeni bir konuşmada tekrar sorun ve iki yanıtı yan yana koyun. Ayrıldıkları her yer zayıf noktadır.
- Bağlantıları kendiniz açın ve cümleyi sayfada bulun. Bu adımı hiçbir modele devretmeyin.
Kopyalamaya hazır şablon
== Tur 1: yanittan once kaynaklar (hizli, ucuz model)
{konu} hakkinda bana yanit vereceksin, ama henuz verme.
Once uc sutunlu bir tablo ver ve baska hicbir sey yazma:
soyleyecegin iddia | dayandigin kaynak | o kaynaktan bir cumleyi
kelimesi kelimesine alintilayabilir misin? evet ya da hayir
Sert kurallar:
- Ucuncu sutun hayir ise, o satiri "kaynaksiz" diye isaretle.
- Bir kaynagi bicimlnden kurma. Var oldugundan emin degilsen yazma.
- Bu konuda hic kaynagin yoksa yalnizca sunu yaz: kaynagim yok.
== Tur 2: yanit, yalnizca o tablodan (daha guclu model)
Simdi yaniti yaz ve yalnizca ucuncu sutunu evet olan satirlari kullan.
"Kaynaksiz" satira dayanan her cumleyi [kaynaksiz] icine al.
Kendi genel bilginden hicbir sey ekleme, dogru oldugundan emin olsan bile.
== Tur 3: fark alma (yeni konusma, gecmissiz)
Tamamen yeni bir sohbet ac ve tur 1 deki sorunun aynisini sor.
Iki tabloyu yan yana koy. Birinde olup digerinde olmayan ya da farkli
kaynak tasiyan her satir, gidip kendinizin kontrol edecegi yerdir.
== Tur 4: modelsiz
Her baglantiyi ac ve cumleyi sayfada bul.
Baglantinin acilmasi hicbir seyi kanitlamaz.Çıktıya güvenmeden önce: Bu tarif halüsinasyon sayısını azaltır, sıfıra indirmez; modelin üreticisi de aynısını yazıyor. Üç şeyi bilin. Birincisi, model birinci turda da kaynak uydurabilir; tablo yalnızca işinizi odaklar ve nereyi kontrol edeceğinizi gösterir. İkincisi, üçüncü turda iki yanıtın uyuşması kanıt değildir: yüksek frekanslı bir örüntü üzerine kurulmuş sahte bir kaynak iki konuşmada da tekrarlanabilir. Üçüncüsü ve ikisinin de üstünde, dördüncü tur atlanamaz. Bağlantıları açmaya vaktiniz yoksa, o metni yayımlamaya da vaktiniz yok.
Bu işte yapay zeka
Buradaki tavrımız, çözümün daha iyi bir model olmadığı. Çözüm, sonucu size açabileceğiniz bir şeyle birlikte veren bir iş akışıdır. Yalnızca yanıt veren bir araç, ne kadar güçlü olursa olsun sizi başladığınız yerde bırakır. Yanıtı kendi verdiğiniz bir kaynağa bağlayan bir araçsa işi gerçekten değiştirir.
Gerçekten işe yarayan araçlar
- NotebookLM Bu sorun için ilk tercihimiz, çünkü biçimi doğru: yalnızca kendi yüklediğiniz kaynaklardan yanıt verir ve her cümleyi kaynağına geri işaret eder. Bu halüsinasyonu ortadan kaldırmaz ama kontrolü bir angaryadan bir tıklamaya dönüştürür. Googleın kendi yardımı, Gemini uygulamasıyla aynı bölgelerde çalıştığını söylüyor ve İran o listede yok.
- Gemini Googleın kendi belgeleri, model yanıtını arama sonuçlarına bağlayan ve atıf döndüren temellendirme özelliğini anlatıyor. Bunun da otomatik doğrulama olmadığına dikkat edin; yalnızca açabileceğiniz bir şey verir. İran, Gemini uygulaması için desteklenen ülkeler listesinde yok; bunu ölçerek değil, Googleın kendi sayfasında okuyarak biliyoruz.
- Claude Kendi belgelerinde halüsinasyonu azaltma tekniklerini sıralayan bir sayfa var ve aynı sayfada bu tekniklerin onu ortadan kaldırmadığı yazıyor. Yukarıdaki tarifin ilk turuna uygun, çünkü yalnızca verilen belgeden çalış yönergesine iyi uyar. İran, Anthropicin iki desteklenen ülke listesinin hiçbirinde yok.
Nerede geri teper
Bu konuya özgü üç risk. Birincisi, modelden kaynak istemek başlı başına halüsinasyon üretebilir: model bir atıfın biçimini bilir ve gerçek bir atıf yoksa biçimi kurar; dolayısıyla bağlantıları açmadan bir kaynak listesi sahte güvenliktir. İkincisi, kendi yanıtını kontrol eden bir model bağımsız değildir ve temelsiz bir iddiayı yakalamak yerine ona bir gerekçe ekleyebilir. Üçüncüsü, bir cümleyi onu hiç öne sürmemiş gerçek bir kaynağa atfetmek bağlantı kontrolünden sağ çıkar; en tehlikeli biçim olmasının nedeni budur. Çözüm, cümlenin kendisini o sayfada bulmaktır. Ve doğrulukla ilgisi olmayan bir uyarı daha: bir müşterinin yayımlanmamış taslağı onun metnidir ve bir konuşmanın model eğitiminde kullanılıp kullanılmadığı o servisin planına ve ayarlarına bağlıdır ve kendi sayfalarında yazar.
Kaynaklar: Anthropic: reduce hallucinations Google: grounding in the Gemini API Google: where the Gemini apps are available
Bu tavsiyenin sınırı
Bu ders hiçbir model için halüsinasyon oranı yazmaz, çünkü böyle bir sayı için savunulabilir bir kaynağımız yok ve herhangi bir yerde gördüğünüz her rakam hızla eskir. Modelleri bu açıdan karşılaştırmak da bizim işimiz değil. Bu dersin pratik sınırı başka yerde: buradaki bütün yöntemler yanıtı kontrol edebildiğinizi varsayar. Bir konuyu hiç bilmiyorsanız ve iyi kaynağı kötüsünden ayıramıyorsanız, hiçbir iş akışı sizi kurtarmaz; oradaki yanıt, bilen birine sormaktır. Ve son bir çekince: halüsinasyon yanılmanın yalnızca bir yoludur. Bir model, her kelimesi doğru ve bütün sonucu yanlış bir cümle üretebilir ve bu ders onunla ilgili değildir.
Kendi işimizden
Bu bölümde "kaynağı olmayan sayı basılmaz" kuralını insanın elinden aldık. Bu Öğrenme bölümünün doğrulayıcısı, eklentinin includes/registry.php dosyasında, bir grafik türleri listesi tutar ve o türlerdeki her sayısal öğe hem bir değer hem de bir gösterim metni taşımak zorundadır; ikisinden biri eksikse dosya reddedilir ve ders hiç açılmaz. Aynı metnin ders gövdesinde de basılmış olması gerektiği, elle uyduğumuz bir kural; ama sahipsiz bir sayının önünü kesen şey doğrulayıcıdır. Ve beklemediğimiz bir sonuç: bu dersin yazıldığı gün bu bölümün veri dosyalarında iki yüz yirmi altı şekil vardı ve bunların yalnızca on dördü sayısal grafikti; hepsinde toplam elli altı sayılı öğe. Yani bu bölümdeki şekillerin neredeyse tamamı bilerek hiçbir sayı belirtmiyor. Kaynağı olmayan bir sayı çizilemiyorsa, yerine sayısal bir iddiada bulunmayan bir şekil çizilir ve sayfa bundan hiçbir şey kaybetmez.
Gerçek devam soruları
Daha yeni modeller halüsinasyon görmüyor mu?
Daha az, ama sıfır değil; ve savunulabilir bir kaynağımız olmadığı için karşılaştırma sayısı yazmıyoruz. Daha önemlisi, mekanizma değişmedi: model hâlâ en olası devamı kuruyor ve hâlâ hakikat kaynağı adında bir girdi kablosu yok. Anthropicin kendi belgeleri de halüsinasyonu azaltma tekniklerinin onu tamamen ortadan kaldırmadığını söylüyor.
Modelden kaynak istersem sorun çözülür mü?
Hayır, çünkü kaynak listesinin kendisi de uydurulmuş olabilir. Model bir atıfın biçimini çok iyi bilir ve o biçimi kurar. Bir kaynak listesi ancak bağlantıları açıp cümleyi sayfada bulduğunuzda değer taşır; bağlantının yalnızca açılması yetmez.
Model uydurmak yerine neden bilmiyorum demiyor?
Çünkü bilmiyorum, siz onu olası kılmadıkça olası bir devam değildir. Model akıcılık ve kesinlik için eniyilenmiştir; dolayısıyla çekincesiz cümleler üretir. İsteme, emin olmadığında bilmediğini söylemesi gerektiğini açıkça yazın, davranış değişir; üretici belgeleri de tam olarak bunu ilk teknik olarak öneriyor.