Yapay zeka içeriğini tespit etmek

Sürekli birbirine karıştırılan iki soru

İlk soru şu: bu dosyayı bir makine mi üretti? İkincisi: bu metni bir makine mi yazdı? Birbirine benziyorlar ve aslında aynı türden soru bile değiller. Birincisinin bazen mekanik bir yanıtı vardır, çünkü üretici dosyanın içine birinin gidip bulabileceği bir işaret koymuş olabilir. İkincisinin mekanik bir yanıtı yoktur ve bugüne kadar kimse de üretmedi.

Bu alandaki bütün karışıklık oradan başlıyor. Piyasa ikinci soruyu satıyor ve en iyi ihtimalle birincisinin bir kısmını teslim ediyor. Size yüzde seksen iki olasılıkla yapay zeka diyen bir araç ikinci soruyu yanıtlamıyor; elinize istatistiksel bir benzerlik puanı tutuşturuyor, siz de onu bir hüküm gibi okuyorsunuz.

Bu derste tavrımız en baştan açık. Bir şeye dayanarak karar verecekseniz, o şeyin gösterilebilir olması gerekir: dosyanın içindeki bir işaret, açılan bir kaynak, geldiği yerde de aynı kalan bir sayı. Açıp nereden geldiğini izleyemediğiniz bir puan, karar vermek için yapılmamıştır.

OpenAI kendi dedektörünü neden kapattı

Yapay zeka metin dedektörü, bir yazıyı okuyup onu bir makinenin mi yoksa bir insanın mı ürettiğini tahmin eden bir programdır. Ocak 2023te OpenAI kendi dedektörünü yayımladı. Aynı yılın temmuz ayında o sayfanın en üstünde bir not belirdi: "As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy." Yani: 20 Temmuz 2023 itibarıyla sınıflandırıcı, düşük doğruluk oranı nedeniyle artık kullanılamıyor.

Bu cümlenin üzerinde durun, çünkü dersin ağırlığı orada. Modeli kuran, eğitim verisine erişen, tokenlayıcısını yazan ve çıktısını istediği kadar üretebilen şirket, arkasında duracağı bir dedektör kuramadı. Bugün size böyle bir araç satan herkesin erişimi o şirketinkinden daha az, daha çok değil. Bu alanda tek bir araç var ki onu kendi üreticisi kapattı: istatistiksel metin dedektörü.

O sayfanın ilk sürümünde bazı doğruluk rakamları da vardı. Onları buraya yazmadık, çünkü OpenAI alan adı bu sunucuya 403 dönüyor ve kaynağında okuyamadığımız bir sayıyı yayımlamıyoruz. Kapatma cümlesinin kendisini iki bağımsız habere karşı doğruladık ve özgün sayfanın bağlantısı, kendiniz açabilesiniz diye dersin altında duruyor. Bir öğretim sayfasının elinin altındaki bir sayıyı bırakması size tuhaf geldiyse, bu tam olarak yapay zeka halüsinasyonu dersinde ortaya koyduğumuz kuraldır.

Dedektör, ana dili İngilizce olmayan birinin yazısına ne yapar

Patterns dergisinde yayımlanan bir çalışma, yaygın kullanılan birkaç dedektörü ana dili İngilizce olan ve olmayan yazarların örnekleri üzerinde sınadı. Bulgu açık: dedektörler, ana dili İngilizce olmayanların örneklerini tutarlı biçimde yapay zeka üretimi olarak yanlış sınıflandırdı, ana dili İngilizce olanların örnekleriyse doğru tanındı. Yazarlar, bu araçların dilsel ifadesi daha kısıtlı yazarları istemeden cezalandırabileceği sonucuna varıyor ve değerlendirme ile eğitim ortamlarında kullanılmalarına karşı uyarıyor.

Burada dikkatli olun, çünkü fazla genelleme cazibesi güçlü. O çalışma, ana dili İngilizce olmayanların İngilizce yazıları hakkında; Farsça hakkında değil. Bu araçların Farsça metin üzerinde yayımlanmış bir değerlendirmesini görmedik ve böyle bir iddiada da bulunmayacağız. Ama bulgunun ardındaki mekanizma tek bir dile bağlı değil: bu araçlar bir dağılım üzerinde ayarlanır ve o dağılımın dışında duran her yazı işaretlenir.

Aynı makaleden daha az alıntılanan bir cümle daha: yazarlar, basit istem stratejilerinin hem bu yanlılığı azalttığını hem de dedektörleri tamamen atlattığını gösterdi. O stratejilerin ne olduğunu ne burada ne de bu sitenin başka bir yerinde söyleyeceğiz. Gerek de yok; mesele tek satır. Basit bir yönergenin alt ettiği bir denetim, denetim değildir. Geçmek isteyen geçer ve yakalanan kişi, geçilecek bir şey olduğundan haberi olmayan yazardır.

Dedektörün verdiği sayı nasıl okunur

Diyelim yüz metniniz var, onu makine yazımı, ve dedektörünüz her iki yönde de on kezde dokuz doğru bilsin. On makine metninin dokuzunu yakalar. Ama aynı hata oranı doksan insan metninde de işler ve dokuz kişiyi daha suçlar. Yani kalkan on sekiz bayrağın dokuzu, kendi işini yazmış bir insandır. Bu iki sayı aritmetik bir örnektir; hiçbir ürünün ölçümü değildir. Gerçek sayılar ne çıkarsa çıksın ayakta kalan şu: aradığınız şey ne kadar seyrekse, yakalananlar içindeki masumların payı o kadar büyür.

Şimdi iki hatanın bedelini yan yana koyun, çünkü eşit değiller. Makine yazımı bir metin elinizden kaçarsa, sıradan bir sayfa yayımlanmış olur. Bir yazarı haksız yere suçlarsanız, birine yalancı demiş olursunuz. Bu ikisi tek bir eşikle yönetilemez ve bedellerin bakışımsız olduğu her yerde eşikler de bakışımsız olmalıdır.

Peki pratikte ne yapmalı. Dedektör puanı en fazla daha yakından bakmak için bir ipucudur, asla bir sonuç değil. Puan yüksekse, gerçekten kontrol edilebilenlere gidin: metnin iddialarını açın, kaynaklarını okuyun, yazara o sonuca nasıl vardığını sorun. Bu konuşmadan çıkan şey savunulabilir. Sayı değil.

Gerçekten kontrol edebileceğiniz işaretler

Tayfın yeşil ucu, üreticinin oraya bilerek bir işaret koyduğu yerdir. İki ailesi var ve aradaki fark önemli: filigran içeriğin kendi içine gömülür, içerik künyesi ise dosyaya iliştirilen bir bilgi paketidir. İkisi de dosyanın kendi içine yazılıdır ve dosyayı elinde tutan herkes onları arayabilir.

SynthID, Google DeepMinde ait ve kendi sayfalarına göre görüntü, video, ses ve metni kapsıyor: Gemini uygulaması ile web sürümünde görüntü, video ve metin; Lyria ile NotebookLM podcast özelliğinde ses. Googleın kendi güvence belgeleri sınırları da aynı yerde yazıyor ve okunmaya değer. Filigran uygulaması olgusal yanıtlarda daha az etkilidir, çünkü doğruluğu bozmadan üretimi değiştirmek için daha az alan vardır. Yapay zeka üretimi bir metin baştan sona yeniden yazıldığında ya da başka bir dile çevrildiğinde dedektörün güven puanları büyük ölçüde düşer. Yöntem, metnin bir kısmını kırpmaya, birkaç kelimeyi değiştirmeye ve hafif başka sözcüklerle anlatmaya karşı dayanıklıdır. Ve kendi ifadeleriyle SynthID Text, zarar vermeye kararlı bir saldırganı doğrudan durdurmak için tasarlanmamıştır. Üretim düzeyinde bir uygulaması Hugging Face Transformers kütüphanesinde 4.46.0 sürümünden beri mevcut; yani bu teknoloji artık kapalı kapılar ardında değil.

İkinci aile C2PA: bir dosyaya imzalı künye iliştirmek için açık bir standart. Bu dersi yazdığımız gün üyelik sayfası yönlendirme komitesinde on bir kuruluş listeliyordu; aralarında Adobe, Amazon, BBC, Google, Meta, Microsoft, OpenAI, Sony ve TikTok. Bir dosyanın künyesini kendi makinenizde nasıl okuyacağınız ve bunu bu sitenin kendi medya kitaplığında çalıştırdığımızda ne çıktığı, komutuyla birlikte yapay zeka görsel filigranı ve SynthID dersinde.

Ve şimdi bu ucun tamamını tanımlayan sınır: bir işaret yalnızca onu gömen modelleri kapsar. Filigran koymayan bir model hiçbir iz bırakmaz ve dosyaya iliştirilmiş bir künye sıradan bir ekran görüntüsüyle ölür. Dolayısıyla bir işaretin yokluğu hiçbir şey kanıtlamaz. Bu işaretler yalnızca tek yönde konuşur ve o tek yön yine de değerlidir.

Yayıncıysanız: dedektör kovalamak yerine ne yapmalı

Zamanını dedektörleri geçmeye harcayan bir yayın ekibi, sürecini yanlış şeyin etrafına kurmuştur. Kendi yayıncılığınıza dair gerçekten kontrol edilebilir üç şey var: metnin arkasında duran ve hesabını veren adı belli bir kişi, gerçekten açılan kaynak bağlantıları taşıyan iddialar ve bilinmemesi okurun vardığı sonucu değiştirecekse açıklama. Üçünün hiçbiri araç gerektirmez.

Bu, Google politikasıyla da çatışmaz, çünkü Google politikası zaten araçla ilgili değil; kimseye hiçbir şey katmayan sayfaları ölçekte üretmekle ilgili. O çizginin nerede olduğu ve resmi metnin ne dediği, politikaların bağlantılarıyla birlikte yapay zeka içeriği ve SEO dersinde.

Ve yazması uygulamasından kolay, sert bir kural: bir yazarı dedektör puanıyla suçlamayın. O sayıya dayanarak birini işten çıkarmazsanız, aynı sayıya dayanarak işini de reddetmeyin. Gerçekten kuşkulanıyorsanız, bir editörün her zaman yaptığını yapın: oturun ve işin kendisi hakkında soru sorun. Konuyu anlayan biri yanıtlar.

Okuyan sizseniz: neye bakmalı

Burada sezginiz en kötü rehberdir, çünkü kökenle hiç ilgisi olmayan bir şeye duyarlıdır: akıcılık. Akıcı yazı bir makine de olabilir iyi bir yazar da; pürüzlü yazı bir insan da olabilir zayıf bir model de. Akıcılık, bu modellerin tam da uğruna eniyilendiği şeydir; yani hiç sinyal değildir.

Bunun yerine şu dört şeye, bu sırayla bakın. Sayfa hesabını verecek bir kişinin adını anıyor mu. İddiaları bağlantı taşıyor mu ve o bağlantılar gerçekten açılıp aynı şeyi söylüyor mu. Alıntılanan sayı özgün kaynağında hâlâ aynı sayı mı. Ve bir dosyaysa, künye taşıyor mu. Dördünün hiçbiri onu kimin yazdığını söylemez ve söylemesi de beklenmez; sayfanın söylediğinin arkasında durup durmadığını söylerler ki kararınız asıl bu soruya dayanır.

Ve bu dersin sınırı, açıkça: burada bir dedektörü geçecek metnin nasıl yazılacağını öğrenmeyeceksiniz, birini nasıl suçlayacağınızı da öğrenmeyeceksiniz. Bu ikisi, karşıt uçlardan aynı hatadır ve ikisi de aynı yanlış öncüle dayanır: o sayının bir şey bildiği. Bilmiyor.