İstem mühendisliği eğitimi

İşe yarayan bir istem neyden oluşur

Kullanılabilir bir şey döndüren her istem dört şey taşır; yazan kişi adlarını bilmese bile. Önce bağlam: model işin neresinde duruyor, kim için yazıyor, neyi zaten biliyor ve neyi bilmiyor. İkincisi görev: tam olarak ne yapılacak, somut bir fiille. Üçüncüsü kısıtlar: yanıtta ne bulunmamalı. Dördüncüsü çıktının biçimi: yanıt hangi kalıpta dönecek, kaç parça, başlıklı mı başlıksız mı, tablo mu paragraf mı.

İlk üçünü çoğu kişi aşağı yukarı yazar. Zaman dördüncüsünde gider, çünkü bir biçim söylemediğinizde modelin kendisi bir tane seçer ve genellikle öğrendiği metinlerde en sık geçen biçimi seçer: bir giriş, madde işaretli bir liste, bir sonuç. Sonra siz oturup onu yeniden düzenlersiniz.

Kısıtların az söylenen bir yanı var: olumsuz kısıt, olumlu kısıttan zayıftır. "Reklam gibi yazma" cümlesini herkes başka türlü anlar. "En iyi, en kaliteli gibi hiçbir üstünlük sıfatı kullanma" ise sonradan çıktıyı karşısında tartabileceğiniz bir kuraldır. Ölçüt basit: bir kuralın uygulandığını nasıl denetleyeceğinizi söyleyemiyorsanız, o kural henüz bitmemiştir.

Aynı dört parça, gerçek bir örnek üzerinde

İnsanların gerçekten yazdığı bir istem şu, ve biraz utandırıcı görünüyorsa hepimiz bir sürümünü yazdığımızdandır:

siteme fren balatası hakkında bir yazı yaz. seo uyumlu olsun.

Model bir şey yazar. Sekiz yüz kelime, frenlerin ne kadar önemli olduğuna dair bir giriş, balata türlerinden bir liste ve doğru balatayı seçmenin çok önemli olduğunu söyleyen bir sonuç. Hiçbiri yanlış değil ve hiçbiri bir mağazanın kategori sayfasına ait değil.

Aynı istek, dört parçayla:

Bağlam: internetten yedek parça satıyorum ve bu metin "fren balatası" kategori sayfası için. Alıcı genellikle araç modelini bilir ama hangi balatanın uyduğunu bilmez.

Görev: alıcının aracına uygun balatayı seçmesine yardım eden 200 kelime yaz.

Kısıtlar: fiyat yazma, fiyatlarımız haftalık değişiyor. Hiçbir markayı önerme. En iyi, en kaliteli gibi üstünlük sıfatı kullanma.

Çıktı biçimi: peş peşe üç paragraf, başlık yok, liste yok.

Bu iki çıktı arasındaki fark bir model farkı değil. Model aynı model. Değişen şey, ikinci sürümde modelin birincide sizin yerinize aldığı dört kararı artık almaması.

Uzunluk için bir not: modeller "200 kelime" ifadesini kesin değil, yaklaşık sayar. Kesin sayı sizin için önemliyse çıktıda sayın ve sonraki turda düzeltin; istemde ısrar etmek bunu çözmez. Nedeni işin nasıl yürüdüğüne dayanıyor ve bunu büyük dil modeli dersi anlatıyor: model kelime saymaz, sonraki tokenı tahmin eder.

İlk istem üç turda nasıl düzeltilir

İlk isteminiz eksiktir ve bu sizin kusurunuz değil. Bir çıktı görmeden isteğinizin hangi kısmının belirsiz olduğunu bilemezsiniz; belirsizlik yalnızca dışarıdan görünen bir şeydir. Yani asıl iş ikinci turda başlar ve tek bir kuralı vardır: her turda tam olarak tek bir şeyi değiştirin. Üç şeyi birden değiştirir ve sonuç düzelirse hiçbir şey öğrenmemişsinizdir; bir dahaki sefere yine sıfırdan başlarsınız.

Aynı balata metninde üç gerçek tur şöyle görünür. Birinci tur doğru biçimde döner ama kimsenin seçim yapmasına yardım etmek yerine fren balatasının ne olduğunu anlatır. Sorun kısıtlarda değil, görevde: model "seçmesine yardım et" ifadesini "ona öğret" diye okumuş. Yalnızca görevi keskinleştiriyoruz, başka bir şeyi değil.

İkinci tur seçmenize gerçekten yardım eder, ama okurun parça numarasını bildiğini varsayar. Bu bir görev sorunu değil, bağlam sorunudur: alıcının neyi bilip neyi bilmediğini hiç söylememiştik. Bağlama bir satır eklenir. Üçüncü tur genellikle istediğiniz şeydir.

İstemin kendisinden değerli bir alışkanlık: yanlış çıktıları atmayın. Birinci ve ikinci turdan gelen o iki kullanışsız yanıt sizin test kümenizdir. Bir dahaki sefere istemi değiştirdiğinizde ya da model altınızdan değiştiğinde, daha iyiyi yalnızca farklı olandan onlarla ayırırsınız.

Ve bir uyarı: üç tur sizi hedefe götürmediyse sorun muhtemelen istem değildir. Ya işin ihtiyaç duyduğu bilgi istemde hiç yoktur ya da bu tür bir aracın yapamayacağı bir şey istemişsinizdir. Dördüncü ve beşinci tur o durumda sadece zamandır.

Hangi istemler saklanır ve nerede

İkinci kez kullanacağınız her istem saklamaya değer. Saklama yeri de ürünün kendi belleği değil, kendi bilgisayarınızdaki düz bir metin dosyasıdır. Üç nedeni var: araçlar arasında taşınır, abonelik değişince kaybolmaz ve eski ile yeni sürümü yan yana koyup neyin değiştiğini tam olarak görebilirsiniz.

Ama istemin kendisi yetmez. Yanında iki şey daha tutun: onu denediğiniz beş gerçek girdi ve kabul ettiğiniz bir çıktı. Bunlar olmadan sakladığınız şey bir paragraftır; bunlarla birlikte gelecek ay yeniden ölçebileceğiniz bir şeydir.

Dosyaya aracın değil işin adını verin. "Müşteri mesajı özeti" bir yıl sonra da bir şey ifade eder; "chatgpt istemi 2" etmez.

O dosyaya girmeyecek tek şey: müşteri verisi, parolalar, tokenlar, hesap numaraları. İstemler kopyalanır ve iş gruplarında dolaşır; elinizden tam olarak orada çıkar.

Uzun bir metin yapıştırdığınızda soru nereye gider

Bu, üreticilerin hakkında açık yönerge yazdığı az sayıdaki ayrıntıdan biri ve Türkçe anlatımların çoğu atlıyor. Google'ın Gemini için yönergesi, büyük miktarda bağlam verdiğinizde, bir belge ya da bir kod bloğu, bütün bağlamı önce koymanızı ve kendi sorunuzu veya yönergenizi istemin en sonuna yazmanızı söylüyor. Aynı sayfa, temel davranış kısıtlarını, rol tanımını ve çıktı biçimi gereksinimlerini istemin en başına ya da sistem yönergesine koymayı söylüyor.

Yani uzun bir istem için önerilen sıra şu: ana kurallar, sonra bütün metin, sonra soru. Yaygın alışkanlık tam tersi: insanlar soruyu yazıp altına on beş sayfa yapıştırıyor.

Bir dürüstlük notu: bunu bu sunucuda ölçmedik. Bu, Google'ın kendi modeli için kendi yönergesi ve başka üreticiler bunu farklı biçimlendiriyor. İşiniz düzenli olarak uzun metinlerse, beş test girdinizi bir kez soru başta bir kez soru sonda çalıştırın ve kendiniz karar verin. On dakika sürer ve yanıt bizden bir alıntı değil, sizin olur.

Satılan o sihirli istemler

Tutumumuz açık: o "500 altın istem" paketlerinin çoğu değersizdir ve nedeni ahlaki değil teknik. İyi bir istem üç şeye bağlıdır ve hiçbiri satıcıya ait değildir: sizin belirli işiniz, sizin gerçek girdileriniz ve bugün kullandığınız model. Hiçbir istem bu üçünü yanında taşımaz.

İkinci nokta daha kötü. O istemler genellikle uzundur, çünkü uzunluk profesyonel görünür, ve kimsenin etkisini sınamadığı kurallarla doludur. Sınanmamış bir kural zararsız değildir: modelin dikkatinden yer kaplar ve bazen aynı istemdeki başka bir kuralla çelişir. Kalabalık bir istemi kısaltmak, ona eklemekten genellikle daha çok işe yarar.

Üçüncüsü, o paketlerin hiçbiri bir testle gelmez. Size bir çıktı gösterirler; bu istem şundan iyidir demenizi sağlayan bir yöntem değil. Anthropic'in kendi belgeleri, istem mühendisliği bölümünden önce bir koşul koyuyor: önce başarı ölçütünüz ve onu sınayacak bir yolunuz olsun, sonra istemi iyileştirmeye gidin. Aynı sayfa şunu da söylüyor: her sorun istemle çözülmez; bazen yanıt başka bir modeldir.

Buna karşılık bir istem kütüphanesi değerlidir, yeter ki sizin olsun. Kendi gerçek işiniz için yazdığınız ve kendi girdilerinizde denediğiniz beş istem, satın alınmış beş yüz istemden iyidir. Bu hoş bir söz değil: o beş tanesi sizin gerçek başarısızlıklarınızdan kuruldu, o beş yüz tanesi hiçbir şeyden.