Yapay zekayı kendi bilgisayarınızda çalıştırmak
Yerelde çalıştırmak, model dosyasının kendi diskinizde durması ve hesabın kendi işlemcinizle ekran kartınızda yapılması demektir; böylece yazdığınız metin makineden hiç çıkmaz. Bunun sizin için uygulanabilir olup olmadığına, boştaki RAM'inizle model dosyasının boyutu karar verir.
- Ders 11 / 12
- Orta
- Ücretsiz, kayıt yok
Model dosyası boyutuna karşı sahip olduğunuz RAM, gigabayt olarak
gemma3 ailesinin dört boyutu, Ollama kütüphanesinde yayımlandığı gibi. İbre, ölçek bir şey ifade etsin diye gerçek bir sunucunun RAM'inde duruyor.
- gemma3:1b815 MB, bugünün hemen her dizüstünde
- gemma3:4b3,3 GB, 8 GB'lık bir dizüstünde öbür programlar kapalıyken
- gemma3:12b8,1 GB, 16 GB RAM ve üstünden itibaren
- gemma3:27b17 GB, ayrık bir ekran kartı ya da çok fazla RAM
Bunlar indirme boyutlarıdır, bellek gereksinimi değil. Ollama belgeleri daha uzun bağlamın gereken belleği artırdığını söylüyor; dolayısıyla gereken RAM her zaman bu rakamlardan fazladır.
Son kontrol: Bu dersteki bilgiler ve araç adları bu tarihte kaynaklarıyla yeniden doğrulanır.
Kendi bilgisayarınızda ne demek
Bir yapay zeka sitesini kullandığınızda metniniz o şirketin sunucusuna gider, hesap orada yapılır ve yanıt geri döner. Yerelde çalıştırmak bu zinciri kısaltır: birkaç gigabaytlık bir dosya diskinizde durur, bir program onu belleğe açar ve aynı hesap kendi donanımınızda yapılır.
Üç şey değişir. Hesap gerekmez. Model indirildikten sonra internet gerekmez. Ve yazdığınız metin hiçbir yere kaydedilmez, çünkü hiçbir yere gitmez.
Daha en başta bir tuzak var ve her şeyden önce bilmeye değer. Yerel model çalıştıran araçların çoğu zaman bir de bulut sürümü olur ve görünüşleri aynıdır. Ollama'nın kendi belgeleri, bulut modellerinin otomatik olarak Ollama'nın bulut hizmetine aktarıldığını ve bunları kullanmanın ollama.com üzerinde bir hesap gerektirdiğini söylüyor. Yani sonu cloud ile biten bir model adı yerel değildir; aynı pencere, aynı komut, ama metniniz dışarı çıkmıştır.
Ne kadar RAM gerekir
Tahmin etmenin en basit yolu, modelin indirme boyutuna bakmaktır. Bu sayıları üretici her model sayfasında yayımlıyor ve tahmin değiller. gemma3 ailesi için Ollama kütüphane sayfası şu dört boyutu veriyor:
| Model | İndirme boyutu | Hangi makinede anlamlı |
|---|---|---|
| gemma3:1b | 815 MB | bugünün hemen her dizüstünde |
| gemma3:4b | 3,3 GB | 8 GB'lık bir dizüstünde, öbür programlar kapalıyken |
| gemma3:12b | 8,1 GB | 16 GB RAM ve üstü |
| gemma3:27b | 17 GB | ayrık bir ekran kartı ya da çok fazla RAM |
Şimdi tabloyu kullanılabilir kılan kural: indirme boyutu bir taban, gereksinimin kendisi değil. Modelin bellekte açılması ve üstüne konuşma metninin sığması gerekir. Ollama belgeleri açıkça, bağlam uzunluğunu büyütmenin modeli çalıştırmak için gereken bellek miktarını artıracağını söylüyor. Yani boştaki RAM'iniz tam olarak dosya boyutundaysa, model ya çalışmaz ya da işe yaramayacak kadar ağırlaşır.
Aynı belgeler sıradan bir makinenin daha gerçekçi resmini çizen bir sayı daha veriyor: varsayılan bağlam uzunluğu, 24 GiB'den az VRAM'i olan bir ekran kartı için 4 bin, 24 ile 48 GiB arası için 32 bin, 48 GiB ve üstü için 256 bin token. Dizüstülerin çoğunun ekran kartı ilk kuşakta. Yani sıradan bir makinede yerel model yalnızca daha küçük değil, belleği de daha kısadır.
Kurulumdan ilk yanıta, kendi makinenizde
-
1
Kurulum
Belgeler macOS, Windows ve Linux'u destekliyor. Hesap istenmiyor.
-
2
Boyut seçimi
Diskin alabileceği en büyük şeyden değil, boş RAM'inize rahatça sığan bir indirme boyutundan başlayın.
-
3
İndir ve çalıştır
Tek komut ve ilk seferinde model dosyası da iner. Ondan sonra internet gerekmez.
-
4
Gerçek bir metin deneyin
Genel bir soru değil, kendi işinizden bir paragraf. Farsça kalitesi ancak böyle ortaya çıkar.
Bu adımlar Ollama'nın başlangıç rehberinden geliyor. Bunu bu sunucuda çalıştırmadık; çünkü Ollama burada kurulu değil ve bu makinenin başka bir işi var.
Bu yol İran'dan neden anlamlı
İranlı bir kullanıcıyla yapay zeka araçları arasındaki üç kalıcı engel şunlar: hesap açılmıyor, kart kabul edilmiyor ve ülke listede yok. Yerel bir model üçünü de aşar; bir hileyle değil, hiçbirine ihtiyaç duymadığı için.
Ollama'nın başlangıç belgeleri macOS, Windows ve Linux'u destekliyor ve orada modeli makinenizde çalıştırmak için hiçbir oturum açma ya da kayıt istenmiyor. Hesap ancak bulut modellerine uzandığınızda gerekli oluyor ve o da artık yerel çalıştırma değil.
Bir sınırı dürüstçe söyleyelim: model dosyasının bir kez indirilmesi gerekir ve o indirmenin İran'daki her bağlantıdan tamamlandığına söz veremeyiz. Bunu ölçmedik ve hiçbir yerde yazmıyor. Söylenebilecek olan, indirmeden sonra başka hiçbir şeyin gerekmediğidir; bu yolu ötekilerden ayıran da budur.
Üçüncü fayda en az konuşulanı ve belki en önemlisi: gizlilik. Bir müşteri belgesi, bir sözleşme, bir sağlık dosyası, henüz yayımlanmamış bir metin; yerel bir modelde bunların hiçbiri hiçbir yere kaydedilmez. Bunun bulut hizmetlerinin varsayılanlarıyla karşılaştırması, kaynaklarıyla birlikte yapay zeka araçlarında gizlilik dersimizde.
Nerede yetersiz kalır
Biri size yerel bir modelin büyüklerin yerini tuttuğunu söylerse inanmayın. 3,3 GB'a sığan bir model, ekran kartı kümesinde çalışan bir modelle aynı sınıfta değildir ve bunu hiçbir ayar telafi etmez.
Bunu en çok üç yer gösterir. Çok adımlı akıl yürütme; küçük model yolun yarısında ipi kaybeder. Kesin bilgi; özgüvenle bir şey uydurur. Ve uzun metin; kısa bir bağlam penceresinden zaten geçmez.
Farsça konusunda da dürüst olalım: küçük modellerin Farsça kalitesi eşit değil ve bunu bu sunucuda ölçmedik, çünkü bu modellerin hiçbiri burada kurulu değil. Sizin için geçerli tek yol, kendi işinizden gerçek bir paragrafı iki üç modele verip yanıtları yan yana koymaktır. On dakika sürer ve yanıt sizindir. Bu modellerin nereden geldiğini ve açık olmanın tam olarak ne demek olduğunu merak ediyorsanız, o tartışma açık modeller dersinde.
Reklamların göstermediği gizli bir maliyet daha var: makineniz çalıştığı sürece meşguldür. Dizüstü ısınır, fan çalışır, pil daha hızlı biter ve geri kalan her şey yavaşlar. Kısa bir istek için bu hiçbir şey; yüz dosyayı işlemek için başlı başına bir karardır.
Yerel model ve barındırılan model, iki farklı yer
Barındırılan: bir şirketin sunucusunda
- Çok daha büyük modeller ve daha uzun bağlam penceresi
- Makineniz boşta kalır ve yanıt daha hızlı gelir
- Ama hesap ve ödeme ister ve ülkeniz listede olmayabilir
- Ve metniniz plana ve ayarlara göre saklanabilir
Yerel: kendi makinenizde
- Hesap yok, kart yok, ülke listesi yok
- Metin hiçbir yere gitmediği için hiçbir yere kaydedilmez
- İndirmeden sonra çevrimdışı da çalışır
- Ama yeteneği sınırlıdır ve makineniz meşgul kalır
Bu ikisi arasındaki seçim bir kere ve sonsuza dek yapılmaz; iş başına yapılır. Bu işi ciddiye alanların çoğu ikisini de tutar ve hangi işin nereye gideceğini bilir.
Peki yerel model neyi gerçekten iyi yapar
Tutumumuz: yerel modeli bir ikame olarak değil, mekanik ve hassas işlerin aracı olarak görün. Yani hacmi olan ama yargı gerektirmeyen işler ya da metni makineden çıkmaması gereken işler.
- Bir metni herhangi bir yere göndermeden önce içinden ad ve numaraları temizlemek
- Onlarca e-posta ya da faturadan tek bir sabit örüntüyle belirli alanları çekmek
- Gizli olan kısa bir metni özetlemek
- Sonra kendinizin yeniden yazacağı bir ilk taslak yazmak
- Yayın için değil, anlamak için kaba çeviri
Bunların hepsinde ortak bir örüntü var: yerel modelin çıktısı, bitmiş ürün değil, bir sonraki aşamanın girdisidir. Aşağıdaki hızlı yol tam da bu örüntüyü bir iş akışına çeviriyor.
Yapay zekayla hızlı yol
Yerel modeli ciddi biçimde kullanan biri, onunla büyük modelin yerini doldurmaz; onu büyük modelin <em>önüne</em> koyar. Hacimli ve mekanik iş kendi makinenizde yapılır ve güçlü modele yargı için yalnızca küçük ve temizlenmiş sonuç gider. İki şey birden düzelir: maliyet düşer ve makineden çıkan şey artık ham müşteri verisi olmaz. Şimdiye kadarki sorunuz hangi model daha iyi olduysa, daha doğru soru hangi aşamanın nerede çalışacağıdır.
- Önünüzdeki işi ikiye bölün: mekanik yarı ve yargı yarısı. Adları temizlemek, alanları çekmek, biçimi tekdüzeleştirmek; hepsi mekanik. Tonu belirlemek, bir iddianın doğruluğu ve neyin atılacağı; bu yargı.
- Mekanik yarıyı yerel modelde çalıştırın. Burada küçük bir model yeter, çünkü kural sabittir ve yaratıcılık gerekmez. Aşağıdaki tarif tam da bu aşamayı yapar.
- Çıktıyı <strong>kendiniz</strong> bir kez okuyun ve hiçbir şeyin düşmediğinden emin olun. Küçük model sessizce satır kaybeder ve bu yöntemin en yaygın başarısızlığı budur. Girdi bir listeyse, girdi ve çıktı satır sayıları eşleşmeli.
- Şimdi yalnızca o temizlenmiş sonucu yargı işi için güçlü bir modele verin. Güçlü modeller arasındaki güncel seçim, tarihiyle birlikte <a class="text-link" href="/tr/ai/">yapay zeka bölümümüzde</a> tutuluyor.
Kopyalamaya hazır şablon
# Birinci aşama, kendi makinenizde
ollama pull gemma3:4b
ollama run gemma3:4b
# sonra dosya içeriğinizle birlikte şunu verin:
Aşağıdaki metni temizle ve başka hiçbir şey yapma.
Kurallar:
1. Her kişi adını [AD] ile değiştir.
2. Her telefon numarasını [TELEFON], her e-postayı [EPOSTA], her kart ya da hesap numarasını [NUMARA] ile değiştir.
3. Her şirket ya da marka adını [SIRKET] ile değiştir.
4. Metnin geri kalanına dokunma. Cümleleri yeniden yazma ve özetleme.
5. Çıktı satır sayısı, girdi satır sayısıyla tam olarak eşleşmeli.
6. Sonunda, ayrı bir satırda, her etiketten kaç tanesini değiştirdiğini yaz.
Metin:
{dosya içeriği}
# İkinci aşama, yalnızca bu temizlenmiş çıktıyla, güçlü bir modelde
# Yargı işini orada isteyin: çözümleme, yeniden yazım, kararÇıktıya güvenmeden önce: Altıncı kural süs değil: sayım, modelin bir şeyi kaçırdığını size gösteren tek şeydir. Küçük bir model, kural yazmadığınız bir örüntüyü bulmaz ve kimlik numaraları, dosya numaraları ve adresler tam oradan sızar. Bu yüzden çıktıyı başka bir yere göndermeden önce, içinde hâlâ ne kaldığını bir kez kendiniz arayın. Ve açıkçası bu yöntem metni makinenizde tutar ama sorumluluğunu üstlenmez: müşteri verisiyse izin de gerekir.
Bu işte yapay zeka
Burada dersin konusu zaten bir yapay zeka aracı, dolayısıyla tartışma değişiyor: soru hangi asistanın size yardım ettiği değil, hangi işin nerede çalıştığı. Tutumumuz şu: hassas verisi olan ya da hacmi yüksek yargısı düşük her iş için önce yerel modele uzanın ve büyük modeli gerçekten düşünce gerektiren aşama için saklayın.
Gerçekten işe yarayan araçlar
- Ollama Bir modeli kişisel makinede çalıştırmanın en basit yolu. Belgeleri macOS, Windows ve Linux'u destekliyor ve yerel kullanım için hesap istemiyor; hesap yalnızca kendi sunucularında çalışan bulut modelleri için gerekli.
- Claude Yerel model metni temizledikten sonra, işin yargı yarısı için. İran, Anthropic'in desteklenen ülkeler listesinde yok; bunu kendi sayfalarında okuduk.
- Gemini Aynı rol, Google ailesinden. Google'ın kendi sayfası, Gemini web uygulamasının 230'dan fazla ülkede çalıştığını söylüyor ve İran o listede yok.
Nerede geri teper
Burada iki belirgin risk var ve ikisi de aynı türden: bir şeyin yerel olmadığı halde yerel sanılması. Birincisi bulut etiketi. Ollama'nın kendi belgeleri, bulut modellerinin otomatik olarak kendi bulut hizmetlerine aktarıldığını ve ollama.com üzerinde hesap gerektirdiğini söylüyor. Yani aynı pencere ve aynı komut, yalnızca model adı cloud ile bittiği için metninizi dışarı gönderebilir. Hassas bir şey yazmadan önce tam olarak hangi modelin açıldığına bakın. İkincisi dosyanın kaynağı. Model de onu çalıştıran program da çalıştırılabilir dosyalardır; bilinmeyen bir aynadan indirilmişlerse, kendi makinenizde tam yetkiyle doğrulanmamış bir program çalıştırmışsınız demektir; burada güvenli yazılım kurulumu kuralı geçerlidir ve resmi kaynak tek kaynaktır. Bir de yaygın bir karışıklığı düzeltelim: yerel olmak, metnin hiçbir yere gitmediği anlamına gelir; yanıtın doğru olduğu anlamına değil. Küçük model büyüğünden daha çok uydurur ve onu durduracak kimse de yoktur.
Kaynaklar: Ollama docs: cloud models Ollama docs: quickstart Anthropic: supported countries Google: where the Gemini web app is available
Bu tavsiyenin sınırı
Bu dersin tamamı kişisel bir makinedeki metin modelleri hakkında. Görüntü ve video üretiminin bellek profili farklıdır ve çoğu ayrık bir ekran kartı ister; dolayısıyla bu sayfadaki sayılar onlara uymaz. Sayılar aynı zamanda tek günlük bir anlık görüntü: model boyutları her sürümle değişir ve biz yalnızca bir ailenin dört boyutunu, sayfanın altında yazan tarihte okuduk. Açıkça söylenmesi gereken bir şey daha: bu yolu bu sunucuda çalıştırmadık; burada başka bir iş yapıyor ve üzerinde Ollama kurulu değil.
Kendi işimizden
Bu sayfayı size veren ve yedi site çalıştıran sunucunun toplam yaklaşık 7,6 GB RAM'i var ve bu dersi yazarken baktığımız anda bunun yaklaşık 2,7 GB'ı boştu. gemma3:12b dosyası tek başına 8,1 GB. Yani ciddi iş yapan ve gece gündüz açık duran bu makine, o modeli bellekte açamıyor bile. Bunu sizi caydırmak için yazmıyoruz; karşılaştırılacak doğru sayının teknik sayfada yazan RAM değil, boş RAM olduğunu bilin diye yazıyoruz. Şu anda kendi makinenizde görev yöneticisini ya da sistem izleyiciyi açın ve boş RAM'e bakın; yukarıdaki tablonun hangi satırının sizi ilgilendirdiğine o sayı karar veriyor.
Gerçek devam soruları
Ekran kartı olmadan çalışır mı?
Küçük modellerle evet, ama daha yavaş; çünkü iş işlemcide koşar. O hızı burada ölçmedik ve bir sayı uydurmayacağız. Ollama belgeleri varsayılan bağlam uzunluğunu ekran belleğine bağlıyor ve 24 GiB'in altında 4 bin token veriyor; bu da kartsız bir makinede uzun metin beklememeniz demek.
Farsçayı iyi anlıyor mu?
Eşit değil ve biz ölçmedik; dolayısıyla değerli bir yanıt bizden gelmeyecek. Kendi işinizden gerçek bir paragrafı iki üç modele verin ve çıktıları yan yana koyun. On dakika sürer ve yanıt sizindir, başkasının iddiası değil.
Yerel model ile açık model aynı şey mi?
Hayır. Yerel, nerede çalıştığını söyler; açık ise ağırlıkların hangi lisansla yayımlandığını. Yerelde çalışan modellerin çoğunun yayımlanmış ağırlıkları vardır, ama ikisi farklı şeyler söyler ve her modelin lisansı ayrı okunur. Açık modeller dersi bunu açar.