Eski oyun ekran kartı, Claude’a ödenen üç işi tek başına yapıyor

Yapay zeka aboneliklerinde fiyat sabit kalsa da asıl sınır kullanım kotası oluyor. Claude Pro için ayda 20 dolar ödeyen bir kullanıcı, sayaçlar dolduğunda ya ek kredi almak ya da limitlerin sıfırlanmasını beklemek zorunda kalıyor. Oysa çoğu kişinin kutusunda duran eski bir oyun ekran kartı, bu işlerin önemli bir bölümünü yerelde ve abonelik gerektirmeden halledebiliyor.
Mantık oldukça basit: bulut tabanlı asistanlar güçlü ama her istek bir kotaya yazılıyor. Yerelde çalışan modeller ise doğrudan ekran kartının belleğini kullanıyor ve aylık sabit bir ücret doğurmuyor. Geriye tek değişken maliyet kalıyor: kartın çektiği elektrik.

Söz konusu üç iş, sıradan bir kullanıcının yapay zekaya en çok başvurduğu alanlarla örtüşüyor: metin yazma ve özetleme, görsel üretme–düzenleme ve sesi yazıya dökme. Yedi–sekiz milyar parametreli açık modeller, Ollama veya LM Studio gibi araçlarla 8 GB VRAM’e sahip eski bir kartta bile çalıştırılabiliyor. Görsel tarafında Stable Diffusion türevleri, ses tarafında ise Whisper’ın küçük ve orta sürümleri benzer biçimde yerelde koşuyor.
Ancak beklenti yönetimi şart. Yerel bir model, Claude’un uzun bağlam penceresi, kod yazma yetkinliği ve araç kullanma becerisiyle aynı ligde değil. Daha önce 20 görevlik bir karşılaştırmada yerel bir modelin ücretli bir asistana kıyasla hangi işlerde yeterli olduğu, hangilerinde geride kaldığı ayrıntılı biçimde ele alınmıştı. Ajan tabanlı işlerde fark daha da belirgin: Claude Code’un dört yıllık bir Windows dizüstünde 30 GB gereksiz dosya bulması, dosya sistemi üzerinde çalışan araçların hâlâ bulut tarafında ne kadar güçlü olduğunu gösteriyor.

Yerel çalışmanın en somut avantajı gizlilik: metinler ve görseller hiçbir sunucuya gönderilmiyor. İkinci avantaj kotanın ortadan kalkması; gece yarısı sayaç sıfırlansın diye beklemek gerekmiyor. Buna karşılık kart tam yükte çalışırken elektrik tüketimi ve fan gürültüsü artıyor, dizüstü sistemlerde pil ömrü belirgin biçimde düşüyor.
Bulut tarafındaki maliyet de görmezden gelinecek gibi değil. Bir kullanıcının MS Paint’te çizdiği görseli düzenletmek için 45 dolar ödemesi, görsel üretiminde kotaların ne kadar hızlı tükenebildiğini iyi anlatıyor. Aynı işi yerel bir Stable Diffusion kurulumuyla yapmak, ilk kurulum sonrasında ek ücret doğurmuyor.

Sonuç olarak eski bir oyun ekran kartı, bir Claude aboneliğinin tamamen yerini almasa da günlük işlerin ciddi bir kısmını üstlenebilecek durumda. Metin özetleme, sesi yazıya dökme ve görsel üretme gibi tekrarlayan görevleri karta devretmek, hem abonelik kotasını rahatlatıyor hem de veriyi cihazda tutuyor. Karmaşık kodlama ve ajan görevleri için bulut araçları hâlâ önde; ancak elinizdeki kartı çöpe atmadan önce bir kez daha düşünmekte fayda var.
Kaynak: XDA Developers