Perplexity ve Nvidia’dan tamamen yerel çalışan AI ajanı: Portable Computer
Perplexity, Nvidia ile ortaklaşa geliştirdiği Portable Computer’ı bugün kullanıma sundu. Şirketin bulut tabanlı “Computer” platformunun yerel sürümü olan bu sistem, tüm işlemleri kullanıcının kendi donanımında gerçekleştiriyor. İlk etapta Nvidia’nın DGX Spark masaüstü süper bilgisayarı ve RTX GPU’lu Linux makineler destekleniyor.
Portable Computer ile model, kullanıcı dosyaları ve yapılan iş tamamen cihazda kalıyor. Yerel olarak tamamlanan görevler herhangi bir kredi tüketmiyor ve sistem varsayılan olarak her göreve cihazda başlıyor. Yalnızca daha güçlü bir bulut modeline ihtiyaç duyulduğunda kullanıcıdan izin isteniyor. Perplexity mühendislik başkan yardımcısı Nate, “Aynı arayüzü tamamen yerel bir uygulamaya taşıdık” diyerek ajan donanımı, çıkarım ve iş için gereken her şeyin paketlendiğini belirtti.
Yerel AI artık pratik bir araç
Nvidia için bu duyuru, yerel yapay zekanın meraklıların oyuncağı olmaktan çıkıp pratik bir araca dönüştüğünün kabulü niteliğinde. Nvidia geliştirici teknolojileri direktörü Nader, “Yerel AI bir kırılma noktasına ulaştı. Uzun süre sadece hobici ve meraklıların işiydi, küçültülmüş modeller pek kullanışlı değildi. Ancak yeni açık kaynak modellerle bu tamamen değişti” dedi.
Portable Computer, yerel modelleri, ajan donanımını, çıkarım motorunu, araçları ve güvenlik sandbox’unu tek bir sistemde birleştiriyor. Kurumsal AI ajanlarının güvenilirliği üzerine yaptığımız analizde de belirttiğimiz gibi, bu tür sistemlerin başarısı büyük ölçüde doğru yapılandırılmış olmalarına bağlı. Perplexity’nin yaklaşımı, kullanıcıların ayrı ayrı model indirip, çıkarım sunucusu kurup, araçları bağlamak zorunda kalmasını ortadan kaldırıyor.
Tanıtımda yapılan bir demoda sistem, bir yatırımcının 1099 formları ve yatırım belgelerini inceleyerek gereksiz ücretleri tespit etti. DGX Spark üzerinde 27 milyar parametreli Qwen modeliyle çalışan ajan, bulut kredi sayacının sıfırda kalmasıyla yerel işlem gücünün avantajını gösterdi. İkinci bir demoda ise kullanıcı verileri yerel olarak analiz edilip sonuçlar Slack kanalına iletildi.
Token ekonomisi ve hibrit model
Portable Computer’ın stratejik mantığı, AI ajanlarının token tüketimindeki değişimde yatıyor. Sohbet uygulamaları kısa ve öz kullanım sunarken, ajanlar sürekli çalışarak çok daha fazla token tüketiyor. Nader, “Ajanlarla birlikte tokenlara doyumsuz bir talep var. Yerel AI burada devreye giriyor; token başına ödeme yapmıyorsunuz” dedi.
Şirketin yayınladığı araştırma makalesine göre, genel amaçlı ajan donanımları küçük yerel modellerde zorlanıyor. Perplexity bu nedenle daha kompakt bir donanım geliştirmiş ve Gmail, GitHub gibi bağlayıcıları token tüketen MCP sunucuları yerine kompakt komut satırı araçlarına dönüştürmüş. Ayrıca OS düzeyinde sandbox zorunlu tutuluyor; sandbox yoksa sistem kendini devre dışı bırakıyor.
Terminal Bench 2.1’de tamamen yerel Qwen modeli %59.6 başarı elde ederken, buluttaki Claude Opus 5 danışmanına yükseltildiğinde bu oran %73.0’a çıkıyor. Danışman çağrısı öncesinde PII sınıflandırıcı, cihazdan çıkacak veriyi kullanıcıya gösteriyor. Uzaktaki model yalnızca metin yönlendirmesi yapıyor, yerel dosyalara veya araçlara erişemiyor.
Portable Computer, bugünden itibaren Pro, Max, Enterprise Pro ve Enterprise Max abonelerine Linux üzerinde sunuluyor. Windows desteği Eylül’de gelecek. En az 24GB VRAM’e sahip RTX 3090 veya daha yeni bir GPU gerekiyor. Nvidia’nın iki DGX Spark’ı paylaşımlı bellek üzerinden bağlanarak DeepSeek gibi sınır modellerini çalıştırabiliyor; sekiz Spark’ın bağlandığı bile görülmüş.
Perplexity’nin bulut kredisi sayacı yerine yerel işlem gücünü öne çıkaran bu hamlesi, özellikle hukuk, sağlık ve finans gibi veri gizliliğine duyarlı sektörlerde ilgi görebilir. Nvidia ise satın alması kolay ama kullanması zor olan DGX Spark için öldürücü bir uygulama kazanmış durumda. Her iki şirket de yapay zeka ajanlarının buluttan yerel cihazlara taşınacağı bir geleceğe bahse giriyor.
Kaynak: VentureBeat
