Yerel LLM Donanımı: DGX Spark mı, RTX 6000 Ada mı?

Şirket içinde, verileri dışarı göndermeden bir büyük dil modeli (LLM) çalıştırmak istiyorsanız donanım seçiminde ilk bakmanız gereken şey işlemci hızı değil, modelin sığacağı bellek miktarıdır. Kısa cevap şu: masaüstünde büyük modelleri denemek için 128 GB belleğe sahip NVIDIA DGX Spark, mevcut bir iş istasyonuna yapay zeka ve render gücü eklemek için 48 GB belleğe sahip RTX 6000 Ada uygun seçeneklerdir. Yalnızca 1 GB vGPU sunan GPU VDS paketlerimiz ise LLM çalıştırmak için uygun değildir.

Bu rehberde üç seçeneği aynı ölçütlerle karşılaştırıyor, hangi iş yükünün hangi donanıma gittiğini açıkça anlatıyoruz. Kuvve Teknoloji olarak 2014'ten beri İstanbul Kartal'dan KOBİ'lere altyapı sağlıyoruz; müşteriyi yanlış ürüne yönlendirmenin kimseye faydası olmadığını biliyoruz, bu yüzden "uygun değil" dediğimiz yerleri de net yazdık.

Neden yerel LLM?

Bulut tabanlı yapay zeka servisleri hızlı başlangıç sağlar; ancak bazı işletmeler için modeli kendi donanımında çalıştırmanın somut avantajları vardır:

• Veri gizliliği: Müşteri kayıtları, sözleşmeler, teklif dosyaları veya iç yazışmalar şirket ağının dışına çıkmadan işlenir.
• KVKK açısından kontrol: Kişisel verinin nerede işlendiğini ve kimin eriştiğini kendiniz belirlersiniz. Bu, yükümlülüklerinizi yönetmeyi kolaylaştırabilir; ancak kesin değerlendirme için güncel mevzuatı ve hukuk danışmanınızın görüşünü esas alın.
• Maliyet öngörülebilirliği: Kullanım başına ücretlendirme yerine tek seferlik donanım yatırımı yaparsınız. Yoğun kullanımda bütçe planlaması daha kolay hâle gelir.
• İnternet bağımsızlığı: Bağlantı kesildiğinde veya dış servis erişilemez olduğunda iç araçlarınız çalışmaya devam eder.

Bu avantajların karşılığında donanımı doğru boyutlandırmak sizin sorumluluğunuzdadır. Yanlış boyutlandırma ya modelin hiç açılmamasıyla ya da kullanılamayacak kadar yavaş çalışmasıyla sonuçlanır.

Bellek neden belirleyici?

Bir dil modeli çalışırken ağırlıklarının (parametrelerinin) büyük kısmının hızlı belleğe yüklenmesi gerekir. Ekran kartlarında bu bellek VRAM'dir; DGX Spark gibi sistemlerde ise işlemci ve grafik biriminin ortak kullandığı birleşik bellek söz konusudur. Model belleğe sığmazsa ya hiç yüklenmez ya da verinin bir kısmı daha yavaş belleğe taşınır ve yanıt süresi ciddi biçimde uzar.

Kabaca bir hesap fikir verir: model ağırlıklarının kapladığı alan, parametre sayısı × parametre başına bayt ile ölçeklenir. 16 bit hassasiyette parametre başına yaklaşık 2 bayt gerekir; yani 7 milyar parametreli bir model yalnızca ağırlıklar için kabaca 14 GB civarında yer ister. Buna, konuşma geçmişi ve bağlam penceresi için ek bellek eklenir.

Kuantizasyon bu ihtiyacı düşürmenin en yaygın yoludur. Ağırlıkların 8 bit veya 4 bit gibi daha düşük hassasiyetle saklanması, bellek ihtiyacını önemli ölçüde azaltır; karşılığında kalitede bir miktar kayıp olabilir. Belirli bir modelin gerçek ihtiyacı; kuantizasyon düzeyine, bağlam uzunluğuna ve kullandığınız çalıştırma yazılımına göre değişir. Bu yüzden satın almadan önce çalıştırmayı planladığınız modelin kendi dokümantasyonuna bakmanızı öneririz.

Pratik sonuç şudur: daha fazla bellek, daha büyük model veya daha uzun bağlam demektir. Aşağıdaki karşılaştırmayı bu gözle okuyun.

Üç seçeneğin karşılaştırması

Ölçüt	NVIDIA DGX Spark	PNY NVIDIA RTX 6000 Ada	GPU VDS (1–4)
Bellek	128 GB (birleşik bellek)	48 GB GDDR6, 384 bit	1 GB vGPU, 2–8 GB RAM
Depolama	4 TB SSD	Takıldığı iş istasyonuna bağlı	50–125 GB NVMe
Form faktörü	Masaüstü yapay zeka süper bilgisayarı	İş istasyonuna takılan PCIe 4.0 ekran kartı	Sanal sunucu (NVIDIA GRID)
İşlemci	ARM Cortex-X925 (Grace Blackwell)	Mevcut iş istasyonunun işlemcisi	2–8 vCPU
Fiyat	8.000 USD + KDV	9.400 USD + KDV	Aylık 33–83 USD + KDV
Uygun iş yükü	Büyük modelleri masaüstünde denemek, yerel yapay zeka geliştirme	Yapay zeka + render + 3D işlerini tek iş istasyonunda birleştirmek	Grafik hızlandırmalı uzak masaüstü, hafif GPU işleri
Yerel LLM için	Uygun	Uygun (48 GB sınırı içinde)	Uygun değil

Fiyatlar yazım tarihi itibarıyla KDV hariçtir ve kur ile tedarik koşullarına göre değişebilir; güncel fiyatı ürün sayfasından kontrol edin.

NVIDIA DGX Spark: masaüstünde büyük model

NVIDIA DGX Spark, yapay zeka iş yükleri için tasarlanmış, masaüstüne sığan bir sistemdir. Bu karşılaştırmadaki en büyük bellek kapasitesine, yani 128 GB'a sahiptir. Grace Blackwell mimarisi üzerine kurulu sistemde ARM Cortex-X925 işlemci ve 4 TB SSD bulunur.

DGX Spark'ı öne çıkaran nokta, belleğin tek bir havuz olarak sunulmasıdır. 48 GB'lık bir kartın taşıyamayacağı büyüklükteki modelleri, kuantizasyon düzeyine bağlı olarak tek bir cihazda denemek mümkün hâle gelir. Bu da onu şu senaryolar için mantıklı kılar:

• Farklı büyüklükteki açık modelleri şirket içinde test edip hangisinin işinize yaradığını görmek,
• Şirket belgeleriyle çalışan bir iç asistan veya soru-cevap sistemi prototiplemek,
• Yazılım ekibine ayrı bir sunucu odası gerektirmeden yapay zeka geliştirme ortamı sağlamak.

Dikkat edilmesi gereken bir nokta: işlemci mimarisi ARM tabanlıdır. Kullanacağınız yazılımların ve araçların ARM üzerinde desteklendiğini önceden doğrulamanızı öneririz. Benzer masaüstü sistemleri iş istasyonları kategorisinde inceleyebilirsiniz.

RTX 6000 Ada: mevcut iş istasyonuna güç eklemek

PNY NVIDIA RTX 6000 Ada, 48 GB GDDR6 belleğe ve 384 bit bellek arayüzüne sahip, PCIe 4.0 bağlantılı profesyonel bir ekran kartıdır. Ayrı bir cihaz değil, uyumlu bir iş istasyonuna takılan bir karttır.

Bu seçenek özellikle şu durumlarda anlam kazanır:

• Elinizde güçlü bir iş istasyonu zaten var ve ona yapay zeka kapasitesi eklemek istiyorsunuz.
• Aynı makinede hem render, 3D modelleme veya CAD işleri hem de yapay zeka çalışmaları yapılacak.
• Kullandığınız yazılımlar x86 tabanlı bir iş istasyonunda çalışıyor ve bu ortamı değiştirmek istemiyorsunuz.

48 GB bellek, orta büyüklükteki modeller için ve kuantize edilmiş daha büyük modeller için çoğu zaman yeterli bir alandır; ancak DGX Spark'ın 128 GB'ına göre daha dar bir sınırdır. Kartı almadan önce iş istasyonunuzun kasa alanını, güç kaynağını ve soğutmasını kontrol etmeniz gerekir; bu konuda bizden destek isteyebilirsiniz. Diğer profesyonel kartlar için ekran kartları kategorisine bakabilirsiniz.

GPU VDS neden LLM için uygun değil?

Bunu açıkça söylemek istiyoruz: GPU VDS paketlerimizin tamamında 1 GB vGPU bulunur ve bu, yerel LLM çalıştırmak veya model eğitmek için yetersizdir. Yukarıdaki kaba hesaba göre, iş kullanımına uygun kalitede yanıt veren dil modelleri kuantize edilmiş hâlleriyle dahi genellikle bu kapasitenin çok üzerinde bellek ister. Paket numarası büyüdükçe vCPU, RAM ve disk artar; ancak vGPU belleği dört pakette de aynı kalır, 1 GB.

Bu, GPU VDS'nin kötü bir ürün olduğu anlamına gelmez; farklı bir iş için tasarlanmıştır. GPU VDS paketleri; grafik hızlandırmalı uzak masaüstü, hafif GPU hızlandırması isteyen uygulamalar, 3D/CAD görüntüleme ve video kod çözme gibi hafif işlerde anlamlıdır. Tüm sanal sunucu seçeneklerini VDS kategorisinde görebilirsiniz.

Bir yapay zeka projesi için GPU VDS kiralamayı düşünüyorsanız, bunu yapmadan önce bizimle konuşun. Yanlış ürünle başlamak hem zaman hem para kaybıdır.

Karar rehberi

1. Masaüstünde büyük modelleri denemek, yerel yapay zeka geliştirme ortamı kurmak istiyorsanız: DGX Spark. 128 GB bellek, bu karşılaştırmadaki en geniş alanı sunar.
2. Mevcut bir iş istasyonunuz var ve render, 3D ile yapay zekayı aynı makinede birleştirmek istiyorsanız: RTX 6000 Ada. 48 GB bellek sınırını çalıştıracağınız modellere göre değerlendirin.
3. Ekibinize grafik hızlandırmalı uzak masaüstü veya hafif GPU işleri için bir sunucu arıyorsanız: GPU VDS. Aylık kiralama ile başlayabilirsiniz.
4. GPU VDS ile LLM çalıştırmayı planlıyorsanız: Bu kombinasyon uygun değildir. İhtiyacınıza göre DGX Spark veya RTX 6000 Ada'ya yönelin.

Karar vermeden önce şu üç soruyu yanıtlamak işinizi kolaylaştırır: Hangi modeli ve hangi kuantizasyon düzeyinde çalıştıracaksınız? Kaç kişi aynı anda kullanacak? Donanım nerede duracak (masa üstü, mevcut iş istasyonu, sunucu odası)?