Yapay zekâ sunucusu: satın almak, kiralamak ya da hazır cihaz

Güncellendi: · Yazan: Yerel Yapay Zeka

Kısa cevap: Yapay zekâ sunucusu, bir dil modelini çalıştıracak kadar hızlı belleğe ve hesaplama gücüne sahip bilgisayardır. Gereken bellek; modelin boyutuna, sayıların hassasiyetine, bağlam uzunluğuna ve aynı anda kaç kişinin kullanacağına bağlıdır. Satın alınan sunucuda veri şirkette kalır ama kurulum ve bakım sizdedir. Kiralanan bulut sunucuda veri sağlayıcının veri merkezine gider. Hazır yerel cihaz kurulu gelir ve veriyi şirkette tutar.

Yapay zekâ sunucusu nedir?

Büyük dil modelleri, milyarlarca sayıdan (parametre) oluşan dosyalardır. Model her kelime üretirken bu sayıların neredeyse hepsini okur. Bu yüzden yapay zekâ sunucusunda belirleyici olan iki şey vardır: modelin tamamının sığacağı kadar hızlı bellek ve bu belleği hızla işleyen bir hızlandırıcı, çoğunlukla grafik işlemci (GPU). Sıradan bir dosya sunucusu ya da muhasebe sunucusu bu işe göre tasarlanmadığı için küçük modelleri yavaş çalıştırır, büyük modelleri hiç çalıştıramaz.

Piyasada üç tip donanım görürsünüz:

Ne kadar bellek gerekir?

Hugging Face’in model optimizasyon rehberindeki pratik kural şudur: X milyar parametreli bir modelin ağırlıklarını 16 bit hassasiyette yüklemek için kabaca 2 × X GB bellek gerekir; 32 bitte 4 × X GB. Bu kurala göre 8 milyar parametreli bir model 16 bitte yaklaşık 16 GB, 70 milyar parametreli bir model yaklaşık 140 GB yer tutar.

Nicemleme (quantization) ağırlıkların hassasiyetini düşürerek bu ihtiyacı küçültür. Aynı rehberdeki örnekte 15 milyar parametreli bir model 16 bitte yaklaşık 29 GB, 8 bitte yaklaşık 15 GB, 4 bitte yaklaşık 9,5 GB bellek kullanıyor. Hassasiyet düştükçe kalite de bir miktar düşebilir; bunu kendi işinizde deneyerek görürsünüz.

Ağırlıklar hesabın yalnızca bir kısmıdır. Model, konuşmanın ve okunan belgenin bağlamını da bellekte tutar (KV önbelleği). Rehbere göre bu bellek metin uzunluğuyla doğrusal büyür: örnek modelde 16.000 belirteçlik bir bağlam, ağırlıkların yaklaşık yarısı kadar, yani yaklaşık 15 GB ek bellek istiyor. Aynı anda soru soran her kullanıcının bağlamı ayrıca yer tutar.

Kısaca: gereken bellek ≈ model ağırlıkları + her eşzamanlı kullanıcının bağlamı + işletim payı. Uzun sözleşmeleri ve raporları okutacak, aynı anda birçok kişiye hizmet verecekseniz yalnızca model boyutuna bakmak yetmez.

Bir yapay zekâ sunucusu kaç kişiye yeter?

Tek bir sayı yoktur. Cevap; modelin boyutuna, soruların ve belgelerin uzunluğuna, insanların aynı anda mı yoksa gün içine yayılarak mı soru sorduğuna ve kabul edilebilir bekleme süresine bağlıdır. Bir ofiste 30 kişinin hesabı olması, 30 kişinin aynı saniyede soru sorduğu anlamına gelmez. Doğru ölçü, kendi belgelerinizle ve gerçekçi bir eşzamanlı kullanıcı sayısıyla yapılan bir denemedir. Teklif veren firmadan bu denemeyi yazılı istemek en güvenli yoldur.

Satın almak, kiralamak ya da hazır cihaz

Satın alınan sunucuKiralanan bulut sunucuHazır yerel cihaz
Veri nerede işlenirŞirketin kendi donanımındaSağlayıcının veri merkezindeŞirketin kendi cihazında
Kurulumİşletim sistemi, model, kullanıcı arayüzü, belge arama ve yetkiler sizde ya da entegratördeSanal makine hazır; yazılım ve güvenlik ayarları sizdeKurulu gelir; kullanıcılar tanımlanır
Ücret yapısıPeşin donanım, sonra bakım ve enerjiSaatlik ya da aylık kullanım ücretiCihaz, kurulum ve bakım ayrı kalemler
Yer, enerji, soğutmaDonanıma göre sunucu odası gerekebilirSağlayıcıdaCihaza göre değişir; teklifte yazar
KVKK açısındanYapay zekâ için yurt dışı aktarım sorusu doğmaz; uzaktan destek ayrıca değerlendirilirSağlayıcı yurt dışındaysa 9. maddedeki aktarım şartları gündeme gelirYapay zekâ için yurt dışı aktarım sorusu doğmaz
Kime uyarBT ekibi güçlü, yoğun iş yükü olan kurumlarKişisel veri ve ticari sır içermeyen denemelerKurulum ve bakımla uğraşmak istemeyen şirketler

Yapay zekâ sunucusu kiralama: veri nereye gider?

Bulutta GPU’lu sunucu kiralamak hızlı bir başlangıçtır: donanım almadan bir modeli birkaç saatte denersiniz. Ama sunucu sizin değildir; sorular, belgeler ve modelin cevapları sağlayıcının veri merkezinde işlenir ve orada saklanabilir. Sağlayıcı Türkiye dışındaysa ve veri kişisel veri içeriyorsa KVKK’nın yurt dışına aktarım şartları gündeme gelir. Kiralık sunucu, gizli belgelerle değil, kamuya açık ya da anonimleştirilmiş verilerle yapılan denemeler için daha uygundur.

Yapay zekâ bilgisayarı ve yapay zekâ cihazı ne demek?

“Yapay zekâ bilgisayarı” etiketi dizüstü ve masaüstü bilgisayarlarda genellikle küçük yapay zekâ işlerini hızlandıran ek bir işlemciyi anlatır. Büyük bir dil modelini rahat çalıştırıp çalıştıramayacağını belirleyen ise yine bellek miktarı ve hızıdır; etikete değil, belleğe bakın.

“Yapay zekâ cihazı” ise bu sayfada, yapay zekâsı kendi içinde çalışan, kutudan çıktığı gibi kullanılan cihaz anlamındadır: model, arayüz, kullanıcılar ve belge arama kurulu gelir. Kendi sunucunuzu kurmanın adımları yerel yapay zekâ kurulumu rehberinde, hangi modelin Türkçe iyi olduğu Türkçe yapay zekâ modelleri sayfasında.

Toplam maliyet hangi kalemlerden oluşur?

Bir sunucunun etiket fiyatı toplam maliyetin yalnızca bir parçasıdır. Teklifleri karşılaştırırken şu kalemleri ayrı ayrı isteyin:

Satın almadan önce beş deneme

  1. İnternet kesikken çalıştırın. Kablo çekilince soru-cevap, arama ve özet devam etmeli.
  2. Kendi belgelerinizle sorun. Türkçe sözleşme, rapor ve tablolarınızla; örnek belgelerle değil.
  3. Aynı anda soru sordurun. Gerçekçi sayıda kişinin aynı anda soru sorduğu bir deneme yapın ve cevap sürelerini not edin.
  4. Uzun bir belge okutun. Bağlam belleğinin yettiğini ve cevabın belgenin sonundaki bilgiyi de kapsadığını kontrol edin.
  5. Uzaktan erişimi sorun. Destek için kimin, nereden ve kimin izniyle bağlandığı yazılı olsun.

Bu testlerin ayrıntısı kapalı ağda yapay zekâ rehberinde, seçeneklerin genel karşılaştırması yerel yapay zekâ çözümleri, kurumsal asistan seçenekleri kurumsal yapay zekâ sayfasında.

Yerel Yapay Zeka’da

Yerel Yapay Zeka iki hazır cihaz sunar. Kişisel model bireyler içindir: dokunmatik ekranlıdır, Wi-Fi, Bluetooth ve ağ portu yoktur; fiyatı 229.000 TL, KDV dahil, abonelik yok. Ofis / Kurum cihazı şirketin kendi ağına kurulur; çalışanlar kendi bilgisayarlarından tarayıcıyla, kendi kullanıcı adıyla bağlanır ve Kapalı modda cihaz internete çıkmaz. Ofis / Kurum fiyatı kuruma göre teklifle verilir; cihaz, kurulum ve bakım ayrı kalemler olarak yazılır, donanım ayrıntıları da teklifte yer alır. Şirketler için · Kişisel cihaz

Sık sorulan sorular

Yapay zekâ sunucusu satın almak mı, kiralamak mı daha ucuz? Kullanım süresine ve yoğunluğuna bağlıdır. Kısa denemeler için kiralamak ucuzdur; sunucu her gün ve yıllarca kullanılacaksa satın alma ya da hazır cihaz öne çıkar. Karşılaştırırken kiralamada verinin dışarıda işlendiğini, satın almada enerji, bakım ve iç ekip zamanını hesaba katın.

Mevcut sunucumuzda yapay zekâ çalışır mı? Küçük modeller GPU olmadan da işlemcide çalışabilir, ama yavaştır. Ekipçe günlük kullanılacak bir asistan için modelin sığacağı kadar hızlı bellek gerekir. Önce kullanacağınız modelin boyutunu belirleyin, sonra yukarıdaki kuralla gereken belleği hesaplayın.

Yapay zekâ sunucusu internetsiz çalışır mı? Evet. Model dosyası sunucuya yüklendikten sonra soru-cevap için internet gerekmez. Bazı yazılımlar lisans doğrulama ya da güncelleme için internet ister; satıcıya hangi adımların internet gerektirdiğini sorun.

Kaç GB bellek almalıyız? Kullanacağınız en büyük modelin ağırlıklarına, aynı anda çalışacak kişi sayısı kadar bağlam belleği ve bir pay ekleyin. Uzun belgeler okutulacaksa bağlam payını büyük tutun. Bu hesabı satıcıyla kendi senaryonuz üzerinden yazılı yapın.

Hazır cihazın sınırı ne? Model boyutu donanımla sabittir ve en büyük bulut modelleri genel bilgide daha güçlüdür. Belge arama, özetleme ve tablo işlerinde yeterli olup olmadığı demoda kendi belgelerinizle test edilir.

Kaynaklar

  1. Hugging Face, Optimizing LLMs for Speed and Memory (bellek kuralı ve KV önbelleği)
  2. KVKK, Yurt Dışına Aktarım
  3. KVKK, Kişisel Verilerin Yurt Dışına Aktarılması Rehberi (PDF)

Kendi belgelerinizle görün

Ofis / Kurum kurulumunu bir ilk görüşmeyle konuşalım; ardından örnek belgelerinizle yerel bir demo yapalım. İlk görüşme ücretsiz. Talep sipariş veya ödeme değildir. Pilot kapsamı, ücret ve teslim planı ayrı teklif edilir.

Kurumsal pilot talep etKişisel cihazı incele