6 dk okuma
Cihaz Üzeri Yapay Zeka (Edge AI) Nedir?
Edge AI, modelleri bulut yerine doğrudan telefonunuzda, kameranızda veya kapı zilinizde çalıştırır. Nasıl işlediğini, neden daha hızlı ve gizli olduğunu ve nelerden ödün verdiğini anlatıyoruz.
Kısa özet
Edge AI, sık kullanılan adıyla cihaz üzeri yapay zeka, bir yapay zeka modelini buluttaki uzak bir sunucuya veri göndermek yerine doğrudan önünüzdeki donanımda, yani telefonda, kamerada, kapı zilinde veya araçta çalıştırmak demektir. Model cihazda durur ve düşünme işini yerel olarak yapar.
Edge kelimesi ağ şemalarından gelir. Bulut merkezde, cihazlarınız ise büyük veri merkezlerinden uzakta, ağın kenarında yer alır. Edge AI hesaplamayı verinin üretildiği yere taşır. IBM bunu, her şeyi önce merkezi bir sunucuya geri göndermek yerine veriyi kaynağına yakın işlemek olarak tarif eder.
Bu artık niş bir fikir değil. Modern telefonlar bunun için özel çiplerle gelir ve yüz kilidinden canlı altyazıya kadar hâlihazırda kullandığınız pek çok özellik, siz fark etmeden bu şekilde çalışır.
Aslında nasıl çalışır
Güçlü bir modeli küçük bir cihazda çalıştırmak eskiden pratik değildi. İki şey bunu değiştirdi. Birincisi, modeller nicemleme (quantization) gibi tekniklerle daha küçük ve verimli hâle geldi; bu yöntem modeli daha düşük hassasiyetli sayılarla saklayarak daha az bellek kullanmasını ve daha hızlı çalışmasını sağlar. İkincisi, çip üreticileri yapay zeka modellerinin dayandığı matematik için özel olarak tasarlanmış bir nöral işlem birimi (NPU) ekledi.
Apple bunun somut ve iyi belgelenmiş bir örneğini sunuyor. Cihaz üzeri temel modeli yaklaşık üç milyar parametre büyüklüğünde ve iki bitlik nicemlemeye dayalı eğitim ile paylaşımlı anahtar-değer önbelleği gibi yöntemlerle Apple silikon üzerinde belleği azaltacak biçimde ayarlanmış. Apple, iPhone 15 Pro üzerinde istem tokeni başına yaklaşık 0,6 milisaniye ilk token gecikmesi ve saniyede yaklaşık 30 token üretim hızı bildiriyor.
Sektörde örüntü benzer. Qualcomm, Samsung, Google ve diğerleri artık amiral gemisi telefonlara NPU koyuyor ve üreticiler saniyede on trilyonlarca işlem rakamları veriyor. Tüm bu donanımın amacı aynı: yararlı yapay zeka işini, sürekli buluta gitmeden, cihazda ve hızlıca yapmak.
Neden önemli: avantajlar
Gecikme en öne çıkan avantaj. Model zaten cihazdaysa ağ gidiş dönüşü olmaz, bu yüzden yanıtlar anlık hissettirir. Bu, gerçek dünyaya ayak uydurması gereken işlerde en çok fark eder; canlı çeviri, kamera efektleri veya bir aracın sensörlerinin gördüğüne tepki vermesi gibi.
Gizlilik ikinci büyük avantaj. Veriniz cihazda işleniyorsa başka birinin sunucusuna gitmek zorunda kalmaz. Apple Face ID tanıdık bir örnek: telefonu açmak için kullanılan yüz verisi cihazda işlenir ve buluta gönderilmez. Yüz, ses veya konum gibi hassas girdiler için işi yerel tutmak maruz kalma riskini gerçekten azaltır.
Çevrimdışı çalışma da doğal olarak gelir. Cihazdaki bir model zayıf sinyalle veya hiç bağlantı olmadan çalışmayı sürdürür; bu yüzden cihaz üzeri çeviri ve yazıya dökme uçakta ya da bodrumda dayanır. Son olarak maliyet ve bant genişliği var: her şeyi bir veri merkezine akıtmamak ağ trafiğini azaltır ve her istek için bulut hesaplaması ödemekten kaçınmayı sağlar.
Ödünler
Edge AI sihir değildir ve dürüst bir anlatım sınırlarını da içerir. Bir telefon ya da kamera, bir sunucu rafına kıyasla çok daha az belleğe, işlem gücüne ve soğutmaya sahiptir; bu yüzden sığabilen modeller daha küçüktür. Apple, cihaz üzeri modelinin özetleme, yeniden yazma ve bilgi çıkarma gibi odaklı işler için yapıldığını, geniş dünya bilgisine sahip genel bir sohbet botu olmadığını açıkça belirtir.
Temel gerilim budur. Küçük cihaz üzeri modeller iyi tanımlı işlerde mükemmeldir ama en büyük bulut modellerinin ham yeteneğine erişemez. Pil ve ısı da bir cihazın ne kadar süre ne kadar zorlanabileceğine gerçek sınırlar koyar. Ayrıca milyonlarca cihazda duran bir modeli güncellemek, veri merkezindeki tek bir servisi güncellemekten daha zordur.
Pratikte yanıt genellikle melezdir. Cihazlar hızlı, gizli ve rutin işleri yerel yapar, ağır veya açık uçlu istekleri buluta devreder. Örneğin Apple, cihaz üzeri modelini zor işler için daha büyük bir sunucu modeliyle eşler. Edge AI net bir tatlı noktası olan bir araçtır, her şeyin yerine geçen bir çözüm değil.
Zaten kullandığınız yerler
Çoğu kişi edge AI yi her gün farkında olmadan kullanır. Yüz kilidi ve parmak izi eşleştirmesi cihazda çalışır. Bir uyandırma ifadesini bekleyen kısım, yani uyandırma kelimesi algılaması, yerel çalışır ve çipin yalnızca küçük bir bölümünü kullandığı için sürekli açık kalabilir. Akıllı kameralar ve kapı zilleri giderek her klibi yüklemek yerine bir insanı bir evcil hayvandan cihazda ayırt ediyor.
Telefon kameranız da buna dayanır. Görüntüleri güzel gösteren hesaplamalı fotoğrafçılığın çoğu, ayrıca canlı altyazı, cihaz üzeri yazıya dökme ve çevrimdışı çeviri gibi özellikler yerel NPU üzerinde çalışır. Bunlar gösterişli demolardan çok sessiz, günlük kazanımlardır.
E-ticaret için görsel yapay zeka bu yelpazede biraz daha ileride durur. Ağır görüntü üretimi ve temiz arka plan düzenlemeleri hâlâ sunucu sınıfı modellerden fayda görür; Renderivo nun benimsediği yaklaşım da budur: zorlu iş bulutta çalışır, böylece çıktı kalitesi yüksek kalır ve satıcılar hızlı, tutarlı ürün fotoğrafları alır. Kenar ile bulut arasındaki ödünü anlamak, bazı yapay zeka özelliklerinin neden anlık ve telefonunuzda, bazılarının ise neden bir sunucuda çalıştığını açıklar.
Sık sorulan sorular
Edge AI ile cihaz üzeri yapay zeka aynı şey mi?
Evet, terimler birbirinin yerine kullanılır. Edge AI daha geniş bir ifadedir ve kamera, sensör ve araçlar dâhil ağın kenarındaki her cihazı kapsar; cihaz üzeri yapay zeka ise genellikle telefon ve dizüstüleri ifade eder. İkisi de modelin bulut yerine yerel çalıştığı anlamına gelir.
Edge AI internet olmadan çalışır mı?
Cihazda çalışan kısım için evet. Cihaz üzeri çeviri, yazıya dökme ve yüz kilidi gibi özellikler model zaten yerel saklandığı için çevrimdışı çalışmayı sürdürür. Yalnızca bir özellik zor istekler için daha büyük bir bulut modeline geçtiğinde bağlantıya ihtiyaç duyarsınız.
Cihaz üzeri yapay zeka bulut yapay zekasından daha mı gizli?
Çoğu zaman evet, çünkü yerel işlenen verinin uzak bir sunucuya gönderilmesi gerekmez. Apple Face ID buna açık bir örnektir; yüz verisi cihazda kalır. Gizlilik yine de bir uygulamanın nasıl tasarlandığına bağlıdır, yani otomatik değildir, ama işi yerel tutmak maruz kalma riskini gerçekten azaltır.
Neden her şey cihazda çalıştırılmıyor?
Telefon ve kameraların belleği, işlem gücü ve pili sınırlıdır; bu yüzden sığabilen modeller daha küçük ve odaklı işlere daha uygundur. En büyük ve en yetenekli modeller hâlâ bulut donanımına ihtiyaç duyar. Çoğu ürün melez bir yaklaşım kullanır: hızlı rutin işi cihazda yapar, ağır istekleri buluta gönderir.
Yapay zeka destekli daha iyi ürün fotoğrafları
Renderivo arka planları temizler ve stüdyo kalitesinde ürün çekimleri oluşturur, böylece ilanlarınız net görünür. Yeni hesaplar denemek için ücretsiz kredi alır.