Noktalı Sinir Ağları – Hackster.io

Bilgisayarla görme, dünya hakkında çok yoğun bir bilgi kaynağı sağlar, bu nedenle bu teknolojinin gözetimden vahşi yaşamı izlemeye ve otonom sürüşe kadar çok çeşitli uygulamalarda kullanılması şaşırtıcı olmamalıdır. Ancak bu verilerin zenginliği iki ucu keskin bir kılıçtır – birçok harika yeni teknolojinin geliştirilmesine olanak tanırken, herhangi bir anlam ifade etmek için büyük miktarda bilgi işlem gücü gerektirir. Bu genellikle daha yüksek maliyetler, zayıf enerji verimliliği ve sınırlı taşınabilirlik anlamına gelir. Bu modu geliştirmek ve bilgisayarla görüsünü daha fazla uygulamaya getirmek için, son yıllarda işlemeyi görüntü sensörüne daha verimli bir şekilde çalışabileceği daha yakın hale getirmek için bir dizi çaba sarf edildi.

Bu çabalar genellikle üç geniş kategoriden birine girer – sensöre yakın işleme, sensör içi işleme veya piksel içi işleme. İlk durumda, görüntü sensörüyle aynı devre kartında özel bir işlem yongası bulunur ve işlem için buluta bir yolculuk sağlar, ancak yine de sensör ve işlemci arasındaki veri aktarımı için bir darboğazdır. Sensör içi işleme, görüntü sensörünün içine yerleştirerek işlemeyi bir adım daha yakına getirir, ancak sensöre yakın işlemede ortaya çıkan veri aktarımı darboğazını tamamen ortadan kaldırmaz. Daha iyi bir yol olarak, işlemeyi doğrudan görüntü sensörünün her bir pikseline ileten ve veri iletimindeki gecikmeleri ortadan kaldıran piksel işleme teknolojileri geliştirilmiştir.

Bu yöntem çok fazla umut sunsa da, mevcut uygulamalar henüz üretime hazır olmayan veya gerçek dünya makine öğrenimi modelinin gerektirdiği çok bitli, çok-bitlikli gibi işlem türlerini desteklemeyen gelişen teknolojilere güvenme eğilimindedir. kanal evrişim işlemleri ve normalleştirme Düzeltilmiş partiler ve doğrusal birimler. Bu çözümler kağıt üzerinde etkileyici görünüyor, ancak kauçuk yolla birleştiğinde oyun sorunlarını çözmekten başka bir işe yaramazlar.

Gerçek dünya uygulamaları için uygun olan piksel işleme, Los Angeles, Güney Kaliforniya Üniversitesi’ndeki bir ekibin yakın tarihli çalışması sonucunda gerçeğe dönüşmeye birkaç adım daha yakın görünüyor. Telefon etmek Bellekteki pikselleri işlemeYöntemleri, birçok sinir ağının ihtiyaç duyduğu kıvrımlar gibi işlemleri gerçekleştirebilen görüntü sensörleri içinde yüksek düzeyde paralel hesaplamayı sağlamak için bireysel piksel düzeyinde ağ ağırlıklarını ve aktivasyonlarını içerir. Aslında, bu teknikleri uygulayan sensörler, modern bir derin sinir ağının ilk birkaç katmanını işlemek için gereken tüm işlemleri gerçekleştirebilir. Burada görmek için MNIST sayı derecelendirmelerini içeren oyunlarda sorun yok, millet.

Araştırmacılar, yöntemlerini kullanarak görsel uyarı kelimesi veri kümesi üzerinde eğitilmiş bir MobileNetV2 modeli oluşturarak yaklaşımlarını test ettiler. Standart yarı işlenmiş ve sensör içi uygulamalara kıyasla veri iletim gecikmelerinin 21 kat gibi büyük bir oranda azaldığı bulundu. Bu verimlilik, güç gecikme ürününün 11 kat azaldığı tespit edilen daha düşük bir güç bütçesinde de gösterildi. Daha da önemlisi, bu verimlilik kazanımları, model doğruluğunda önemli bir azalma olmadan elde edildi.

Modelin ilk birkaç katmanı piksel olarak işlendiğinden, sensörün dışındaki bir işlemciye yalnızca az miktarda sıkıştırılmış veri gönderilmesi gerekir. Bu, veri iletimindeki darboğazları ortadan kaldırmakla kalmaz, aynı zamanda, gelişmiş görsel algoritmaların kaliteden ödün vermeden daha küçük platformlarda çalışmasını sağlamak için bu görüntü sensörleriyle ucuz mikro denetleyicilerin eşleştirilebileceği anlamına gelir. TinyML uygulamalarında ne gibi değişiklikler yapabileceğini görmek için gelecekte bu çalışmaya göz kulak olmayı unutmayın.