Yapay Zeka ile Görsel Büyütme: Süper Çözünürlük Nasıl Çalışır

Büyütme ile süper çözünürlük aynı şey değil

Küçük bir görseli daha büyük bir boyuta gerdiğinizde, yazılımın hiç çekilmemiş pikselleri uydurması gerekir. Bunun en eski ve en basit yolu aradeğerlemedir. Çift doğrusal ve çift kübik gibi yöntemler her yeni pikselin etrafındaki birkaç piksele bakar ve ortalamalarını alarak yumuşak bir geçiş üretir. Hızlı ve öngörülebilir bir yöntemdir ama yalnızca yakın komşulardan tahmin yürütebildiği için sonuç genelde yumuşak ve bulanık görünür. Yeni doku ya da kenar detayı ortaya çıkmaz, çünkü hiçbir detay eklenmemiştir.

Yapay zeka süper çözünürlüğü temelde farklı bir yol izler. Yakındaki piksellerin ortalamasını almak yerine, bir sinir ağı milyonlarca görsel çiftini incelemiştir; her çift, net bir fotoğraf ve onun küçültülmüş bulanık halidir. Tüm bu eğitimden, ince detayın nasıl göründüğünü öğrenir: kumaşın dokusu, basılı bir etiketin kenarı, metaldeki parlaklık. Düşük çözünürlüklü bir görsel verdiğinizde, bu öğrenilmiş bilgiyi kullanarak yüksek çözünürlüklü halini tahmin eder. Aradeğerlemeye kıyasla netlikteki fark çarpıcı olabilir.

Öğrenilmiş öncül aslında nedir

Araştırmalarda göreceğiniz ifade öğrenilmiş öncüldür. Öncül, modelin sizin fotoğrafınızı görmeden önce gerçek görsellerin nasıl göründüğüne dair taşıdığı beklentidir. Ağ çok sayıda gerçek fotoğraf gördüğü için güçlü varsayımlar taşır: kenarlar genelde süreklidir, ciltte gözenekler vardır, metnin keskin hatları olur, tuğlanın tekrar eden bir dokusu vardır. Detay eksik olduğunda, model boşluğu öncülünün oraya en olası şekilde ait olduğunu söylediği şeyle doldurur.

Aradeğerlemenin neredeyse hiç öncülü yoktur. Bir yüzün ya da logonun ne olduğunu bilmez; yalnızca yakın piksellerin muhtemelen birbirine benzediğini bilir. Çift kübik çıktının genel olarak yumuşak görünmesinin, yapay zeka çıktısının ise gerçekten detaylı görünebilmesinin nedeni budur. Dürüst araştırmanın net biçimde belirttiği püf nokta şudur: öncül, kaybolan gerçek detayın bir kaydı değil, olası detaya dair en iyi tahmindir.

Acı gerçek: detayı geri getirmez, uydurur

Tek görselli süper çözünürlük, matematikçilerin kötü tanımlanmış problem dediği şeydir. Bir görsel küçültüldüğünde bilgi kalıcı olarak atılır ve birçok farklı yüksek çözünürlüklü görsel tam olarak aynı küçük görseli üretmiş olabilir. Hangisinin orijinal olduğunu bilmenin bir yolu yoktur. Bu yüzden model kaybolan pikselleri geri getirmez; öncülünün izin verdiği sayısız olasılık arasından makul bir cevap üretir.

Çoğu zaman bu uydurulmuş detay işe yarayacak kadar yakındır ve tamamen inandırıcı görünür. Ama araştırmacıların iş ters gittiğinde kullandığı özel bir terim vardır: halüsinasyon. Model keskin, kendinden emin ve basitçe yanlış olan detaylar üretebilir. 2017 tarihli dönüm noktası niteliğindeki bir çalışma, Ledig ve arkadaşlarının CVPR'de sunduğu SRGAN, bu ödünleşimi açıkça ortaya koydu. Piksel kusursuzluğu yerine insanların gerçekçi bulduğu görselleri ödüllendiren bir algısal kayıp kullanarak SRGAN, PSNR ve SSIM gibi piksel doğruluğu ölçütlerinde daha kötü puan aldı ama insan izleyiciler tarafından sürekli tercih edildi. Daha keskin ve daha hoş, her zaman daha doğru anlamına gelmez.

Bu sınırlar gerçek dünyada önemlidir. 2024 yılındaki State of Washington v. Puloka davasında bir hâkim, aracın materyal ekleyip değiştirdiğine ve kameranın gerçekten kaydettiğini değil, modelin orada olması gerektiğini düşündüğü şeyi göstermek için belirsiz yöntemler kullandığına dair tanıklığın ardından, yapay zeka ile iyileştirilmiş bir videoyu delil olarak kabul etmeyi reddetti. Delil, bilim ve tıp için doğru görünmek ile doğru olmak aynı iddia değildir.

Parladığı yer: ürün fotoğrafları

E-ticarette amaç genellikle adli doğruluk değil, çekici ve temiz bir ürün görselidir ve yapay zeka büyütmesi tam olarak burada en rahat ettiği alandadır. Küçük bir tedarikçi fotoğrafınız, bir ekran görüntünüz ya da eski bir katalog görseliniz varsa, süper çözünürlük bunu bir pazaryerinin beklediği netliğe doğru taşıyabilir; aradeğerlemenin bulanık bırakacağı kenarlarda ve dokuda netlik geri kazanılır.

En iyi sonucu, girdi yalnızca küçük olan gerçek bir ürün fotoğrafı olduğunda verir; aşırı sıkıştırılmış ya da tanınmayacak kadar bulanık olduğunda değil. Model inandırıcı doku ekler ve izleyici pikselleri denetlemek yerine ürünü değerlendirdiği için uydurulan detay nadiren sorun olur. Dürüst uyarı: minik bir seri numarasını, ambalajdaki ince yazıyı ya da kesin bir deseni okumak için asla büyütmeye güvenmeyin. Model, gerçekte basılı olandan farklı, okunaklı ve makul görünen bir şey üretebilir.

Temiz sonuçlar için pratik ipuçları

Elinizdeki en iyi orijinalden başlayın. Temiz ve net küçük bir fotoğrafı büyütmek, bir ekran görüntüsünün ekran görüntüsünü kurtarmaktan çok daha iyi sonuç verir. Kötü girdi yine kötü çıktı demektir, sadece daha keskin görünen bir kötü çıktı. Karşılaştırıp farklı bir ölçekte yeniden deneyebilmek için kaynağın değiştirilmemiş bir kopyasını saklayın.

Çıktıyı kullanılacağı yere göre ayarlayın. Birçok pazaryerinin asgari ve azami piksel boyutu ile en boy oranı kuralları vardır; bu yüzden hedef boyutunuza büyütmeden önce karar verin. Hiç detay uydurmadan tam bir boyuta ulaşmanın basit ve kayıpsız yolu düz yeniden boyutlandırmadır; ürün görseli yeniden boyutlandırıcımız tam olarak bunu yapar. Orijinalin taşıdığından gerçekten daha fazla netliğe ihtiyacınız olduğunda yapay zeka süper çözünürlüğüne, yalnızca gerekli bir boyuta sığdırmanız gerektiğinde ise yeniden boyutlandırıcıya başvurun.