Yapay Zeka Fotoğraf Kalitesini Nasıl Artırır: Gürültü, Renk ve Netlik

Kurallardan öğrenilmiş örüntülere

Onlarca yıl boyunca bir fotoğrafı iyileştirmek sabit matematiksel kurallar uygulamak demekti: tanecikleri yumuşatmak için komşu pikselleri ortalamak, daha net görünmesi için kenarları belirginleştirmek, bir renk tonunu nötrlemek için kanalları kaydırmak. Bu yöntemler işe yarar ama gerçek detay ile gürültüyü ayırt edemez, bu yüzden korumak istediğiniz şeyleri de yumuşatma eğilimindedir.

Modern görüntü iyileştirme ise veriden öğrenir. Bir sinir ağına milyonlarca örnek görüntü çifti gösterilir ve ağ, temiz, doğru pozlanmış ve renkleri doğru fotoğrafların nasıl göründüğünü kademeli olarak öğrenir. Tek bir katı formülü izlemek yerine, önündeki resmin en olası iyi sürümünü tahmin eder. SIAM Journal on Imaging Sciences dergisindeki bir derleme, bu değişimi gürültü gidermede bir devrim olarak tanımlar; hem sonuçları iyileştiren hem de ele alınabilen problem yelpazesini genişleten bir devrim.

Hesaplamalı fotoğrafçılığın motoru budur: telefon ya da yazılım yalnızca ışığı yakalamakla kalmaz, sahnenin muhtemelen nasıl göründüğüne dair milyonlarca küçük tahmin yapar.

Gürültü giderme: sinyali tanecikten ayırmak

Gürültü, az ışıkta ya da yüksek ISO değerlerinde gördüğünüz rastgele benektir; kamera zayıf bir sinyali yükselttiğinde ortaya çıkar. Yapay zeka tabanlı gürültü gidericiler genellikle aynı sahnenin gürültülü ve temiz sürümlerinden oluşan çiftlerle eğitilir, böylece model temiz sinyali tahmin etmeyi ve rastgele değişimi atılacak gürültü olarak görmeyi öğrenir. Çok sayıda gerçek dokuyu gördüğü için, eski bulanıklaştırma temelli filtrelerin siler gibi yumuşatacağı ince detayı koruyarak taneciği temizleyebilir.

Kusursuz bir temiz referans bulunmadığında bile bu modelleri eğitmenin akıllıca yolları vardır. Noise2Noise, aynı sahnenin iki farklı gürültülü çekiminden öğrenir; çünkü gerçek detay tutarlı kalırken gürültü rastgele değişir. Noise2Void ve Noise2Self bir adım öteye geçer ve tek bir gürültülü görüntüden öğrenir: bir pikseli gizleyip ağdan onu komşularından tahmin etmesini ister, böylece ağın gürültüyü olduğu gibi geri kopyalaması engellenir.

Ürün fotoğrafları için pratik faydası gerçektir: loş bir depoda hızlıca çekilen bir kare çöpe atılmak yerine kabul edilebilir görünecek kadar temizlenebilir.

Renk ve beyaz dengesi: ışığı tahmin etmek

Gözleriniz kendiliğinden uyum sağlar, bu yüzden beyaz bir gömlek hem sıcak iç mekan ampulü altında hem de serin gün ışığında beyaz görünür. Kamera sensörlerinde bu yetenek yoktur, bu yüzden cihazın ışığın rengini düzeltmesi gerekir. Buna renk sabitliği denir ve günlük karşılığı otomatik beyaz dengesidir.

Zor olan kısım şudur: kamera, ışık kaynağının rengini yalnızca fotoğrafa bakarak tahmin etmeli ve sonra o tonu iptal etmelidir. Araştırmacılar bunu, sensörün sahne aydınlatmasına verdiği tepkiyi tahmin etmek olarak tanımlar ve son yaklaşımlar bu tahmini farklı kameralar ve aydınlatmalarda, az ışıklı zorlu sahneler dahil, daha doğru kılmak için derin öğrenmeyi kullanır.

İşe yaradığında ürününüz gerçek renginde görünür. Yanlış olduğunda sarı ya da mavi bir ton oluşur ki bu, alıcıların ilanda yazan renge uymasını beklediği giyim veya kozmetik gibi ürünlerde büyük önem taşır.

Netleştirme ve bulanıklık giderme: kenarları yeniden kurmak

Netleştirme kenarları daha keskin gösterir; bulanıklık giderme ise kaçan bir odak ya da el titremesinden kaynaklanan yumuşaklığı geri almaya çalışır. Her ikisinin yapay zeka sürümleri, keskin kenarların ve dokuların genellikle nasıl göründüğünü öğrenmiştir, bu yüzden yalnızca kenarlardaki kontrastı abartmak yerine makul detay yeniden kurabilirler.

Süper çözünürlük bunun en çarpıcı örneğidir: bir görüntünün piksel sayısını artırır ve hiç yakalanmamış detayı doldurur. Bunu, eğitim sırasında öğrendiği örüntülerden yüksek çözünürlüklü detay tahmin ederek yapar. Bu güçlüdür ama dürüstlüğün en çok önem taşıdığı yer de burasıdır.

Dürüst sınır: tahmin eder, gerçeği geri getirmez

Yukarıdaki her teknik bilgili bir tahmindir. Gürültü, kötü odak ya da düşük çözünürlük yüzünden kaybolan bilgi gerçekten gitmiştir ve model bu boşluğu, gerçek eksik veriyle değil, eğitimine dayanarak istatistiksel olarak en olası yanıtla doldurur.

Genellikle bu tahmin yardımcı olur. Bazen olmaz. Araştırmacılar, bir modelin inandırıcı görünen ama aslında yanlış olan detay uydurmasını süper çözünürlük halüsinasyonu olarak tanımlar. Bu yüzden bu araçlar adli ve tıbbi görüntülemede temkinle ele alınır ve aşırı büyütülmüş bir fotoğraf, aslında hiç var olmamış doku ya da özellikler gösterebilir. Ayrıca görüntü kalitesi puanları, sonuç gerçekte daha iyi görünmeden ya da kusursuz olmadan da yükselebilir.

E-ticaret için kural basittir: iyileştirme gerçek bir ürünü daha kolay görünür kılmalı, alıcının eline geçmeyecek özellikler asla uydurmamalıdır. Renderivo olarak bu ayrıma güveniriz. Arka planı temizlemek, beyaz bir fonu standartlaştırmak ya da kareyi düzgün biçime sokmak sunumu değiştirir, ürünü değil; böylece müşterinin gördüğü dürüst kalır. Dışa aktarırken bir görüntü sıkıştırıcı, korumak için emek verdiğiniz detayı atmadan dosyaları küçük tutar.