Super-Resolution저해상에서 잃어버린 고주파를 그럴듯하게 되살리는 일 — PSNR이 높을수록 더 흐릿한 역설

초해상은 없는 것을 지어내는 기술이다. 다운샘플은 고주파를 돌이킬 수 없게 버리므로, 한 저해상 영상에 대응하는 고해상 영상은 무수히 많다(ill-posed). 따라서 SR은 “복원”이라기보다 그럴듯한 디테일의 합성이며, 여기서 충실도(원본과 같은가)와 지각 품질(자연스러운가)이 정면으로 충돌한다.

충실도를 높일수록 흐릿해지는 역설

저해상 관측은 고해상 $\boldsymbol{x}$를 흐리고(블러 $\boldsymbol{k}$) 줄이고(다운샘플 $\boldsymbol{\downarrow_s}$) 잡음을 더한 결과다.

이 연산은 정보를 버리므로 역은 여럿이다. 픽셀 MSE를 최소화하는 추정(PSNR 최적)은 가능한 모든 정답의 평균으로 수렴하고, 평균은 곧 흐릿함이다 — 그래서 PSNR 1등이 가장 뿌옇다. 반대로 GAN·확산은 그럴듯한 고주파를 합성해 선명하지만, 그 디테일은 원본과 다를 수 있다(환각). Blau & Michaeli(CVPR 2018)는 이를 perception–distortion tradeoff로 정식화했다 — 왜곡(distortion)을 낮추는 것과 지각 품질(perception)을 높이는 것은 동시에 불가능하며, 둘 사이엔 넘을 수 없는 하한 곡선이 있다.

보간에서 예제 기반으로

딥러닝 이전 SR은 ① 신호처리적 보간, ② 외부 DB의 패치를 가져오는 예제 기반, ③ 한 영상 내부의 반복을 쓰는 self-similarity로 나뉘었다.

CNN, sub-pixel, 그리고 GAN의 분기

딥러닝 SR은 두 갈래로 갈라진다 — distortion 지향(PSNR을 올리는 회귀망)과 perception 지향(GAN으로 선명함을 합성). 이 분기가 곧 §9.1의 tradeoff다.

distortion 지향 — PSNR을 올리다

perception 지향 — 선명함을 합성하다

실세계 열화 · 트랜스포머 · 확산

최근 흐름은 셋이다. (1) 실세계 SR — 깨끗한 bicubic 열화 대신 복잡한 실제 열화를 모델링(Real-ESRGAN·BSRGAN). (2) 트랜스포머 백본 — SwinIR·HAT가 전역 맥락으로 PSNR·지각 동시 개선. (3) 확산 prior — 강력한 생성 prior로 사실적 디테일을 합성(SR3·StableSR·ResShift).

제품 속의 초해상

SR은 디지털 줌과 영상 업스케일로 가장 널리 상업화됐다.

두 종류의 지표로 평가하기

이 다음은

초해상은 디노이징·디블러링과 한 가족이다 — 같은 복원 백본을 공유하고, “사라진 고주파를 합성한다”는 점에서 디블러링과 직결되며, 다중프레임 SR은 burst 파이프라인으로 이어진다.

개인 학습 자료 · ISP & Computational Photography · §9 Super-Resolution