Deblurring점이 번진 흔적(PSF)을 알아내고 되돌리는 일 — 정보가 사라진 주파수를 어떻게 메우나

흐림은 잃어버린 정보의 문제다. 카메라 흔들림·초점 이탈·피사체 운동은 한 점의 빛을 이웃으로 번지게 한다(convolution). 그 번짐 커널(PSF)을 안다 해도 되돌리기는 쉽지 않다 — 번짐은 어떤 주파수를 완전히 0으로 지워버리고, 0으로 나눌 수는 없기 때문이다. 디블러링은 “PSF가 무엇인가”와 “사라진 주파수를 무엇으로 메우나”라는 두 질문의 기술이다.

번짐은 곱셈이 된다 (주파수에서)

공간 불변(shift-invariant) 흐림은 깨끗한 영상 $\boldsymbol{x}$와 점퍼짐함수(PSF) $\boldsymbol{k}$의 convolution에 잡음 $\boldsymbol{n}$이 더해진 것이다.

푸리에 영역에서 convolution은 곱셈이 된다. OTF $\boldsymbol{H=\mathcal{F}\{k\}}$에 대해

이 소박한 역필터는 $\boldsymbol{H\approx0}$인 주파수에서 $\boldsymbol{Y/H}$가 폭발한다 — 잡음 $\boldsymbol{N}$이 무한히 증폭되고 **링잉(ringing)**이 생긴다. Wiener 필터는 이 나눗셈을 신호대잡음비 $\boldsymbol{\mathrm{SNR}}$로 정규화해 길들인다:

$\boldsymbol{1/\mathrm{SNR}}$ 항(아래 실험의 정규화 $\boldsymbol{K}$)이 영점 근처에서 분모가 0이 되는 것을 막는다. 작게 잡으면 선명하지만 링잉·잡음이 터지고, 크게 잡으면 안전하지만 흐릿하다 — 디블러링은 늘 이 선명함 vs 안정성의 줄타기다. (평가 지표는 §7과 같다 — PSNR은 과평활을 선호하므로 LPIPS 등 지각 지표를 함께 본다.)

PSF를 알 때, 그리고 모를 때

흐림 제거는 두 갈래다. non-blind(PSF를 안다)는 안정적 역필터의 문제이고, blind(PSF도 추정한다)는 영상과 커널을 동시에 푸는 훨씬 어려운 ill-posed 문제다. 이 고전들은 지금도 baseline·해석·초기화로 살아있다.

커널을 버리고, 끝에서 끝으로

딥러닝은 PSF 추정을 우회했다. 흐림→선명을 (흐림, 선명) 쌍으로 직접 회귀하면, 공간 가변·비선형 운동 흐림처럼 단일 커널로 표현 안 되는 경우까지 한 번에 푼다. GoPro 데이터셋이 이 전환의 기폭제였다.

주파수 트랜스포머 · 확산 · 실세계 흐림

최근 흐름은 셋이다. (1) 주파수 영역 트랜스포머 — 흐림이 주파수에서 곱셈이라는 §8.1의 사실을 구조에 직접 넣는다(FFTformer). (2) 확산 prior — 사라진 고주파를 합성해 지각 품질을 높인다(충실도와 트레이드오프). (3) 실세계 흐림 — 합성 GoPro와 실제 흔들림의 도메인 갭을 메운다.

제품 속의 디블러

흐림 제거는 디노이즈만큼 흔하진 않지만, 손떨림 보정과 컴퓨테이셔널 파이프라인 곳곳에 들어있다.

합성 흐림과 실제 흐림

이 다음은

디블러링은 디노이징·초해상과 모델·사고를 공유한다. 같은 백본이 세 문제를 함께 풀고(복원 백본 노트), 사라진 고주파를 합성한다는 점에서 초해상과 한 몸이다.

개인 학습 자료 · ISP & Computational Photography · §8 Deblurring