Part C — 모듈 심화 Note

Restoration Backbones복원 백본 — 디노이즈·디블러·초해상·디레인을 함께 푸는 범용 구조 모음 (§7·§8·§9 공유)

디노이징(§7)·디블러링(§8)·초해상(§9)은 서로 다른 손상을 다루지만, 최근 SOTA의 상당수는 같은 네트워크 구조다. 깨끗한 영상의 사전지식을 학습하는 저수준(low-level) 문제라는 공통점 덕분에, 한 백본을 손실·데이터만 바꿔 여러 복원 과제에 재사용한다. 이 노트는 §7·§8·§9가 공유하는 그 복원 백본들을 한곳에 모은다.

1 공유 설계 원리

무엇이 복원 백본을 일반화시키나

복원 백본은 몇 가지 공통 뼈대를 공유한다. 인코더–디코더(U-Net) 와 skip-connection으로 전역 맥락과 디테일을 함께 유지하고, 잔차 학습으로 손상분만 예측하며, 고해상에서 비용을 줄이는 효율적 attention(채널 축 또는 윈도우)을 쓴다. 차이는 주로 “전역 의존성을 어떻게 싸게 모으나”에 있다.

U-Net + 잔차 →윈도우 attention (SwinIR/Uformer) →채널 attention (Restormer) →activation-free (NAFNet) →multi-axis MLP (MAXIM)

왜 한 구조가 여러 과제를 푸나

denoise·deblur·SR·derain은 모두 자연 영상의 prior(엣지·텍스처·반복 구조)를 복원에 쓴다. 저수준 특징이 과제 간 공유되므로, 백본은 그대로 두고 학습 쌍(깨끗함, 손상)만 바꾸면 된다. 그래서 한 논문이 표 하나에 denoise/deblur/derain SOTA를 동시에 싣는 일이 흔하다.

2 대표 백본

계보와 핵심 아이디어

★Restormer: Efficient Transformer for High-Resolution Restoration

Zamir, Arora, Khan, Hayat, Khan, Yang · CVPR 2022 · arXiv:2111.09881

핵심: 채널 축 self-attention(MDTA)으로 고해상에서 전역 맥락을 선형에 가까운 비용으로. gated-Dconv FFN(GDFN). denoise·deblur·derain 다수 SOTA.
수치: SIDD 실잡음에서 강력(≈40.0 dB대) — 단 프로토콜 의존.

★NAFNet: Simple Baselines for Image Restoration

Chen, Chu, Zhang, Sun · ECCV 2022 · arXiv:2204.04676

핵심: 활성함수조차 없는(nonlinear activation-free) 극단적 단순화 — SimpleGate + 단순 채널 attention. 복잡한 트랜스포머에 필적·능가.
수치: SIDD 최상위권(≈40.3 dB대), GoPro 디블러도 강력 — 프로토콜 의존. “단순함이 강하다”의 상징.

★SwinIR: Image Restoration Using Swin Transformer

Liang, Cao, Sun, Zhang, Van Gool, Timofte · ICCVW 2021 · arXiv:2108.10257

핵심: Swin(shifted-window) 트랜스포머를 복원에 이식한 범용 강자. denoise·SR·JPEG 아티팩트 제거에 두루 강함. 트랜스포머 복원의 대중화.

Uformer · MPRNet — U자형 / 다단계

Wang et al. CVPR 2022 · Zamir et al. CVPR 2021 · arXiv:2106.03106

Uformer: U자형 구조에 윈도우 기반 LeWin 블록을 넣어 지역·전역을 효율적으로. denoise·deblur·deraining에 두루.
MPRNet: 여러 단계로 점진 복원하며 단계 간 feature를 교환 — 트랜스포머 백본 이전, CNN 다단계 복원의 정점.

MAXIM · MIRNet — MLP / 다중스케일

Tu et al. CVPR 2022 (Oral) · Zamir et al. ECCV 2020 · arXiv:2201.02973

MAXIM: multi-axis gated MLP로 지역·전역 상호작용을 선형 비용에 — denoise·deblur·dehaze·deraining·enhancement 다수 SOTA.
MIRNet: 다중 스케일 특징을 유지·교환하는 설계로 실잡음·저조도에 강함.

⚠️ 수치 인용 시 주의

같은 백본도 측정 프로토콜(sRGB vs RAW, 전체 vs 크롭, 검증 분할, 자체 학습)에 따라 PSNR이 0.x dB 단위로 달라진다. Restormer ≈40.0 / NAFNet ≈40.3 dB(SIDD)는 리더보드 1~2위가 자주 바뀌는 수준의 차이다 — 순위를 사실로 단정하지 말고 출처·프로토콜을 함께 적어라.

→ 쓰는 곳

이 백본들이 등장하는 단원

같은 구조가 손상 종류만 바꿔 세 단원에 재등장한다.

돌아가기

§7 — Denoising · 실잡음 복원 §8 — Deblurring · 흐림 제거 §9 — Super-Resolution · 초해상

개인 학습 자료 · ISP & Computational Photography · Note — Restoration Backbones