Part D — 모듈 심화 §12

Computational Photography하드웨어의 한계를 소프트웨어로 넘는 일 — 정렬·병합으로 잡음·동적범위·해상도를 한꺼번에

스마트폰 카메라가 좋아진 건 센서가 아니라 소프트웨어 덕이다. 작은 센서의 한계(잡음·동적범위·해상도)를 여러 장을 찍어 합치는 컴퓨테이셔널 사진으로 넘는다. 손떨림조차 자산이 된다 — 프레임 간 미세 이동을 정렬·병합하면 한 장보다 깨끗하고, 밝고, 선명한 결과가 나온다.

Instrument 01

버스트 정렬·병합

노이즈 ∝ 1/√N

프레임 수 N 8

프레임당 잡음 σ 0.10

장면 (clean)

1 프레임 · —

N 프레임 병합 · —

PSNR 개선— dB

이론치 (10·log₁₀ N)—

프레임 수 N을 올려 보라 — 병합 결과의 잡음이 $\boldsymbol{1/\sqrt{N}}$ 로 줄어 PSNR이 +10·log₁₀N dB 개선된다(8장이면 +9dB). 짧은 노출 여러 장이 긴 노출 한 장보다 모션 블러 없이 빛을 모은다. 이것이 HDR+·Night Sight의 핵심이다. (여기선 정렬을 이상적으로 가정 — 실제 난제는 움직임·가림의 정렬이다.)

12.1 다중프레임 패러다임

정렬하고, 합친다

컴퓨테이셔널 사진의 기본 연산은 **정렬(align) + 병합(merge)**이다. 같은 장면의 여러 관측을 화소 단위로 맞춘 뒤 합치면, 무엇을 어떻게 합치느냐에 따라 다른 이득이 나온다.

같은 노출 N장 → 잡음 1/√N →다른 노출 → HDR (§10) →서브픽셀 이동 → 해상도 (§9) →정렬 실패 → ghost

핵심 난제는 정렬이다. 장면·카메라가 움직이면 단순 평균이 잔상(ghost)을 만든다. 그래서 강건한 정렬(광학흐름·블록매칭)과, 정렬이 틀린 화소를 버리는 robust merge가 관건이다. 이 위에 잡음 제거(§7)·HDR(§10)·초해상(§9)이 다중프레임 버전으로 올라간다.

12.2 고전 정렬·병합 — Bible

스택에서 핸드헬드 병합으로

★Burst Photography for HDR and Low-Light (HDR+)

Hasinoff et al. · SIGGRAPH Asia 2016 · Google · Scholar

핵심: 동일 짧은 노출 버스트를 정렬·robust merge해 잡음↓·동적범위↑. 하이라이트 보호 + 다중프레임 평균. Pixel HDR+의 토대.
왜 ★: 모바일 컴퓨테이셔널 사진의 대표작이자 사실상 표준 파이프라인.

★Handheld Multi-frame Super-resolution

Wronski et al. · SIGGRAPH 2019 · Google · Scholar

핵심: 손떨림의 서브픽셀 이동을 역이용해 다중프레임으로 해상도를 높이고 디모자이크까지 대체(→ §9). Pixel Super Res Zoom.

exposure fusion · 정렬(광학흐름·블록매칭)

Mertens 2007 · 정렬 고전 (→ §10)

요지: exposure fusion: HDR radiance 없이 브래킷을 직접 블렌딩. 정렬은 광학흐름·피라미드 블록매칭으로 — robust merge의 전제.

12.3 딥러닝

정렬·병합을 학습하다

딥러닝은 정렬과 병합을 함께 학습해, 모션·가림에서 더 강건한 다중프레임 복원을 한다.

★Deep Burst Super-Resolution

Bhat, Danelljan, Van Gool, Timofte · CVPR 2021 · arXiv:2101.10997

핵심: 실제 RAW 버스트에서 정렬+융합을 학습해 초해상. BurstSR 데이터셋 공개. 다중프레임 SR의 학습형 대표.

Deep HDR merge · Night Sight

Kalantari 2017 · Liba et al. 2019 (→ §10)

기여: Kalantari: 움직이는 장면의 HDR 병합을 학습해 ghost 억제. Night Sight(Liba 2019): 극저조도 핸드헬드 다중프레임 — 모션 메트릭으로 프레임·노출을 적응 선택.

12.4 최신 SOTA · 2023–2026

트랜스포머 버스트·RAW·신경장

최근은 ① 트랜스포머 버스트 복원(장거리 정렬·융합), ② RAW 버스트 end-to-end, ③ **신경장(NeRF/RawNeRF)**으로 다중프레임을 3D·저조도로 확장하는 흐름이다.

⚐ 빠르게 바뀌는 영역 — 갱신 권장

모바일 컴퓨테이셔널 사진은 제품·논문 모두 빠르게 갱신된다. 수치·기법은 데이터셋(BurstSR 등)·정렬 조건에 의존하므로 출처를 함께 적고 벤더 주장은 ⚠️로 다뤄라.

단일프레임 →robust merge (HDR+) →학습형 버스트(SR/HDR) 트랜스포머·RAW 버스트 신경장(RawNeRF)

12.5 상업화

모든 플래그십의 기본기

Google HDR+ / Night Sight · Apple · 삼성

모바일 다중프레임 (⚠️ 벤더 주장)

특징: ⚠️ 거의 모든 플래그십이 기본 셔터에 다중프레임을 쓴다 — Google HDR+/Night Sight, Apple Deep Fusion/Night, 삼성 다중프레임. “한 번 누르면 여러 장을 찍어 합친다”가 표준. 세부는 비공개·마케팅 주장 주의.

벤치마크는 다중프레임 전용이 적고(BurstSR·실사 버스트), 단일프레임 복원 벤치(§7·§9·§10)에 모션·정렬 조건을 더해 평가한다. “정적 장면 점수”가 실사용(움직임 많은)을 대변하지 못하니 조건을 함께 적어라.

→ 이웃 모듈로

이 다음은

다중프레임은 복원 챕터들의 “여러 장” 버전이다 — 잡음은 §7, 초해상은 §9, 동적범위는 §10, 그리고 광학·깊이로 확장하면 §13.

이어서 읽기

§10 — HDR · 다중프레임 병합 §9 — Super-Resolution · 버스트 SR §13 — Optics · 계산 광학 §7 — Denoising

개인 학습 자료 · ISP & Computational Photography · §12 Computational Photography