Part C — 모듈 심화 §10

HDR실제 장면의 방대한 동적범위를 디스플레이에 압축하는 일 — 하이라이트를 살리고 그림자를 들추는 줄타기

햇빛 든 창과 그늘진 방은 밝기 차가 수만 배지만, 디스플레이는 고작 수백 배만 낸다. HDR은 두 문제다 — 그 넓은 동적범위를 포착하고(노출 브래킷·다중프레임), 그것을 디스플레이에 압축(톤 매핑)하는 것. 압축에서 늘 하이라이트와 그림자 중 무엇을 살릴지 줄타기한다.

Instrument 01

HDR 톤 매핑

12 stop → 디스플레이

노출 0.0 EV

톤 연산자

톤 매핑 결과

톤 곡선 (radiance → 디스플레이)

포화(클립) 픽셀—

이 장면은 계산된 선형 radiance다(약 12스톱 — 8비트 JPEG엔 못 담아서 수치로 생성). clip은 1을 넘는 값을 잘라 태양·하늘이 하얗게 탄다. Reinhard·filmic은 곡선으로 하이라이트를 부드럽게 말아 넣어(roll-off) 클리핑을 줄인다. 노출(EV)을 올리면 그림자가 보이지만 하이라이트 클리핑이 커진다 — 그게 톤 매핑의 본질이다. 오른쪽 곡선이 각 연산자의 radiance→출력 매핑.

10.1 동적범위와 톤 매핑

넓은 radiance를 좁은 디스플레이로

장면의 동적범위는 보통 **스톱(stop, 2배)**으로 잰다. 실외 장면은 흔히 14스톱 이상, 디스플레이는 8비트 sRGB 기준 약 8스톱 남짓이다. 톤 매핑 연산자 $\boldsymbol{f}$ 는 선형 radiance $\boldsymbol{L}$ 을 표시값 $\boldsymbol{[0,1]}$ 로 보낸다:

\boldsymbol{L_{\text{disp}} = f\!\left(L \cdot 2^{\,\text{EV}}\right),\qquad f:[0,\infty)\to[0,1]}

연산자는 둘로 나뉜다. **글로벌(global)**은 모든 픽셀에 같은 곡선을 적용(Reinhard 글로벌·filmic) — 빠르지만 국소 대비를 잃는다. **로컬(local)**은 이웃에 따라 다르게 압축(bilateral·gradient-domain) — 국소 대비를 살리지만 halo가 생길 수 있다. 포착 쪽은 한 장으로 안 되면 노출을 바꿔 여러 장을 찍어 합친다(bracketing → merge, 또는 exposure fusion).

노출 브래킷 →HDR merge (radiance 복원) →톤 매핑 (global/local) →exposure fusion (merge 생략) →단일영상 HDR (학습)

10.2 고전 — Bible

radiance를 되살리고, 곱게 압축하다

★Recovering High Dynamic Range Radiance Maps from Photographs

Debevec & Malik · SIGGRAPH 1997 · Scholar

핵심: 노출이 다른 여러 장으로부터 카메라 응답곡선을 복원하고, 합쳐서 장면의 절대 radiance 맵을 만든다. HDR 캡처의 출발점.
왜 ★: “여러 노출 → 하나의 HDR radiance”라는 패러다임을 연 기념비.

★Photographic Tone Reproduction for Digital Images (Reinhard)

Reinhard, Stark, Shirley, Ferwerda · SIGGRAPH 2002 · Scholar

핵심: 사진 인화의 dodge & burn에서 영감받은 톤 매핑. 글로벌 곡선 $\boldsymbol{L/(1+L)}$ + 로컬 적응. 위 데모의 Reinhard가 이것.
왜 ★: 톤 매핑의 표준 baseline. 그래픽스·게임 파이프라인에 광범위.

Bilateral · Gradient-domain 톤 매핑

Durand & Dorsey 2002 · Fattal et al. 2002 · Scholar

Durand–Dorsey: bilateral로 base/detail을 분해해 base만 압축 → 국소 대비 보존(로컬 톤 매핑의 대표).
Fattal: 그래디언트 도메인에서 큰 그래디언트를 약화시켜 압축 — halo 적게.

★Exposure Fusion

Mertens, Kautz, Van Reeth · Pacific Graphics 2007 · Scholar

핵심: HDR radiance를 만들지 않고, 브래킷 영상들을 대비·채도·노출 적정도 가중으로 직접 블렌딩. 간단·강력해 모바일에서 널리 쓰임.
왜 ★: “merge+tonemap을 건너뛴다”는 실용 패러다임. 스마트폰 HDR의 토대.

10.3 딥러닝

단일 영상에서, 실시간으로

딥러닝은 두 방향이다 — ① 한 장에서 잘린 하이라이트를 복원(single-image HDR), ② 톤 매핑·향상을 실시간 학습형으로(모바일).

★Deep Bilateral Learning for Real-Time Image Enhancement (HDRNet)

Gharbi, Chen, Barron, Hasinoff, Durand · SIGGRAPH 2017 · arXiv:1707.02880

핵심: 저해상에서 bilateral grid의 아핀 변환을 예측하고 고해상에 적용 — 톤·색 향상을 실시간으로. 모바일 학습형 톤/색의 대표.
왜 ★: 학습형 향상을 실시간 모바일로 끌어온 분기점(→ §11 색 렌더링과 직결).

HDRCNN · ExpandNet — 단일영상 HDR

Eilertsen et al. SIGGRAPH Asia 2017 · Marnerides et al. 2018 · arXiv:1710.07480

기여: 한 장의 LDR에서 잘린 하이라이트를 환각으로 복원해 HDR를 추정. 브래킷 없이 HDR을 만들지만, 없는 정보를 생성하므로 충실도 한계.

Deep HDR for Dynamic Scenes (모션 정렬 merge)

Kalantari & Ramamoorthi · SIGGRAPH 2017 · Scholar

기여: 피사체가 움직이는 브래킷에서 정렬+병합을 학습해 ghost 없는 HDR. 실사용 HDR의 핵심 난제(모션)를 정면으로.

10.4 최신 SOTA · 2023–2026

트랜스포머·확산·비디오 HDR

최근은 ① 트랜스포머 HDR merge(ghost 억제), ② 확산 기반 하이라이트 복원, ③ 비디오 HDR과 디스플레이 HDR(HDR10/Dolby Vision) 파이프라인이다.

⚐ 빠르게 바뀌는 영역 — 갱신 권장

HDR merge·single-image HDR은 갱신이 잦다. 수치는 데이터셋(Kalantari·NTIRE HDR)·모션 유무에 의존하므로 출처·조건을 함께 적어라. 복원 백본은 노트 참고.

트랜스포머·확산 HDR merge

ghost-free 정렬 + 생성 prior

요지: 트랜스포머로 노출 간 장거리 정렬을 학습해 모션 ghost를 줄이고, 확산 prior로 과노출 영역을 사실적으로 복원. 충실도-환각 트레이드오프는 §9와 동일하게 주의.

10.5 상업화

폰의 HDR, 디스플레이의 HDR

HDR은 캡처(폰)와 표시(디스플레이) 양쪽에서 상업화됐다.

★Burst Photography for HDR and Low-Light (HDR+)

Hasinoff et al. · SIGGRAPH Asia 2016 · Google Pixel · Scholar

핵심: 동일(짧은) 노출 버스트를 정렬·병합해 잡음을 줄이고 동적범위를 늘린다 — Pixel HDR+의 토대. exposure fusion·다중프레임 SR과 한 가족(→ §12 burst).

Apple Smart HDR · 디스플레이 HDR (HDR10·Dolby Vision)

캡처 + 표시 파이프라인 (⚠️ 벤더 주장)

특징: ⚠️ 폰은 다중프레임 HDR을 기본 촬영에 통합. 표시단은 HDR10/Dolby Vision로 더 넓은 동적범위·색을 내보낸다(메타데이터 기반 톤 매핑). 벤더 주장은 자체 검증 권장.

10.6 벤치마크 · 데이터셋

무엇으로 평가하나

⚠️ 평가의 모호성

HDR 톤 매핑엔 절대 정답이 없다 — 미적 선호가 개입한다(§5 WB와 같음). HDR merge는 모션 ghost 여부가 핵심이라, 정적 장면 점수만으로 판단하지 말 것. HDR-VDP 같은 지각 지표와 데이터셋·모션 조건을 함께 적어라.

데이터셋	도메인	특징	지표
Kalantari 2017	동적 장면 brackets	모션 ghost 평가 표준	HDR-VDP / PSNR-μ
NTIRE HDR	single/multi-frame	챌린지 표준	PSNR-μ
HDR-Eye	톤 매핑 주관평가	사람 선호	주관 MOS
HDR+ Burst	실사 버스트 RAW	모바일 HDR	실사용

HDR-VDP는 사람 시각 모델 기반의 HDR 화질 지표로, 일반 PSNR보다 지각과 잘 맞는다. 톤 매핑 결과는 주관 평가(MOS)도 흔히 병행한다 — “보기 좋음”이 목표라서다.

→ 이웃 모듈로

이 다음은

HDR은 캡처·톤·색이 만나는 곳이다 — 다중프레임 병합은 burst·SR과, 톤/색 향상은 색 렌더링(§11)과, RAW 기반 처리는 ISP(§4)와 직결된다.

이어서 읽기

§11 — Color Rendering · 톤 다음의 색 §9 — Super-Resolution · 다중프레임 §4 — ISP · 파이프라인 §5 — White Balance

개인 학습 자료 · ISP & Computational Photography · §10 HDR