모아둔 자료

Part C — 모듈 심화 §11

Color Rendering화이트밸런스 다음, 센서 RGB를 보기 좋은 표준 색으로 빚는 일 — 과학과 취향이 만나는 마지막 색 단계

화이트밸런스가 광원을 지운 뒤에도 센서 RGB는 아직 그 센서의 색일 뿐, 표준 색이 아니다. 색 렌더링은 센서 RGB를 표준 색공간으로 보내고(CCM), 거기에 보기 좋은 톤·색을 입히는(3D LUT) 마지막 색 단계다. 여기서 과학(측색적 정확도)과 취향(memory color·룩)이 만난다 — 그래서 절대 정답이 없다.

Instrument 01

색 렌더링 — 채도·색조 & 색역

CCM 다음의 색
원본
렌더링 결과
색도 산점 (원본 결과)
평균 채도

채도를 올리면 색도 산점이 중성점(삼각형 중심)에서 바깥으로 퍼진다 — 색역(gamut)을 채우는 방향이다. 색조를 돌리면 구름 전체가 회전한다. 이건 가장 단순한 색 렌더링(채도·색조)일 뿐, 실제로는 CCM(3×3) → 톤 → 3D LUT로 더 정교하게 빚는다. 산점도의 삼각형은 RGB 원색이 만드는 색역 경계다. (데모는 실사 사진의 픽셀 색도를 직접 계산.)

11.1 색공간 · CCM · 3D LUT

센서 색에서 표준 색으로

센서마다 분광감도가 달라 같은 장면도 다른 RGB를 낸다. 이를 표준 색공간으로 보내는 1차 근사가 컬러 보정 행렬(CCM) — 보통 3×3 선형 변환이다.

[RGB]=M[RGB],M=argminMiMciti2\boldsymbol{\begin{bmatrix} R' \\ G' \\ B' \end{bmatrix} = \mathbf{M}\begin{bmatrix} R \\ G \\ B \end{bmatrix},\qquad \mathbf{M}=\arg\min_{\mathbf{M}}\sum_i \lVert \mathbf{M}\,\mathbf{c}_i - \mathbf{t}_i\rVert^2}

M\boldsymbol{\mathbf{M}}은 컬러체커의 패치 측정값 ci\boldsymbol{\mathbf{c}_i}를 목표값 ti\boldsymbol{\mathbf{t}_i}에 맞추는 최소제곱으로 구한다. 하지만 3×3은 선형이라 한계가 있다 — 채널 간 비선형 상호작용, 채도별 색 변화(memory color), 룩(look)은 못 담는다. 그래서 그 뒤에 3D LUT(RGB→RGB 비선형 매핑)로 색을 자유롭게 빚는다.

또 하나의 축은 **색공간(gamut)**이다. sRGB는 좁고, Display-P3·AdobeRGB는 넓고, Rec.2020은 더 넓다. 넓은 색역에서 좁은 디스플레이로 보낼 땐 gamut mapping으로 색을 접어 넣어야 한다(클리핑하면 색이 뭉친다).

sensor RGB CCM (3×3 → XYZ/sRGB) tone curve 3D LUT (룩) gamut mapping 출력 색공간 (sRGB/P3/Rec2020)
정확한 색 vs 보기 좋은 색

측색적으로 정확한 색(ΔE 최소)과 사람이 선호하는 색은 다르다 — 하늘은 더 파랗게, 피부는 더 건강하게, 잔디는 더 푸르게(memory color). 제품 색 튜닝은 정확도와 선호 사이의 의도적 선택이며, 색순응(CAT16/CAM16)은 §1 색채과학과 직결된다.

11.2 고전 — Bible

행렬·LUT·색역의 도구상자

컬러 보정 행렬(CCM) — 최소제곱 피팅
컬러체커 기반 색 보정의 표준
방법
알려진 색(컬러체커 24/140 패치)을 촬영해, 센서 RGB를 목표 색공간에 맞추는 3×3(또는 다항·root-polynomial) 행렬을 최소제곱으로 구한다. 화이트밸런스 직후 단계.
한계
선형이라 채도 의존·메타메리즘을 못 잡음 → 고차 다항/LUT로 보완.
색공간 · 3D LUT · gamut mapping
sRGB(IEC 61966) · DCI-P3 · Rec.2020 · ICC
색공간
sRGB(웹 표준, 좁음) → Display-P3(폰·디스플레이) → AdobeRGB(인쇄) → Rec.2020(UHD, 매우 넓음). 각자 원색·백색점이 다르다.
3D LUT
RGB→RGB 비선형 매핑 격자. film simulation·룩을 한 LUT에 담는다. 보간(trilinear/tetrahedral)으로 적용.
gamut mapping
넓은 색역 → 좁은 색역으로 색을 접어 넣기(perceptual/relative). 클리핑하면 채도 높은 색이 뭉친다.
색순응 · 색채과학 연결 (CAT16/CAM16)
von Kries → Bradford → CAT16 · → §1
맥락
”대각 WB가 언제 부정확한가”는 LMS/Bradford 색순응으로 정량화되고(→ §5), 색의 외관(appearance)은 CAM16으로 모델링된다. 색 렌더링의 이론적 토대(→ §1 색채과학).
11.3 딥러닝

색을 데이터로 빚다

딥러닝은 손튜닝하던 CCM·LUT·룩을 (입력, 전문가 보정) 쌍으로 학습한다. 핵심은 효율 — 색 렌더링은 고해상·실시간이어야 하므로, 저해상에서 변환을 예측해 고해상에 적용하는 구조가 많다.

HDRNet (2017) Deep Photo Enhancer (2018) Image-Adaptive 3D LUT (2020) CSRNet (2020)
Learning Image-Adaptive 3D LUTs for Photo Enhancement
Zeng, Cai, Li, Cao, Zhang · IEEE TPAMI 2020 · arXiv:2009.14468
핵심
여러 기본 3D LUT를 학습하고, 작은 CNN이 이미지마다 그들을 가중 결합해 적응형 LUT를 만든다. LUT 적용은 거의 공짜라 실시간·고해상.
왜 ★
고전 LUT의 효율과 학습의 적응성을 결합 — 학습형 색 렌더링의 대표.
HDRNet · Deep Photo Enhancer · CSRNet
Gharbi 2017 · Chen et al. CVPR 2018 · He et al. ECCV 2020 · arXiv:1707.02880
기여
HDRNet: bilateral grid로 실시간 톤·색 향상(→ §10). DPE: 비대칭(unpaired) 학습으로 전문가 룩. CSRNet: 아주 가벼운 글로벌 색 변조로 효율 극대화.
11.4 최신 SOTA · 2023–2026

트랜스포머·확산·개인화 룩

최근은 ① 트랜스포머/신경 LUT로 더 정교한 색, ② 확산 기반 색·톤 스타일라이즈, ③ 개인화·텍스트 조건 룩이다. 색 렌더링은 미적 선호가 개입해, “정확도”보다 “선호 일치”가 점점 목표가 된다.

⚐ 빠르게 바뀌는 영역 — 갱신 권장

학습형 색 렌더링·retouching은 갱신이 잦다. 수치는 데이터셋(FiveK·PPR10K)과 평가 지표(ΔE vs 사용자 선호)에 의존하므로 함께 적어라. 백본 구조는 노트 참고.

신경 LUT · 확산 색 스타일라이즈
transformer/diffusion 기반 색 렌더링
요지
적응형 LUT를 트랜스포머로 더 정밀하게, 또는 확산 prior로 스타일·룩을 생성. 텍스트·레퍼런스 조건의 개인화 색 보정이 떠오르는 흐름.
11.5 상업화

색이 곧 브랜드

색 렌더링은 카메라 제조사의 정체성이다 — 같은 센서라도 색 룩이 브랜드를 가른다.

카메라 색 과학 · film simulation
Fuji · Canon · Apple · 삼성 색 룩
특징
Fujifilm film simulation(Velvia/Classic Chrome 등)은 3D LUT 기반 룩의 대표. 각 사는 고유 color science로 피부·하늘·녹지를 다르게 빚는다 — 측색 정확도보다 브랜드 룩이 목표.
디스플레이 색 관리 · 와이드 색역
ICC 프로파일 · Display-P3 · HDR 색
특징
촬영(P3/Rec.2020)부터 표시까지 색 관리(ICC/색공간 태깅)로 일관된 색을 유지. 와이드 색역·HDR 색은 §10 HDR과 함께 디스플레이 파이프라인을 이룬다.
11.6 벤치마크 · 데이터셋

정확도와 선호, 둘 다

⚠️ ΔE와 선호는 다르다

색 렌더링 평가는 측색 정확도(ΔE2000)사람 선호(MOS·전문가 보정 일치)가 갈린다 — 정확한 색이 늘 선호되는 건 아니다(memory color). 또 출력 색공간·디스플레이에 따라 같은 데이터도 달라지니, 어느 색공간·어느 지표인지 명기하라.

데이터셋도메인특징지표
MIT-Adobe FiveKRAW + 전문가 5인 보정색·톤 향상 표준ΔE / PSNR
PPR10K
2021
인물 retouching대규모·인물 마스크ΔE / 선호
ColorChecker측색 기준 차트CCM 피팅·정확도ΔE2000
HDR+ / 자체 룩셋제품 색 튜닝브랜드 룩 평가주관 MOS

색 정확도는 ΔE2000(지각 균등 색차)로 재고, 룩·향상은 전문가 보정과의 거리나 주관 선호로 잰다. 컬러체커 GT는 §5의 버전 주의(recommended GT)와 같은 함정이 있으니 출처를 확인하라.

이웃 모듈로

이 다음은

색 렌더링은 색 사슬의 끝이자, 색채과학으로 돌아가는 고리다 — 색순응(CAT16)은 §1, 그 앞 단계인 화이트밸런스는 §5, 톤은 §10, 전체 지도는 §4 ISP다.

개인 학습 자료 · ISP & Computational Photography · §11 Color Rendering