Part C — 모듈 심화 §6

Demosaicing픽셀마다 한 색만 잰 Bayer 모자이크에서 나머지 두 색을 복원하는 일 — 엣지에서 색이 새어 나온다

컬러 센서는 사실 흑백이다. 각 픽셀 위에 빨강·초록·파랑 중 하나의 색 필터(CFA)만 얹혀 있어, 픽셀마다 색 하나만 측정한다. 나머지 두 색은 이웃에서 추정해야 한다 — 이것이 디모자이킹이다. 보간이 엣지를 잘못 읽으면 없던 색이 새어 나오고(false color), 격자무늬가 깜빡인다(zipper).

Instrument 01

Bayer 디모자이킹

보간 방식 → 아티팩트

보간 방식

Bayer 모자이크 (RGGB)

디모자이크 결과

정답 (full RGB)

PSNR— dB

아티팩트—

bilinear은 같은 색 이웃을 그냥 평균해서, 엣지를 가로질러 섞어 버린다 → 등대 난간·울타리에 무지개빛 false color와 지퍼 무늬. 방향성은 그래디언트가 작은 방향(엣지를 따라)으로만 보간하고 **색차(C−G)**로 채워 false color를 크게 줄인다. 같은 모자이크인데 보간만 바꿔 PSNR과 아티팩트가 달라진다. (데모는 설명을 위해 감마 공간에서 보간 — 실제는 선형 RAW에서.)

6.1 CFA와 아티팩트 — 왜 초록이 두 배인가

절반은 초록, 색은 엣지에서 샌다

가장 흔한 Bayer CFA는 2×2 타일에 R·G·G·B를 깔아 초록을 두 배 샘플링한다. 사람 눈의 휘도 민감도가 녹색 대역에 몰려 있어, 녹색을 촘촘히 재면 해상감이 좋아지기 때문이다. 측정값은 픽셀당 한 채널뿐이라:

\boldsymbol{I_{\text{CFA}}(\mathbf{x}) = I_{c(\mathbf{x})}(\mathbf{x}),\qquad c(\mathbf{x})\in\{R,G,B\}}

나머지 두 채널은 추정한다. 어려움은 엣지에 있다 — 채널 간 상관(색은 보통 휘도를 따라 함께 변함)을 무시하고 각 채널을 독립 보간하면, 엣지를 가로질러 색이 어긋나 false color가 뜨고, 고주파 패턴에서 moiré가 접혀 들어온다. 그래서 좋은 디모자이커는 ① 엣지 방향을 따라 보간하고 ② 색차(color difference)가 매끄럽다는 가정을 쓴다.

Bayer RGGB →채널별 독립 보간 → false color →엣지 방향 보간 →색차 평활 (C−G) →joint denoise+demosaic

6.2 고전 보간 — Bible

선형에서 적응형으로

Bilinear · 색차(color-difference) 보간

디모자이킹의 baseline

bilinear: 같은 색 이웃의 단순 평균. 빠르지만 엣지에서 zipper·false color가 심하다(위 데모의 bilinear).
색차 보간: R−G, B−G가 천천히 변한다는 가정으로 색차를 보간한 뒤 G를 더한다. false color를 크게 줄이는 핵심 아이디어.

★High-Quality Linear Interpolation for Demosaicing (Malvar–He–Cutler)

Malvar, He, Cutler · ICASSP 2004 · Scholar

핵심: 한 채널을 보간할 때 다른 채널의 2차 그래디언트(라플라시안)로 보정하는 5×5 선형 필터. 단순 선형인데도 품질이 크게 좋아져 가장 널리 쓰이는 baseline.
왜 ★: 실용 ISP·라이브러리(예: OpenCV)의 기본격. “선형인데 충분히 좋다”의 표준.

★Adaptive Homogeneity-Directed Demosaicing (AHD)

Hirakawa & Parks · IEEE TIP 2005 · Scholar

핵심: 수평·수직 두 방향으로 각각 보간한 뒤, 더 균질한(homogeneous) 쪽을 픽셀마다 고른다. 엣지 방향 적응의 대표작.
왜 ★: 방향 적응 디모자이킹의 고전. dcraw 등 RAW 현상기의 고품질 옵션.

DLMMSE · 주파수 영역 · 잔차 보간

Zhang & Wu 2005 · Alleysson 2005 · Scholar

스펙트럼: DLMMSE(Zhang–Wu): 방향별 색차를 LMMSE로 추정. 주파수 영역(Alleysson): 휘도·색차가 주파수에서 분리됨을 이용. residual interpolation: 보간 잔차를 다시 보간해 정밀도↑.

6.3 딥러닝

디모자이크와 디노이즈를 함께

딥러닝의 결정적 통찰은 디모자이킹과 디노이징을 따로 풀지 말라는 것이다. RAW는 모자이크된 동시에 잡음이 있어, 둘을 순차로 풀면 한쪽이 다른 쪽을 망친다. 공동으로 학습하면 어려운 케이스(고주파·moiré)에서 크게 앞선다.

★Deep Joint Demosaicking and Denoising

Gharbi, Chaurasia, Paris, Durand · SIGGRAPH Asia 2016 · arXiv:1611.07491

핵심: 디모자이크와 디노이즈를 하나의 CNN으로 공동 학습. 기존 방법이 실패하는 어려운 패치(moiré·고주파)를 모으는 데이터셋으로 학습해 false color·zipper를 크게 억제.
왜 ★: “joint restoration”을 디모자이킹에 정착시킨 대표작. 이후 RAW 복원 흐름의 토대.

Iterative · 잔차 학습형 디모자이킹

Kokkinos & Lefkimmiatis · ECCV 2018 · arXiv:1803.05215

기여: 디모자이킹을 역문제 + 학습된 prior의 반복 최적화로 풀어, 해석성과 성능을 절충. majorization-minimization 전개를 신경망으로.

6.4 최신 SOTA · 2023–2026

RAW 복원 파이프라인의 일부로

디모자이킹은 이제 독립 문제라기보다 RAW 복원 파이프라인(디노이즈·디모자이크·SR·WB)의 한 단계로 공동 처리된다. 범용 복원 백본(Restormer·NAFNet)과 트랜스포머가 joint RAW 복원에 이식된다.

⚐ 빠르게 바뀌는 영역 — 갱신 권장

joint RAW 복원·새 CFA(Quad-Bayer 등) 대응은 갱신이 잦다. 수치는 CFA 종류·잡음 수준·데이터셋에 의존하므로 출처·조건을 함께 적어라. 구조 비교는 복원 백본 노트 참고.

Joint RAW 복원 · 새 CFA 대응

transformer / 백본 기반 joint pipeline

요지: 디모자이크를 디노이즈·SR과 한 네트워크로 공동 처리(→ §7·§9). 스마트폰의 Quad-Bayer/Tetracell 같은 비표준 CFA의 재모자이크(remosaic)·디모자이크도 학습형으로.

6.5 상업화

모든 센서에 들어있다

디모자이킹은 CFA 센서를 쓰는 거의 모든 카메라의 ISP에 하드웨어로 박혀 있다.

하드웨어 디모자이크 · 스마트폰 Quad-Bayer

ISP 내장 · 픽셀 비닝

특징: SoC ISP가 실시간 디모자이크. 스마트폰 고화소 센서는 Quad-Bayer/Tetracell/Nona(2×2·3×3 같은 색 묶음)로 깔고, 저조도엔 비닝, 고해상엔 remosaic으로 전환한다.

대안 CFA — Fuji X-Trans · Foveon

비-Bayer 색 캡처

특징: X-Trans(Fujifilm): 6×6 비주기 배열로 moiré를 줄이지만 전용 디모자이크 필요. Foveon: 깊이별 3색을 한 픽셀에서 모두 측정해 디모자이킹 자체가 불필요(대신 다른 트레이드오프).

6.6 벤치마크 · 데이터셋

어려운 패치로 평가하기

⚠️ 데이터셋·도메인 주의

디모자이킹 성능은 테스트셋의 고주파 함량에 크게 좌우된다. 부드러운 Kodak에선 차이가 작아도, 고주파가 많은 McMaster(IMAX)에선 방법 간 격차가 크게 벌어진다. 또 선형 RAW vs 감마 sRGB, 잡음 유무에 따라 수치가 달라지니 조건을 함께 적어라.

데이터셋	특징	난이도	용도
Kodak (24장)	고전 표준, 비교적 부드러움	중	classic
McMaster (IMAX)	채도·고주파 높음	높음	hard
MSR Demosaicing Khashabi 2014	실제 RAW + 잡음	높음	joint
Gharbi HDR+ hard patches	moiré·실패 케이스 수집	매우 높음	deep 학습

평가는 보통 PSNR/SSIM에 색 아티팩트 전용 지표(예: false-color 영역의 CPSNR, zipper 측정)를 더한다. “부드러운 셋에서 PSNR 1등”이 어려운 셋에서도 1등은 아니다 — §9 SR과 같은 데이터셋 의존성.

→ 이웃 모듈로

이 다음은

디모자이킹은 RAW 도메인의 한 단계다 — 앞의 화이트밸런스(§5)와 뒤의 디노이즈(§7)와 함께 풀 때 가장 좋고, 같은 복원 백본을 공유한다.

이어서 읽기

§7 — Denoising · joint denoise+demosaic §5 — White Balance §4 — ISP · 파이프라인 지도 Note — 복원 백본

개인 학습 자료 · ISP & Computational Photography · §6 Demosaicing