Part A — 모듈 심화 §2

Image Sensor광자를 세어 전압으로, 전압을 비트로 — RAW가 태어나는 물리와 잡음의 출처

RAW는 센서가 광자를 센 결과다. 각 화소의 광다이오드가 빛을 전자로 바꾸고(광전효과), 그 전자를 모아 전압으로, 전압을 ADC가 비트로 바꾼다. 이 사슬의 모든 단계가 잡음과 한계를 더한다 — shot noise, read noise, full-well 포화, 양자화. 디노이즈·HDR·디모자이크가 다루는 “현실”이 바로 여기서 만들어진다.

Instrument 01

센서 캡처 — 노출·잡음·양자화

장면 → RAW 전자수

노출 0.0 EV

read 잡음 8 e⁻

ADC 비트

장면 (clean)

RAW 캡처

중간조 SNR— dB

클리핑(포화)—

노출을 내려 보라 — 전자 수가 적어 read 잡음이 지배하면서 그림자가 거칠어진다(SNR↓). 올리면 하이라이트가 full-well에 부딪혀 **포화(클리핑)**된다. ADC 비트를 8로 내리면 어두운 영역에 계단(posterization)이 생긴다. 좋은 노출은 이 셋의 줄타기다. RAW의 분산은 §7 디노이즈의 $\boldsymbol{\mathrm{Var}(y)=ax+b}$ 로 이어진다.

2.1 광전 변환 — 광자에서 비트로

빛을 세는 양자화기

화소가 받은 광자 중 일부가 전자로 변환된다(비율 = 양자효율 QE). 모인 전자는 노출 시간 동안 full-well capacity까지 쌓이고, 그 위는 포화된다. 전압으로 읽은 뒤 **gain(ISO)**으로 증폭하고 ADC가 $\boldsymbol{2^{\text{bit}}}$ 단계로 양자화해 디지털 수(DN)를 만든다.

\boldsymbol{e^- = \mathrm{QE}\cdot N_{\text{photon}},\qquad \mathrm{DN} = \left\lfloor \frac{g\cdot e^-}{\text{full-well}}\,(2^{\text{bit}}-1) \right\rceil}

핵심 트레이드오프는 동적범위(dynamic range) — 가장 밝은 신호(full-well)와 가장 어두운 식별 가능 신호(read noise floor)의 비다. 이것이 한 장으로 담을 수 있는 명암 범위를 정하고, 부족하면 §10 HDR로 여러 노출을 합친다.

\boldsymbol{\mathrm{DR} = 20\log_{10}\!\frac{\text{full-well}}{\sigma_{\text{read}}}\ [\mathrm{dB}]}

2.2 잡음의 출처

어디서 잡음이 생기나

센서 잡음은 한 종류가 아니다. shot noise는 광자 계측의 물리(Poisson)라 밝을수록 절대량이 커지고(신호 비례), read noise는 회로에서 신호와 무관하게 더해진다(Gaussian). 그 밖에 dark current(열전자, 장노출·고온에서↑), PRNU/DSNU(화소별 이득·오프셋 불균일), 양자화 잡음이 있다.

shot (Poisson, 신호비례) →read (Gauss, 일정) →dark current (열·시간) →PRNU/DSNU (불균일) →양자화 (ADC)

잡음 모델 — Poisson–Gaussian & 보정

센서 잡음의 표준 모델 (→ §7)

모델: RAW 잡음은 신호비례 shot + 일정 read로 분산이 밝기에 선형: Var(y)=a·x+b. 디노이즈·천문·현미경의 출발점.
보정: 흑준위(black level) 감산·PRNU/DSNU 평탄화·dark frame 차감이 ISP 맨 앞에서 RAW를 정돈한다(→ §4).

왜 RAW에서 처리하나

RAW는 선형이고 잡음이 백색이라 위 물리 모델이 정확히 맞는다. sRGB로 가면 톤·디모자이크·압축이 통계를 망쳐 잡음이 비백색·상관·비선형이 된다 — 그래서 디노이즈·디모자이크는 RAW에서 풀수록 유리하다(→ §6·§7).

2.3 CFA와 리드아웃

색을 어떻게 재고, 어떻게 읽나

흑백 센서에 색을 입히려 화소마다 색 필터를 얹은 것이 CFA(Color Filter Array), 그 표준이 Bayer(R·G·G·B, 초록 2배)다 — 색은 이렇게 모자이크로 측정되고 나중에 보간된다(→ §6). 화소 위 마이크로렌즈가 집광하고, **BSI(후면조사)**가 감도를 높인다.

리드아웃 방식도 중요하다. 대부분의 CMOS는 행을 순차로 읽는 rolling shutter라, 빠른 움직임에서 젤로(jello)·왜곡이 생긴다. global shutter는 전 화소를 동시에 노출해 이를 없애지만 비싸다. (CCD는 전역적이지만 전력·속도에서 CMOS에 밀려 대부분 대체됨.)

★Bayer CFA

Bryce Bayer · Kodak · US Patent 1976

핵심: 2×2 타일에 RGGB를 깔아 초록을 두 배 샘플링 — 휘도 해상감을 살린다. 50년째 사실상 표준 CFA. 디모자이킹의 전제(→ §6).

rolling vs global shutter · CMOS/CCD

센서 아키텍처

요지: rolling: 행 순차 읽기 → 저렴·고감도지만 움직임 왜곡. global: 동시 노출 → 왜곡 없음, 비용↑. 현대 카메라 대부분 CMOS(BSI/stacked), CCD는 특수 용도로 축소.

2.4 현대 센서

스마트폰이 끌어올린 센서 혁신

모바일이 센서 혁신을 주도한다. stacked BSI로 픽셀과 로직을 적층해 속도·기능을 높이고, dual-pixel은 화소를 둘로 나눠 위상차 AF와 깊이를 얻으며(→ §13), Quad-Bayer/Tetracell은 같은 색 화소를 묶어 저조도엔 비닝, 고해상엔 remosaic으로 전환한다(→ §6).

FSI → BSI → stacked →dual-pixel (PDAF·깊이) →Quad-Bayer / binning →event camera (→ §8/§13)

dual-pixel · Quad-Bayer · event sensor

모바일·특수 센서 (⚠️ 일부 벤더 주장)

dual-pixel: 화소를 좌우로 분할해 위상차 AF와 작은 베이스라인 깊이를 얻음(Google의 dual-pixel depth).
event camera: 밝기 변화를 비동기·고시간해상도로 출력 — 모션 디블러·고속에 활용(→ §8). ⚠️ 모바일 적용은 아직 제한적.

→ 이웃 모듈로

이 다음은

센서가 만든 RAW가 어디로 가는지 따라가 보라 — ISP 파이프라인(§4)이 그것을 sRGB로 빚고, 모자이크는 디모자이킹(§6), 잡음은 디노이즈(§7), 좁은 동적범위는 HDR(§10)이 다룬다.

이어서 읽기

§4 — ISP · RAW를 sRGB로 §6 — Demosaicing · CFA 보간 §7 — Denoising · 센서 잡음 §10 — HDR · 동적범위

개인 학습 자료 · ISP & Computational Photography · §2 Image Sensor