Part A — 모듈 심화 §0

Math & Signal뒤따르는 모든 챕터가 기대는 기초 — convolution, Fourier, 샘플링, 그리고 잡음의 확률

이 핸드북의 모든 챕터는 같은 네 가지 언어를 쓴다 — 영상 형성(빛이 어떻게 숫자가 되나), 샘플링(연속을 격자로), 선형시스템·Fourier(흐림·필터를 곱셈으로), 그리고 확률(잡음의 통계). 디노이즈·디블러·디모자이크·초해상은 이 네 도구의 응용일 뿐이다. 이 장은 그 공용어를 한곳에 모은다.

Instrument 01

Fourier 뷰 — 영상 ↔ 스펙트럼

주파수로 보는 영상

필터

차단 반경 28

원본 (luma)

스펙트럼 |F| (log, DC 중앙)

필터 후

영상은 주파수의 합이다. 가운데가 저주파(전체 톤·밝기), 바깥이 고주파(엣지·디테일). 저주파만 남기면 흐려지고(=블러=평균), 고주파만 남기면 엣지만 남는다. 흐림은 고주파를 죽이는 일(→ §8), 디테일 복원은 그것을 되살리는 일(→ §9)이다. 스펙트럼에서 직접 잘라 보라.

0.1 영상 형성 — 빛이 숫자가 되기까지

적분 하나로 시작한다

카메라 한 픽셀의 값은 광원 $\boldsymbol{E(\lambda)}$ , 표면 반사율 $\boldsymbol{S(\lambda)}$ , 채널 분광감도 $\boldsymbol{\rho_c(\lambda)}$ 의 곱을 가시광에 대해 적분한 것이다 — 색을 다루는 모든 챕터(§5·§11)가 여기서 출발한다.

\boldsymbol{I_c(\mathbf{x}) = \int_\omega E(\lambda)\,S(\mathbf{x},\lambda)\,\rho_c(\lambda)\,d\lambda}

공간적으로는, 렌즈가 한 점의 빛을 점퍼짐함수(PSF) $\boldsymbol{h}$ 로 번지게 하고, 센서가 그것을 격자에 적분·샘플링한다. 이상적 핀홀은 $\boldsymbol{h}$ 가 점이지만, 실제 렌즈는 회절·수차로 $\boldsymbol{h}$ 가 퍼진다(→ §2 센서, §8 디블러, §13 광학). 그래서 관측 영상은 늘 이상 영상 ⊛ PSF + 잡음의 꼴이다.

0.2 샘플링과 aliasing

연속을 격자에 담을 때 생기는 일

센서는 연속 영상을 픽셀 격자에 샘플링한다. 신호의 최고 주파수가 샘플링 주파수의 절반(Nyquist)을 넘으면, 그 고주파가 저주파로 접혀 들어온다(aliasing) — 격자무늬에 무지개·moiré가 생기는 이유다.

\boldsymbol{f_{\text{signal}} \le \tfrac{1}{2} f_{\text{sample}} \quad(\text{Nyquist})}

그래서 카메라는 샘플링 전에 고주파를 줄이는 **안티앨리어싱(OLPF)**을 두거나, 디모자이크·초해상에서 접힌 주파수를 풀어야 한다(→ §6·§9). aliasing은 “정보가 사라진 게 아니라 잘못된 자리에 접혔다”는 점에서 복원 문제의 핵심 난제다.

연속 영상 →대역제한 (OLPF) →샘플링 (격자) →Nyquist 위반 → aliasing/moiré

0.3 선형시스템과 Fourier

흐림도 필터도, 주파수에선 곱셈

공간 불변 선형시스템(블러·필터)의 출력은 입력과 커널의 convolution이다. Fourier 영역에서 convolution은 곱셈이 된다(convolution theorem) — 이것이 디블러·디모자이크·복원을 주파수에서 푸는 이유다.

\boldsymbol{(h * x)(\mathbf{u}) \;\xleftrightarrow{\ \mathcal{F}\ }\; H(\boldsymbol{\xi})\,X(\boldsymbol{\xi})}

여기서 $\boldsymbol{H=\mathcal{F}\{h\}}$ 는 시스템의 주파수 응답(OTF), 그 크기 $\boldsymbol{|H|}$ 가 MTF다. 블러는 $\boldsymbol{|H|}$ 가 고주파에서 작아지는 저역통과이고, 그 자리에 **영점(zero)**이 생기면 그 주파수는 복원 불가능해진다(→ §8 디블러의 ill-posedness). 위 lab의 저주파/고주파 필터가 바로 $\boldsymbol{H}$ 를 곱하는 일이다.

왜 주파수로 보나

같은 연산이 공간에선 무거운 convolution이지만 주파수에선 픽셀별 곱셈이라 빠르고, 무엇보다 “어떤 디테일이 살아있고 어떤 게 죽었나”가 한눈에 보인다. FFT(§8 deblur·이 장 lab)·웨이블릿·DCT(JPEG)가 모두 이 변환영역 사고의 도구다.

0.4 확률과 잡음

픽셀값은 확률변수다

빛은 본질적으로 무작위다. 광자 수는 평균 $\boldsymbol{\lambda}$ , 분산도 $\boldsymbol{\lambda}$ 인 Poisson(shot noise)을 따르고, 회로 잡음이 신호와 무관한 Gaussian(read noise)으로 더해진다. 그래서 RAW 픽셀의 분산은 밝기에 선형으로 의존한다 — §7 디노이즈의 출발점이다.

\boldsymbol{\mathrm{Var}(y) = a\,x + b,\qquad a=\text{gain},\; b=\sigma_{\text{read}}^2}

평균(기댓값)·분산·상관 같은 통계량과, 추정을 정규화하는 prior(MAP/베이즈)는 고전 복원부터 딥러닝까지 공통 언어다. “무엇이 신호이고 무엇이 잡음인가”를 가르는 것이 곧 prior이며, 그것이 손으로(고전) 들어오느냐 데이터로(딥러닝) 들어오느냐가 두 시대를 가른다.

기초 레퍼런스 — 신호·영상·확률

개념 정리용 교과서 (→ §17 부록)

신호·영상: Gonzalez & Woods Digital Image Processing, Oppenheim Signals and Systems — convolution·Fourier·샘플링의 표준 교재.
비전·복원: Szeliski Computer Vision: Algorithms and Applications — 영상형성부터 복원까지. 확률은 Bishop PRML.

→ 이웃 모듈로

이 다음은

이 네 도구가 어디서 쓰이는지 따라가 보라 — 영상형성·색은 §1 색채과학과 §5 WB로, 샘플링은 §6 디모자이크로, 주파수·convolution은 §8 디블러로, 확률·잡음은 §7 디노이즈로 이어진다.

이어서 읽기

§1 — 색채과학 · ISP의 언어 §4 — ISP · 파이프라인 지도 §7 — Denoising · 확률·잡음 §8 — Deblurring · 주파수·convolution

개인 학습 자료 · ISP & Computational Photography · §0 Math & Signal