HSI픽셀마다 색이 아니라 스펙트럼 전체를 — 메타메리즘의 근본 해법, 재료를 보는 눈
RGB 카메라는 무한 차원의 스펙트럼을 세 숫자로 뭉갠다(→ §1). 그 대가가 메타메리즘 — 서로 다른 물질이 한 광원 아래 같은 색으로 보이고, 광원이 바뀌면 갈라진다. 분광 영상(HSI)은 픽셀마다 스펙트럼 전체를 잡아 이 혼동을 근본적으로 푼다. 색을 보는 게 아니라 재료를 본다.
메타메리즘 — RGB가 못 보는 차이
스펙트럼 ≠ 색표면 A와 B는 스펙트럼이 다른데도 D65(6500K)에서 같은 색으로 보이도록 만든 메타머다(색차 Δ≈0). 색온도를 D65에서 멀리 옮겨 보라 — 두 색이 갈라진다(메타메리즘 실패). RGB 카메라는 세 숫자만 보니 이 둘을 구별 못 하지만, HSI는 스펙트럼 자체(왼쪽 두 곡선)를 재므로 언제나 구별한다. metameric black을 CMF에 직교하게 구성해 만든 데모.
색이 잃은 정보를 되찾다
RGB는 스펙트럼 를 세 CMF에 투영해 3차원으로 줄인다 — 편리하지만 돌이킬 수 없는 차원 축소다. HSI는 픽셀마다 수십~수백 개 파장 밴드를 측정해 데이터 큐브(x, y, λ)를 만든다. 그 결과 ① 메타메리즘이 사라지고(스펙트럼이 곧 정체), ② 광원 불변 분석이 가능하며, ③ 눈에 안 보이는 물질 특이 흡수(엽록소·수분·산화)를 읽는다.
공간·분광·시간의 트레이드오프
스펙트럼을 더 재려면 무언가를 희생해야 한다. 스캐닝(pushbroom/whiskbroom)은 공간을 시간으로 바꿔 한 줄씩 분광을 읽고(위성·산업), 스펙트럼 필터/튜너블은 밴드를 순차 촬영하며, 스냅샷 HSI는 한 노출에 큐브를 잡되 공간·분광 해상도를 절충한다(코딩·분산광학).
★CASSI — Coded Aperture Snapshot Spectral Imaging
- 핵심
- 코드 조리개 + 분산소자로 스펙트럼 큐브를 한 장에 압축 인코딩하고, 압축센싱으로 복원. 스냅샷 HSI의 대표 광학(→ §13 계산광학과 한 가족).
multispectral · tunable filter · 위성 HSI
- 요지
- 다분광(수~십 밴드)은 위성·산업에 흔하고, tunable filter(LCTF/AOTF)는 밴드를 순차 촬영. 위성(Hyperion·PRISMA)은 pushbroom 스캐닝으로 지표를 분광 매핑.
RGB에서 스펙트럼을 되살리기
흥미로운 역문제 — RGB(또는 스냅샷 측정)에서 스펙트럼을 재구성하는 것. ill-posed지만, 자연 스펙트럼이 저차원 부분공간에 산다는 prior 덕에 학습으로 꽤 복원된다(NTIRE Spectral Reconstruction 챌린지가 추진).
★Sparse Recovery of Hyperspectral Signal from RGB
- 핵심
- 자연 스펙트럼의 희소 사전을 학습해 RGB로부터 스펙트럼을 복원. RGB→스펙트럼 학습의 출발점. ICVL 데이터셋.
딥러닝 재구성 — HSCNN+ · MST++
- 기여
- HSCNN+: 깊은 CNN으로 RGB→spectrum. MST++: 스펙트럼 트랜스포머로 NTIRE 우승급. 스냅샷 압축 HSI 복원에도 트랜스포머가 주류.
재료를 보는 눈
원격탐사·농업·의료·예술
- 요지
- 원격탐사(작물·광물·환경 매핑), 농업(작물 건강·수분), 의료(조직 산소·종양 대비), 식품·산업(이물·품질), 예술(안료·복원 분석). 공통점은 눈에 안 보이는 물질 특성을 분광 흡수로 읽는다는 것.
HSI는 §1의 메타메리즘 문제에 대한 근본 해법이다 — 스펙트럼을 직접 재므로 광원·관찰자에 무관한 물질 정체를 얻는다. 화이트밸런스(§5)·색 렌더링(§11)이 3채널의 한계 안에서 푸는 문제를, HSI는 차원을 늘려 우회한다. 대가는 비용·데이터량·속도다.
이 다음은
분광은 색채과학의 끝과 시작이다 — 메타메리즘의 근원은 §1, 그 응용인 화이트밸런스는 §5, 캡처 광학은 §13, 그리고 색 렌더링은 §11.
개인 학습 자료 · ISP & Computational Photography · §14 HSI