Optics빛을 모으는 렌즈의 물리와, 광학·알고리즘을 함께 설계하는 계산광학 — 흐림을 결함이자 정보로
렌즈는 영상의 시작이자 첫 번째 흐림이다. 빛을 모아 결상하지만, 회절·수차로 한 점을 점퍼짐함수(PSF)로 번지게 하고, 초점 밖은 흐려진다(보케). 계산광학은 이 흐림을 결함이자 정보로 본다 — 광학과 알고리즘을 함께 설계해, 렌즈가 일부러 만든 흐림을 네트워크가 풀어 더 나은 영상을 얻는다.
계산형 피사계심도 (보케)
조리개 → 배경 흐림조리개를 키우면(작은 f값) 피사체 밖이 더 흐려진다 — 얕은 심도. 초점을 배경으로 바꾸면 흐림이 반전된다. 폰의 “인물 모드”가 이 합성이다(단 실제는 분할/깊이 맵으로, 여기선 설명용 radial 깊이). 흐림의 양은 조리개와 초점거리 차에 비례한다 — 같은 흐림을 §8에선 제거하려 하고, 여기선 연출한다.
한 점이 번지는 방식
이상적 렌즈는 한 점을 한 점에 결상하지만, 실제론 회절(조리개 한계)과 수차(구면·색·코마)로 PSF가 퍼진다. PSF의 주파수 응답이 MTF이고, 그 크기가 렌즈의 “선명도”를 정한다(→ §0·§8). 색수차는 파장별 PSF가 달라 엣지에 색 띠를 만들고, 비네팅은 주변부 광량을 떨어뜨린다 — 모두 ISP가 보정한다(→ §4).
렌즈 흐림도 결국 이상 영상 ⊛ PSF다(→ §0). PSF를 알면 디컨볼루션으로 일부 되돌릴 수 있지만(→ §8), MTF가 0이 된 주파수는 복원 불가 — 그래서 광학 설계 단계에서 “복원하기 좋은 PSF”를 만드는 것이 계산광학의 발상이다.
초점 밖의 흐림에서 깊이를 얻다
초점에서 벗어난 정도에 비례해 defocus 흐림이 커진다(원형 조리개면 원반 PSF). 이 흐림은 **심도(DoF)**를 정하고, 보케의 모양을 만든다. 중요한 건 이게 깊이 정보라는 점 — 흐림의 양·방향에서 거리를 추정할 수 있다(depth from defocus). dual-pixel(→ §2)은 한 노출에서 좌/우 시점을 얻어 작은 베이스라인 깊이를 주고, 이것이 폰 인물 모드의 근거다.
★Image and Depth from a Conventional Camera with a Coded Aperture
- 핵심
- 조리개에 코드 패턴을 넣어 defocus PSF를 깊이별로 구별되게 만들고, 디컨볼루션으로 전초점 영상 + 깊이를 동시 복원. 광학을 알고리즘에 맞춰 설계한 효시.
- 왜 ★
- “광학을 바꿔 복원을 돕는다”는 계산광학의 패러다임 사례.
dual-pixel 깊이 · depth from defocus
- 요지
- dual-pixel의 두 시점 차로 학습형 깊이를 추정해 인물 모드 보케에 사용. 단일 카메라로 얕은 심도를 합성하는 모바일의 핵심.
End-to-End로 렌즈를 설계하다
전통 광학은 렌즈를 “선명한 PSF”로 설계하고 ISP가 뒤처리했다. **계산광학(computational optics)**은 둘을 분리하지 않는다 — 광학 요소(회절판·코드조리개)와 복원 네트워크를 함께 미분 가능하게 최적화(end-to-end / deep optics)해, 작은 렌즈로 HDR·심도·광시야 같은 능력을 얻는다.
★End-to-End Optimization of Optics and Image Processing (Deep Optics)
- 핵심
- 회절광학 요소(DOE)의 형상과 복원망을 하나의 손실로 공동 최적화. 광학이 “복원하기 쉬운” PSF를 학습. extended DoF·HDR·achromatic 등에 적용.
- 왜 ★
- 광학+알고리즘 공동설계 패러다임의 대표작.
Neural Nano-Optics · 라이트필드
- 기여
- meta-optic(나노구조 평면 렌즈) + 신경 복원으로 초소형 카메라. 라이트필드: 방향까지 캡처해 사후 초점·시점 변경. 계산광학의 확장.
미분 가능한 광학·신경 PSF
최근은 ① 미분 가능한 복합 광학(렌즈 전체를 미분 가능하게 설계), ② 신경 PSF/aberration 보정, ③ 메타·평면 광학의 정교화다. 공통 목표는 “더 작은 광학 + 더 똑똑한 복원”이다.
계산광학은 광학·ML 양쪽에서 빠르게 갱신된다. 결과가 시뮬레이션이냐 실제 제작(fab)이냐에 따라 의미가 크게 다르니 — 어느 쪽인지, 어떤 광학·데이터인지 함께 적어라.
이 다음은
광학은 영상의 시작이자 흐림의 근원이다 — 그 흐림을 제거하면 §8 디블러, 일부러 만들어 깊이를 얻으면 인물 모드, 여러 장으로 한계를 넘으면 §12, 분광으로 확장하면 §14.
개인 학습 자료 · ISP & Computational Photography · §13 Optics