Editing & Generative없는 것을 그럴듯하게 만드는 일 — 편집·인페인팅·확산·텍스트 조건, 그리고 복원과 생성의 흐려진 경계
복원이 “잃은 것을 되찾기”라면, 편집·생성은 “없는 것을 그럴듯하게 만들기”다. 둘의 경계는 흐려졌다 — 강한 초해상(§9)·인페인팅·확산 복원은 이미 합성이다. 이 장은 그 스펙트럼의 생성 쪽 끝 — 인페인팅·하모나이제이션부터 텍스트 조건 확산까지 — 과, 거기서 따라오는 진위·책임의 문제를 본다.
Inpainting — 고전 확산 vs 생성
구멍을 메우는 두 철학구멍을 Laplace 확산으로 메우면 경계색이 안으로 번질 뿐 텍스처가 없다(반복을 늘려도 매끈하게 수렴). 고전 인페인팅의 한계다. 현대 생성형 인페인팅(확산 모델)은 대신 주변과 어울리는 그럴듯한 내용을 환각한다 — 자연스럽지만 “거기 없던 것”을 만든다. 이 차이가 이 장의 주제이자 §9 perception–distortion의 극단이다.
하나의 스펙트럼
같은 도구(확산·GAN)가 복원과 생성을 잇는다. 한쪽 끝은 충실도 우선의 복원, 다른 끝은 자유로운 생성이고, 그 사이에 편집이 있다 — 국소 변경(인페인팅·하모나이제이션·리라이팅)부터 전역 스타일·룩까지.
핵심은 **조건(conditioning)**이다 — 마스크, 텍스트, 레퍼런스, 엣지/깊이 맵으로 생성을 제어한다. 제어가 강하면 편집, 약하면 생성에 가깝다.
그래디언트와 패치
★Poisson Image Editing
- 핵심
- 영상을 그래디언트 영역에서 합성해(경계조건 + Poisson 방정식) 이음매 없는 붙여넣기·하모나이제이션. 위 lab의 Laplace 확산과 같은 수학 가족.
- 왜 ★
- 그래디언트 도메인 편집의 표준. 합성·하모나이제이션의 토대.
★PatchMatch — 빠른 패치 대응
- 핵심
- 무작위 + 전파로 패치 대응을 빠르게 찾아 exemplar 기반 인페인팅·리타게팅·재배열. 텍스처를 가져오는 고전 인페인팅의 정점.
고전 인페인팅 · seam carving
- 요지
- Bertalmio: 등광도선(isophote)을 따라 정보를 전파하는 PDE 인페인팅. seam carving: 콘텐츠 인식 리사이즈. 딥러닝 이전 편집의 도구상자.
GAN으로 영상을 변환하다
딥러닝은 편집을 영상↔영상 변환으로 일반화했다 — 쌍 데이터(pix2pix)나 비대칭(CycleGAN)으로 스타일·도메인을 바꾸고, GAN 인페인팅이 텍스처까지 합성한다.
★pix2pix · CycleGAN — Image-to-Image Translation
- 핵심
- pix2pix: 쌍 데이터로 조건부 GAN 변환. CycleGAN: 쌍 없이 순환일관성으로 도메인 변환(말↔얼룩말). 학습형 편집의 대중화.
GAN 인페인팅 · StyleGAN 편집
- 요지
- 맥락 인코더·attention으로 텍스처 있는 구멍 채우기. StyleGAN의 잠재공간을 조작해 속성(나이·표정·조명) 편집 — 생성 prior를 편집에 활용.
확산이 바꾼 판, 그리고 책임
확산 모델이 편집·생성을 재정의했다 — 텍스트 조건 생성(Stable Diffusion), 구조 조건(ControlNet), 지시 기반 편집(InstructPix2Pix), 개인화(DreamBooth). 강력한 생성 prior가 복원·SR·HDR로도 역류한다(→ §9·§10).
생성형은 이 핸드북에서 갱신이 가장 잦다(거의 분기 단위). 구체 모델·수치는 사실로 굳히지 말고 출처·날짜를 함께 적어라. 평가는 무참조·주관이 핵심(→ §15).
★Latent Diffusion / Stable Diffusion
- 핵심
- 확산을 잠재공간에서 수행해 고해상 text-to-image를 실용화. 인페인팅·아웃페인팅·편집의 공통 백본. 오픈소스로 생태계 폭발.
- 왜 ★
- 생성·편집의 사실상 기반 모델. ControlNet·InstructPix2Pix·DreamBooth가 그 위에 쌓임.
ControlNet · InstructPix2Pix · SDEdit
- 기여
- ControlNet: 엣지·깊이·포즈로 생성을 제어. InstructPix2Pix: 자연어 지시로 편집. SDEdit: 잡음 후 재생성으로 스케치→사진. 제어 가능한 편집의 핵심들.
생성·강한 복원은 없던 것을 만든다 — 의료·법의학·보도처럼 충실도가 중요한 곳에선 환각이 위험하다. 딥페이크·오정보 우려로 출처·진위(provenance, 예: C2PA)와 워터마킹이 중요해졌다. “복원처럼 보이는 생성”을 다룰 땐 그것이 합성임을 분명히 하라 — 이 핸드북의 §9·§16 데모도 모두 합성/근사임을 명시한다.
이 다음은
생성은 복원의 극단이다 — 같은 확산이 초해상(§9)·HDR(§10)을 푸는 prior이고, 빌딩블록은 §3, 평가는 §15. 여기서 핸드북의 본문(Part A–D)이 끝나고, 부록(§17–§21)이 교과서·데이터셋·읽기 경로로 이어진다.
개인 학습 자료 · ISP & Computational Photography · §16 Editing & Generative