무슨 일이 있었나

애플 머신러닝은 고충실도 이미지-3D 생성을 위해 설계된 3D 표현인 Luce를 발표했다. Luce는 기하학과 외관을 모두 포착한다.

이 표현은 기하학과 물리 기반 렌더링(PBR) 재질(알베도, 메탈릭-러프니스, 표면 법선 포함)을 결합하여 재조명과 표준 렌더링 파이프라인 통합을 지원한다.

Luce는 기하학과 PBR 재질을 복셀화된 다중 모달 가우시안 클라우드로 구성한다. 여기서 각 모달리티는 전용 가우시안 프리미티브를 가지며, 변분 오토인코더가 이를 통합된 재질 인식 잠재 공간으로 압축한다.

왜 중요한가

Luce는 PBR 재질을 3D 표현에 직접 통합함으로써 생성된 에셋이 표준 렌더링 파이프라인과 호환되도록 한다. 이를 통해 재조명이 필요한 실제 작업 흐름에서 이미지-3D 출력을 더 유용하게 만들 수 있다.

통합된 재질 인식 잠재 공간은 기하학과 외관을 분리된 덜 일관된 구성 요소가 아닌 함께 생성하는 방향을 제시한다.

다중 모달 가우시안 프리미티브의 사용은 상세한 에셋에 충분히 표현력이 있고 효율적인 생성을 위해 충분히 구조화된 표현으로 나아가는 한 단계다.

핵심 사실

Luce는 복셀화된 다중 모달 가우시안 클라우드에서 기하학과 PBR 재질을 통합하는 3D 표현이다.

알베도, 메탈릭-러프니스, 표면 법선을 포함한 각 모달리티에 전용 가우시안 프리미티브가 사용된다.

변분 오토인코더는 표현을 통합된 재질 인식 잠재 공간으로 압축한다.

향후 주목할 점

논문 설명이 일부만 공개되어 있어, 향후 세부 사항이 실제 이미지-3D 생성 및 렌더링에 Luce가 어떻게 사용되는지 명확히 해줄 수 있다.

실험 결과와 다른 3D 생성 방법과의 비교에 대해서는 Apple의 머신러닝 발표 자료를 주목하세요.

출처