소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AIxiv 칼럼은 Machine Heart가 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 Heart of the Machine AIxiv 칼럼은 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 2,000개 이상의 보고서를 접수하여 학술 교류 및 보급을 효과적으로 촉진했습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: [email protected] [email protected]

본 논문의 제1저자와 교신저자는 북경대학교 왕쉬안 컴퓨터과학연구소 VDIG(Visual Data Interpreting and Generation) 연구소 출신이다. 제1저자는 박사과정 학생인 Zhou Xiaoyu이고, 교신저자는 박사과정 지도교수인 Wang Yongtao이다. . 최근 몇 년 동안 VDIG 연구소는 IJCV, CVPR, AAAI, ICCV, ICML, ECCV 등 최고의 컨퍼런스에서 다수의 대표적인 결과를 발표했으며 국내 헤비급 대회에서 우승 및 준우승을 차지했습니다. 해외 CV 분야에서도 여러 차례 국내외 유명 대학으로부터 상을 받았으며 과학 연구 기관도 광범위하게 협력하고 있습니다.

최근 몇 년 동안 단일 객체에 대한 Text-to-3D 방법은 일련의 획기적인 발전을 이루었지만 텍스트에서 제어 가능한 고품질의 복잡한 다중 객체 3D 장면을 생성하는 것은 여전히 ​​큰 과제에 직면해 있습니다. 이전 방법은 생성된 장면의 복잡성, 기하학적 품질, 텍스처 일관성, 다중 객체 상호 작용, 제어 가능성 및 편집 가능성에 큰 결함이 있습니다.

최근 북경대학교 왕쉬안 컴퓨터 과학 연구소의 VDIG 연구팀과 협력자들은 최신 연구 결과인 GALA3D를 발표했습니다. 다중 객체의 복잡한 3D 장면 생성을 위해 이 연구에서는 다중 객체와 복잡한 대화형 관계가 있는 고품질, 일관성이 높은 3D 장면을 생성할 수 있는 복잡한 3D 장면을 위한 LLM 기반 제어 가능한 생성 프레임워크인 GALA3D를 제안하고 지원합니다. 대화식 상호 작용. 편집자를 제어하여 ICML 2024에 논문이 승인되었습니다.

텍스트 기반 항목: GALA3D: 레이아웃 기반 생성 가우시안 스플래팅을 통한 텍스트-3D 복합 장면 생성을 향해

논문 링크: https://arxiv.org/pdf/2402.07207

종이 코드: https://github.com/VDIGPKU/GALA3D

프로젝트 웹사이트: https://gala3d.github.io/

GALA3D는 장면 생성 및 제어 가능한 편집 프레임워크를 결합한 고품질 텍스트-3D 복합 프레임워크입니다. 사용자가 설명 텍스트를 입력하면 GALA3D는 제로샷에서 여러 개체와 복잡한 상호 작용 관계가 포함된 해당 3차원 장면을 생성할 수 있습니다. 생성된 3D 장면이 텍스트와 고도로 정렬되도록 보장하는 동시에 GALA3D는 장면 품질, 여러 개체의 복잡한 상호 작용 및 장면의 기하학적 일관성을 생성하는 데 탁월한 성능을 보여줍니다. 또한 GALA3D는 사용자 친화적인 엔드투엔드 생성 및 제어 가능한 편집도 지원하므로 일반 사용자가 대화 중에 3D 장면을 쉽게 사용자 정의하고 편집할 수 있습니다. GALA3D는 사용자와 소통하면서 복잡한 3D 장면의 대화형 및 제어 가능한 편집을 정확하게 실현할 수 있으며, 사용자 대화를 기반으로 한 복잡한 3D 장면의 레이아웃 변환, 디지털 자산 임베딩, 장식 스타일 변경 등 다양한 제어 가능한 편집 요구를 실현할 수 있습니다.

방법 소개

GALA3D의 전체 아키텍처는 아래 그림에 나와 있습니다.

GALA3D는 LLM(대형 언어 모델)을 활용하여 초기 레이아웃을 생성하고 레이아웃 기반 생성 3D 가우스 표현을 제안하여 복잡한 3D 장면을 구성합니다. GALA3D Design은 적응형 기하학 제어를 통해 3D 가우시안의 모양과 분포를 최적화하여 일관된 기하학, 질감, 규모 및 정밀한 상호 작용을 갖춘 3D 장면을 생성합니다. 또한 GALA3D는 조건부 확산 사전확률과 Vincentian 그래프 모델을 결합하여 일관된 스타일의 3D 다중 객체 장면을 공동으로 생성하는 동시에 LLM에서 추출된 초기 레이아웃 사전확률을 반복적으로 최적화하여 보다 현실적이고 정확한 실제 장면을 얻는 결합 최적화 메커니즘도 제안합니다. 공간 배치. 광범위한 정량적 실험과 정성적 연구에 따르면 GALA3D는 텍스트에서 복잡한 3D 장면을 생성하는 데 기존 Vincent 3D 장면 방법을 능가하는 중요한 결과를 달성합니다.

a. LLM을 기반으로 한 장면 레이아웃

대규모 언어 모델은 탁월한 자연어 이해 및 추론 기능을 보여줍니다. 이 기사에서는 복잡한 3D 장면에서 LLM 대규모 언어 모델의 추론 및 레이아웃 생성 기능을 자세히 살펴봅니다. 수동 설계 없이 상대적으로 합리적인 레이아웃을 얻는 방법은 장면 모델링 및 생성 비용을 줄이는 데 도움이 될 수 있습니다. 이를 위해 우리는 LLM(예: GPT-3.5)을 사용하여 텍스트 입력 인스턴스와 공간 관계를 추출하고 해당 레이아웃 사전을 생성합니다. 그러나 3D 공간 레이아웃과 LLM이 해석한 장면 이전의 레이아웃과 실제 장면 사이에는 일정한 차이가 있으며, 이로 인해 일반적으로 정지/통과 개체가 생성되거나 비율이 지나치게 다른 개체의 조합 등이 발생합니다. 또한, 위에서 생성된 개략적인 레이아웃을 비전 기반 Diffusion Prior 및 Layout-guided Generative 3D Gaussian을 통해 조정하고 최적화하는 Layout Refinement 모듈을 제안합니다.

b、레이아웃 개선

GALA3D는 위의 LLM에 의해 생성된 레이아웃을 최적화하기 전에 확산 기반 레이아웃 레이아웃 최적화 모듈을 사용합니다. 구체적으로 3D 생성 프로세스에 레이아웃 기반 3D 가우시안 공간 레이아웃의 그래디언트 최적화를 추가하고 ControlNet을 통해 LLM 생성 레이아웃의 공간 위치, 회전 각도 및 크기 비율을 조정했습니다. 그림은 3D 장면과 레이아웃을 보여줍니다. 최적화 후. 최적화된 레이아웃은 보다 정확한 공간 위치와 비례적 규모를 가지며 3D 장면에서 여러 개체의 상호 작용 관계를 보다 합리적으로 만듭니다.

c. 레이아웃 기반 생성 3D 가우스 표현

우리는 처음으로 3D 가우스 표현에 3D 레이아웃 제약을 도입하고 복잡한 3D 장면을 위한 레이아웃 기반 생성 3D 가우시안을 제안합니다. 레이아웃 기반 3D 가우스 표현에는 의미론적으로 추출된 여러 인스턴스 개체가 포함되어 있습니다. 여기서 각 인스턴스 개체의 레이아웃 우선 순위는 다음과 같이 매개변수화될 수 있습니다.

그 중 N은 장면에 있는 인스턴스 객체의 총 개수를 나타냅니다. 구체적으로, 각 인스턴스 3D 가우시안은 적응형 형상 제어를 통해 최적화되어 인스턴스 수준 객체 3D 가우시안 표현을 얻습니다. 또한, 상대 위치 관계에 따라 여러 객체 가우시안을 전체 장면으로 결합하고, 레이아웃 기반 글로벌 3D 가우시안을 생성하고, 글로벌 가우시안 스플래팅을 통해 전체 장면을 렌더링합니다.

d. 적응형 기하학 제어

생성 과정에서 3D 가우시안의 공간 분포와 기하학적 형태를 더 잘 제어하기 위해 생성적인 3D 가우시안에 대한 적응형 기하학 제어 방법을 제안합니다. 먼저, 초기 가우스 세트가 주어지면 레이아웃 범위 내에서 3D 가우스를 제한하기 위해 GALA3D는 밀도 분포 함수 세트를 사용하여 가우스 타원체의 공간 위치를 제한합니다. 그런 다음 분포 함수에 맞게 레이아웃 표면 근처의 가우스를 샘플링합니다. 이후, 우리는 3D 가우시안의 기하학을 제어하기 위해 형상 정규화를 사용할 것을 제안합니다. 3D 생성 프로세스 중에 적응형 형상 제어는 가우시안의 분포와 형상을 지속적으로 최적화하여 더 많은 텍스처 세부 정보와 표준화된 형상을 갖춘 3D 다중 객체 및 장면을 생성합니다. 적응형 형상 제어는 또한 더 뛰어난 제어 가능성과 일관성을 갖춘 레이아웃 기반 생성 3D 가우시안을 보장합니다.

실험 결과

기존 Text-to-3D 생성 방법과 비교하여 GALA3D는 더 나은 3D 장면 생성 품질과 일관성을 보여줍니다. 정량적 실험 결과는 다음 표에 나와 있습니다.

또한 본 방법의 생성 시나리오와 기존 방법에 대한 다각적 평가를 수행하기 위해 125명의 참가자(39.2%가 관련 분야의 전문가 및 실무자)를 초대하여 광범위하고 효과적인 사용자 설문 조사를 수행했습니다. 다음 표:

실험 결과, GALA3D는 장면 품질, 기하학적 충실도, 텍스트 일관성, 장면 일관성 등 다차원 평가 지표에서 기존 방법을 능가하고 최적의 생성 품질을 달성하는 것으로 나타났습니다.

아래 정성적 실험 결과에서 볼 수 있듯이 GALA3D는 일관성이 뛰어나고 제로샷 방식으로 복잡한 다중 객체 조합 3D 장면을 생성할 수 있습니다.

아래 그림은 GALA3D가 사용자 친화적이고 대화식이며 제어 가능한 생성 및 편집을 지원할 수 있음을 보여줍니다.

보다 자세한 연구 내용은 원문을 참고하시기 바랍니다.