nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

AIxiv columna columna est ubi Machina Cordis contenta academica et technica publicat. Praeteritis his annis, Cor Machinae AIxiv columnam plus quam 2.000 reportavit, tecta laboratatoria a maioribus universitatibus et societatibus circum orbem terrarum, efficaciter promovens permutationes academicas et disseminationem. Si egregium opus habes quod communicare vis, libenter senties nos conferendi vel nuntiandi contactum. Submissio inscriptio: [email protected];

Primus auctor et respondens auctor chartae huius utrumque ab VDIG (Visual Data Interpretatione et Generatione) Laboratorium Wangxuan Instituti Computer Scientiae, Universitatis Peking. . Nuper VDIG laboratorium edidit plures proventus repraesentativorum in colloquiis summorum, ut IJCV, CVPR, AAAI, ICCV, ICML, ECCV, etc., et patrocinium ac cursorem praemiorum in gravibus certationibus in domesticis lucratus est. et peregrinum CV campum multoties.

Nuper, cum textu ad-3D methodi pro singulis objectis seriem breakthroughs fecerunt, sed generans moderatricem, qualis multiplex multiplex objectum 3D argumenta e textu adhuc immensas provocationes spectat. Priores methodi maiorem vitia habent in complexitate, qualitatem geometricam, textura constantiam, multi-obiectum commercium, continentem et editabilitatem generatae scaenae.

Nuper VDIG quadrigis investigationis ab Instituto Wangxuan Instituto Computer Scientiae in Universitate Peking eiusque fautoribus nuntiavit recentissimos investigationes eventus GALA3D. Pro generatione multi-obiectorum 3D scaenarum, hoc opus proponit LLM-ductus moderatricem generationem compagem complexorum 3D scaenarum, GALA3D, quae generare potest summus qualitas, summus constantia 3D scaenarum cum multiplicibus obiectis et implicatis relationibus interactive et sustinet. Commercium colloquii.

论文标题： GALA3D: Ad Text-ut-3D Scene Complex Generatio per Layout-deduxit Generativum Gaussian Splatting

Paper link: https://arxiv.org/pdf/2402.07207

Paper code: https://github.com/VDIGPKU/GALA3D

Project website: https://gala3d.github.io/

GALA3D summus qualitas cum textu ad-3D generationem scaenam compositam coniunctam et compagem moderatricem edendi. Usor inponit textum descriptionis, et GALA3D generare potest scaenam trium dimensivarum respondentium cum multiplicibus obiectis et implicatis relationibus interactivorum in zephyris. Dum generatum 3D scaenam maxime aligned cum textu, GALA3D demonstrat excellentem actionem suam in generando qualitatem scaenam, multiplicium rerum commercium complexum, et constantiam geometricam scenam. Praeterea GALA3D etiam usor-amicos finem ad-finis generationis et moderantem edendis adiuvat, utentes ordinarios ut facile mos et 3D argumenta in colloquiis colloquiis recensere sinant. In communicando cum usoribus, GALA3D accurate cognoscere potest sermonem ac moderatum edendis complexorum 3D scaenarum, et varias moderabiles edendas necessitates percipere, ut layout transmutatio complexorum 3D scaenarum, res digitalis embedding, et ornamentum stili mutationes in dialogo usoris.

Methodus introductio

Architectura GALA3D altiore figura infra ostenditur:

GALA3D exempla magna linguarum (LLMs) utitur ad rationes initiales generandas et repraesentationem generativam 3D Gaussianam ostensionem proponit ut scenas 3D multiplices construat. GALA3D Designatio optimizat figuram et distributionem 3D Gaussians per imperium adaptivae geometriae ad generandum 3D scenas cum congruentibus geometriae, texturae, scalae et certarum interactionum. Praeterea GALA3D etiam mechanismum optimizationem coniunctum proponit quae diffusionem conditionalem priorum et exempla graphi Vincentiani ad collaborative generandum 3D multi-obiectorum argumenta cum stylis constantibus, dum itera- tive optimizing initiales priores superiores e LLMs extractos obtinet magis realisticam et accuratam scenam realem. spatium at arcu. Extensiva quantitatis experimenta et studia qualitativa ostendunt GALA3D eventus significantes consequi in complexu 3D argumentorum e textu generando, excedendo modos scaenae Vincentii 3D.

a

Magnae linguae exempla demonstrent egregias facultates linguae naturalis intellegentiae et ratiocinandi. Hic articulus ulteriores facultates de LLMs magnas linguarum exemplorum ratiocinationem et extensionem perscrutatur in 3D argumentis complexis. Quomodo ad rationabilem extensionem respective obtinendam prior sine consilio manuali sumptus scaenae exemplar et generationem reducere adiuvare potest. Ad hunc finem utimur LLMs (ut GPT-3.5) ad extrahendas instantias textus initus eorumque spatiales relationes, ac priorum Layouts respondentium generando. Est tamen quaedam distantia inter extensionem 3D spatialem et Layout priorem scenae, quam LLMs et scaenam ipsam interpretatus est, quae plerumque in generatione objectorum suspensorum/transeuntium consequitur, compositiones obiectorum cum proportionibus nimis diversis, etc. Praeterea proponimus propositum moduli expolitionem componendi et optimize ruditatem extensionis priorum supra generatarum per visionem diffusionis substructam priorem et propositum generativum 3D Gaussian.

b、Layout Expolitio

GALA3D layout optimiizationis moduli ex Diffusione prior utitur ad optimize extensionem prioratus ab supra LLMs genitus. Speciatim adiecimus optimizationem graduum 3D Gaussiani layout spatii in 3D generationis extensionem, et positionis spatii, rotationis angulum et magnitudinem proportionis LLM-generatorum Layouts per ControlNet adaequavimus post ipsum. Optimized Layout situm spatialem et proportionalem scalam accuratiorem habet, et commercium plurium objectorum in 3D scaena magis rationabilius facit.

c

Coactus 3D-Layout in 3D Gaussian repraesentationem primum introducimus, et propositum generativae 3D Gaussianae pro argumentis 3D complexis proponimus. Repraesentatio 3D Gaussian-ductus laicalis continet multa objecta instantiae semantice extractae, ubi propositum ante cujusvis instantiae objectum parameterizari potest sicut:

Inter eos, N significat numerum objectorum instantiarum in scena. In specie, unaquaeque instantia 3D Gaussian optimized est per imperium adaptivam geometriae ad obtinendum objectum 3D instantia gradus repraesentationis Gaussianae. Praeterea multiplex obiectum Gaussians coniungimus in totam scenam secundum relationes relativae positionis globalis 3D Gaussians layout generantia, et totam scenam per global Gaussian Splatting reddemus.

d

Ut meliorem spatialem distributionem et figuram geometricam 3D Gaussians in generatione generationis moderari, proponamus methodum geometriam adaptivam moderandi generativae 3D Gaussians. Primum, Gaussians initialis posita, ut Gaussians 3D intra extensionem constringat, GALA3D functionum copia densitatis utitur ad situm spatii Gaussiani ellipsoideis constringendum. Nos igitur specimen Gaussiani prope Layout superficiei ad munus distribuendum aptamus. Postea proponimus figuram regularizationem uti ad geometriam 3D Gaussiani refrenandam. Per processum 3D generationis, adaptiva geometria continenter optimizat distributionem et geometriam Gaussianorum ad generandum 3D multi- res et scenas cum subtilioribus singularibus et de mensuris geometriae. Imperium adaptiva geometriae etiam generativas 3D Gaussianos layout-ductos efficit ut maiore moderatione et constantia.

Eventus experimentalis

Comparatus cum textu ad-3D modos generationis existens, GALA3D melius ostendit 3D scaenam generationis qualitatem et constantiam. Quantitatis experimentalis eventus ostenditur in sequenti tabula:

Nos quoque magnum et efficacem usum percontationum invitamus 125 participes (39.2% quorum periti et medici in relatas regiones fuerunt) ut multi-angulus aestimatio generationis missionum huius methodi et methodi exsistentium peragatur sequenti mensa:

Experimentales eventus ostendunt GALA3D exsistentes methodos superare in indicibus multi- dimensivis aestimationis, sicut scaena qualitatis, fidelitatis geometricae, textus constantiae, et scaenae constantiae, et optimae generationis qualitatem consequi.

GALA3D, sicut patet in eventibus experimentalibus qualitative infra, generare multiplex compositum objectum 3D scaenae in zephyro modo cum bona constantia;

Figura infra ostendit GALA3D posse usorem amicabilem, sermonem et generationem moderabilem sustinere et emendare:

Ad plura investigationis singula, ad chartam originalem referre placet.