OpenAI Point E: per kelias minutes viename GPU sukurkite 3D taškų debesį iš sudėtingų bangų formų

Naujame straipsnyje Point-E: Sistema, skirta 3D taškų debesims generuoti iš sudėtingų signalų, OpenAI tyrimų grupė pristato Point E, 3D taškų debesies teksto sąlyginės sintezės sistemą, kuri naudoja difuzijos modelius, kad sukurtų įvairias ir sudėtingas 3D formas, kurias lemia sudėtingas tekstas. užuominos.per kelias minutes viename GPU.
Nuostabus šiuolaikinių vaizdų generavimo modelių našumas paskatino 3D teksto objektų generavimo tyrimus.Tačiau skirtingai nei 2D modeliai, kurie gali generuoti išvestį per minutes ar net sekundes, objektų generavimo modeliams paprastai reikia kelių valandų GPU darbo, kad būtų sukurtas vienas pavyzdys.
Naujame straipsnyje Point-E: Sistema, skirta 3D taškų debesims generuoti iš sudėtingų signalų, OpenAI tyrimų grupė pristato Point·E, tekstinę sąlyginę 3D taškų debesų sintezės sistemą.Šis naujas metodas naudoja sklidimo modelį, kad iš sudėtingų teksto signalų per minutę ar dvi viename GPU sukurtų įvairias ir sudėtingas 3D formas.
Komanda daugiausia dėmesio skiria iššūkiui konvertuoti tekstą į 3D, kuris yra labai svarbus siekiant demokratizuoti 3D turinio kūrimą realiame pasaulyje, pradedant virtualia realybe ir žaidimais ir baigiant pramoniniu dizainu.Esami teksto konvertavimo į 3D metodai skirstomi į dvi kategorijas, kurių kiekviena turi savo trūkumų: 1) generatyviniai modeliai gali būti naudojami siekiant efektyviai generuoti pavyzdžius, bet negali būti efektyviai pritaikyti įvairiems ir sudėtingiems teksto signalams;2) iš anksto parengtas teksto vaizdo modelis, skirtas tvarkyti sudėtingus ir įvairius teksto ženklus, tačiau šis metodas reikalauja daug skaičiavimo ir modelis gali lengvai įstrigti vietiniuose minimumuose, kurie neatitinka prasmingų ar nuoseklių 3D objektų.
Todėl komanda ištyrė alternatyvų metodą, kuriuo siekiama sujungti pirmiau minėtų dviejų metodų pranašumus, naudodama teksto į vaizdą sklaidos modelį, parengtą naudojant daugybę teksto ir vaizdo porų (leisdama tvarkyti įvairius ir sudėtingus signalus) ir 3D vaizdo sklaidos modelis, parengtas naudojant mažesnį teksto ir vaizdo porų rinkinį.vaizdo ir 3D poros duomenų rinkinys.Teksto į vaizdą modelis pirmiausia atrenka įvesties vaizdą, kad būtų sukurtas vienas sintetinis vaizdas, o modelis iš vaizdo į 3D sukuria 3D taškų debesį pagal pasirinktą vaizdą.
Komandos generavimo krūva yra pagrįsta neseniai pasiūlytomis generacinėmis sistemomis, skirtomis sąlyginiam vaizdų generavimui iš teksto (Sohl-Dickstein ir kt., 2015; Song & Ermon, 2020b; Ho ir kt., 2020).Jie naudoja GLIDE modelį su 3 milijardais GLIDE parametrų (Nichol ir kt., 2021), tiksliai suderintus pateiktuose 3D modeliuose, kaip teksto į vaizdą transformacijos modelį, ir difuzijos modelių rinkinį, kuris generuoja RGB taškinius debesis. transformacijos modelis.vaizdai į vaizdą.3D modeliai.
Nors ankstesniame darbe taškiniams debesims apdoroti buvo naudojamos 3D architektūros, tyrėjai naudojo paprastą keitikliu pagrįstą modelį (Vaswani ir kt., 2017), kad pagerintų efektyvumą.Pagal jų difuzijos modelio architektūrą taškų debesies vaizdai pirmiausia įvedami į iš anksto paruoštą ViT-L/14 CLIP modelį, o tada išvesties tinkleliai įvedami į keitiklį kaip žymekliai.
Savo empiriniame tyrime komanda palygino siūlomą Point·E metodą su kitais generuojančiais 3D modeliais, skirtais COCO objektų aptikimo, segmentavimo ir parašo duomenų rinkinių signalų įvertinimui.Rezultatai patvirtina, kad Point·E gali generuoti įvairias ir sudėtingas 3D formas iš sudėtingų teksto signalų ir pagreitinti išvados laiką viena ar dviem dydžiais.Komanda tikisi, kad jų darbas paskatins tolesnius 3D teksto sintezės tyrimus.
Iš anksto parengtas taškų debesies sklidimo modelis ir vertinimo kodas yra projekto „GitHub“.„Document Point-E“: „ArXiv“ yra sistema, skirta sukurti 3D taškų debesis iš sudėtingų įkalčių.
Žinome, kad nenorite praleisti jokių naujienų ar mokslo atradimų.Prenumeruokite mūsų populiarųjį Synced Global AI Weekly informacinį biuletenį, kad gautumėte savaitinius AI atnaujinimus.