روشی جدید برای ایجاد اشکال سه بعدی واقعی با استفاده از هوش مصنوعی | اخبار MIT


ایجاد مدلهای سهبعدی واقعی برای برنامههایی مانند واقعیت مجازی، فیلمسازی و طراحی مهندسی میتواند فرآیندی دست و پا گیر باشد که به آزمون و خطای دستی زیادی نیاز دارد.
اگرچه مدلهای هوش مصنوعی مولد برای تصویربرداری میتوانند فرآیندهای هنری را با توانمند ساختن سازندگان برای ایجاد تصاویر دوبعدی واقعی از پیامهای متنی سادهتر کنند، این مدلها برای تولید اشکال سهبعدی طراحی نشدهاند. برای پر کردن این شکاف، تکنیک اخیرا توسعه یافته به نام تقطیر امتیاز از مدلهای تولید تصویر دو بعدی برای ایجاد اشکال سه بعدی استفاده میکند، اما نتایج آن اغلب تار یا کارتونی میشوند.
محققان MIT روابط و تفاوتهای بین الگوریتمهای مورد استفاده برای تولید تصاویر دو بعدی و اشکال سهبعدی را بررسی کردند و علت اصلی مدلهای سه بعدی با کیفیت پایینتر را شناسایی کردند. از آنجا، آنها یک ترفند ساده Score Distillation ایجاد کردند که امکان تولید اشکال سه بعدی واضح و با کیفیت را فراهم می کند که از نظر کیفیت به بهترین تصاویر دو بعدی تولید شده توسط مدل نزدیک تر هستند.
برخی از روشهای دیگر سعی میکنند این مشکل را با بازآموزی یا تنظیم دقیق مدل هوش مصنوعی مولد حل کنند که میتواند گران و زمانبر باشد.
در مقابل، تکنیک محققان MIT بدون آموزش اضافی یا پس پردازش پیچیده به کیفیت شکل سه بعدی همتراز یا بهتر از این رویکردها دست می یابد.
علاوه بر این، با شناسایی علت مشکل، محققان درک ریاضی از تقطیر امتیازی و تکنیکهای مرتبط را بهبود بخشیدهاند و کار آینده را قادر میسازد تا عملکرد را بیشتر بهبود بخشد.
آرتم لوکویانوف، دانشجوی فارغ التحصیل مهندسی برق و علوم کامپیوتر (EECS) که سرپرست نویسنده مقاله در مورد این تکنیک است، میگوید: «اکنون میدانیم به کجا برویم، که به ما امکان میدهد راهحلهای کارآمدتری پیدا کنیم که سریعتر و با کیفیتتر هستند». در دراز مدت، کار ما می تواند به تسهیل روند کمک خلبان بودن برای طراحان کمک کند و ایجاد اشکال سه بعدی واقعی تر را آسان تر کند.
همکاران لوکویانوف Haitz Sáez de Ocáriz Borde، دانشجوی کارشناسی ارشد در دانشگاه آکسفورد هستند. کریستیان گرینوالد، دانشمند محقق در آزمایشگاه هوش مصنوعی واتسون MIT-IBM. ویتور کامپاگنولو گویسیلینی، دانشمند مؤسسه تحقیقاتی تویوتا؛ تیمور باگاوتدینوف، همکار پژوهشی در متا؛ و نویسندگان ارشد وینسنت سیتزمن، استادیار EECS در MIT، که رهبری گروه نمایش صحنه در آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) را بر عهده دارد، و جاستین سولومون، دانشیار EECS و رهبر گروه پردازش داده هندسه CSAIL. این تحقیق در کنفرانس سیستم های پردازش اطلاعات عصبی ارائه خواهد شد.
از تصاویر دو بعدی گرفته تا اشکال سه بعدی
مدلهای انتشار، مانند DALL-E، نوعی مدل هوش مصنوعی مولد هستند که میتوانند تصاویر واقعی را از نویز تصادفی ایجاد کنند. برای آموزش این مدلها، محققان نویز را به تصاویر اضافه میکنند و سپس به مدل آموزش میدهند که روند را معکوس کند و نویز را حذف کند. مدلها از این فرآیند علمی «شیطانسازی» برای ایجاد تصاویر بر اساس پیامهای متنی کاربر استفاده میکنند.
اما مدل های انتشار در هنگام تولید مستقیم اشکال سه بعدی واقعی عملکرد کمتری دارند زیرا داده های سه بعدی کافی برای آموزش آنها وجود ندارد. برای دور زدن این مشکل، در سال 2022 محققان تکنیکی به نام Score Distillation Sampling (SDS) توسعه دادند که از یک مدل انتشار از پیش آموزش دیده برای ترکیب تصاویر دو بعدی در یک نمایش سه بعدی استفاده می کند.
این تکنیک شامل شروع با یک نمایش سه بعدی دلخواه، ارائه یک نمای دو بعدی از یک شی مورد نظر از زاویه دوربین دلخواه، اضافه کردن نویز به آن تصویر، حذف نویز با یک مدل انتشار، سپس بهینه سازی نمایش سه بعدی دلخواه برای مطابقت با تصویر حذف شده است. این مراحل تا زمانی که شی 3 بعدی مورد نظر تولید شود تکرار می شود.
با این حال، اشکال سه بعدی ایجاد شده به این روش تار یا بیش از حد اشباع شده به نظر می رسند.
«مدتی است که یک نقطه تنگ بوده است. ما می دانیم که مدل پایه می تواند بهتر عمل کند، اما مردم نمی دانستند چرا این اتفاق با اشکال سه بعدی رخ می دهد.”
محققان MIT مراحل SDS را مطالعه کردند و اختلاف بین فرمولی که بخش کلیدی فرآیند را نشان میدهد و همتای آن در مدلهای انتشار دوبعدی شناسایی کردند. این فرمول به مدل می گوید که چگونه نمایش تصادفی را با افزودن و حذف نویز، مرحله به مرحله به روز کند تا بیشتر شبیه تصویر مورد نظر شود.
از آنجایی که بخشی از این فرمول شامل معادله ای است که برای حل موثر آن بسیار پیچیده است، SDS آن را با نویز تصادفی در هر مرحله جایگزین می کند. محققان MIT دریافتند که این نویز باعث ایجاد اشکال سه بعدی تار یا کارتونی می شود.
جواب تقریبی
به جای تلاش برای حل دقیق این فرمول دست و پا گیر، محققان تکنیک های تقریب را تا زمانی که بهترین آنها را شناسایی کردند، آزمایش کردند. به جای نمونهبرداری تصادفی از عبارت نویز، روش تقریبی آنها عبارت گمشده را از رندر شکل سه بعدی فعلی استنتاج میکند.
او میگوید: «با انجام این کار، همانطور که تجزیه و تحلیل در مقاله پیشبینی میکند، اشکال سه بعدی تولید میکند که تیز و واقعی به نظر میرسند.
علاوه بر این، محققان وضوح رندر تصویر را افزایش دادند و برخی از پارامترهای مدل را برای بهبود بیشتر کیفیت شکل سه بعدی تنظیم کردند.
در نهایت، آنها توانستند از یک مدل پخش تصویر از پیش آموزشدیده برای ایجاد اشکال سه بعدی صاف و واقعی بدون نیاز به آموزش مجدد پرهزینه استفاده کنند. اشیاء سه بعدی مشابه آنهایی هستند که با استفاده از روش های دیگر که بر راه حل های موردی تکیه دارند تولید می شوند.
تلاش برای آزمایش کورکورانه با پارامترهای مختلف، گاهی اوقات جواب می دهد و گاهی اوقات نمی شود، اما نمی دانید چرا. می دانیم که این معادله ای است که باید حل کنیم. اکنون این به ما امکان می دهد در مورد راه های موثرتری برای حل آن فکر کنیم.”
از آنجایی که روش آنها بر یک مدل انتشار از پیش آموزش دیده متکی است، ایرادات و معایب آن مدل را به ارث می برد و آن را مستعد توهمات و سایر شکست ها می کند. بهبود مدل انتشار اولیه روند آنها را بهبود می بخشد.
محققان علاوه بر مطالعه فرمول برای اینکه ببینند چگونه می توانند آن را به طور کارآمدتر حل کنند، علاقه مند به بررسی این هستند که چگونه این بینش ها می توانند تکنیک های ویرایش تصویر را بهبود بخشند.
کار آرتم لوکویانوف توسط مرکز تحقیقات مشترک تویوتا-CSAIL تامین مالی شد. تحقیقات وینسنت سیتزمن توسط بنیاد ملی علوم ایالات متحده، آژانس علوم و فناوری دفاعی سنگاپور، وزارت کشور/ مرکز تجارت داخلی و IBM حمایت شد. تحقیقات جاستین سولومون تا حدی توسط سرویس تحقیقات ارتش ایالات متحده، بنیاد ملی علوم، برنامه آینده دادههای CSAIL، آزمایشگاه هوش مصنوعی واتسون MIT–IBM، شرکت Wistron و مرکز تحقیقات مشترک تویوتا-CSAIL تامین شد.
.jpg?itok=zLilegey)


