چندین مدل هوش مصنوعی به ربات ها کمک می کند تا برنامه های پیچیده را با شفافیت بیشتری اجرا کنند | اخبار MIT


لیست کارهای روزانه شما احتمالاً بسیار ساده است: ظرف ها را بشویید، مواد غذایی بخرید، و چیزهای کوچک دیگر. بعید است که نوشته باشید «اولین ظرف کثیف را بردارید» یا «آن بشقاب را با یک اسفنج بشویید» زیرا هر یک از این مراحل کوچک در کار احساس راحتی می کند. اگرچه ما میتوانیم به طور معمول هر مرحله را بدون فکر زیاد اجرا کنیم، یک ربات به یک طرح پیچیده نیاز دارد که شامل خطوط کلی تری باشد.
آزمایشگاه هوش مصنوعی غیرممکن MIT، گروهی در آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL)، به این ماشینها با یک چارچوب چندوجهی جدید کمک کرده است: مدل های بنیادی ترکیبی برای برنامه ریزی سلسله مراتبی (HiP)، که برنامه های دقیق و عملی را با تجربه سه مدل پایه مختلف توسعه می دهد. مانند GPT-4 OpenAI، مدل اساسی که ChatGPT و Bing Chat بر روی آن ساخته شدهاند، این مدلهای زیربنایی بر روی حجم عظیمی از دادهها برای برنامههایی مانند تولید تصویر، ترجمه متن و روباتیک آموزش داده میشوند.
بر خلاف RT2 و سایر مدلهای چندوجهی، که بر روی دادههای بینایی، زبان و عمل جفتی آموزش دیدهاند، HiP از سه مدل زیربنایی مختلف استفاده میکند که هر کدام بر روی روشهای داده متفاوتی آموزش دیدهاند. هر مدل بنیادی بخش متفاوتی از فرآیند تصمیمگیری را به تصویر میکشد و زمانی که زمان تصمیمگیری فرا میرسد با هم کار میکند. HiP نیاز به دسترسی به دادههای بینایی، زبان و عمل جفت شده را که به سختی به دست میآید را حذف میکند. HiP همچنین فرآیند استدلال را شفاف تر می کند.
آنچه برای یک انسان کار روزانه در نظر گرفته میشود، میتواند «هدف بلندمدت» یک ربات باشد – یک هدف فراگیر که ابتدا شامل اجرای بسیاری از مراحل کوچکتر است – که نیاز به دادههای کافی برای برنامهریزی، درک و اجرای اهداف دارد. در حالی که محققان بینایی کامپیوتر سعی کردهاند مدلهای زیربنایی یکپارچه برای این مشکل بسازند، ترکیب دادههای زبانی، بصری و عملی گران است. در عوض، HiP یک دستور العمل متفاوت و چندوجهی را نشان می دهد: سه گانه ای که هوش زبانی، فیزیکی و محیطی را به طور ارزان در یک ربات گنجانده است.
جیم فان، محقق هوش مصنوعی انویدیا، که در این مقاله نقشی نداشت، میگوید: «مدلهای زیربنایی نباید یکپارچه باشند. این کار وظیفه پیچیده برنامهریزی عامل تجسمیافته را به سه مدل تشکیلدهنده تجزیه میکند: یک استدلال زبانی، یک مدل دنیای بصری، و یک برنامهریز عمل. این یک مشکل تصمیم گیری دشوار را قابل حل تر و شفاف تر می کند.”
این تیم بر این باور است که سیستم آنها می تواند به این ماشین ها کمک کند تا کارهای خانگی را انجام دهند، مانند کنار گذاشتن کتاب یا قرار دادن یک کاسه در ماشین ظرفشویی. علاوه بر این، HiP می تواند در ساخت و ساز و کارهای ساخت چند مرحله ای، مانند چیدن و قرار دادن مواد مختلف در توالی های خاص، کمک کند.
ارزیابی HiP
تیم CSAIL دقت HiP را بر روی سه کار کنترلی آزمایش کرد و از فریم های قابل مقایسه بهتر بود. این سیستم مبتنی بر توسعه برنامه های هوشمند است که با اطلاعات جدید سازگار است.
ابتدا محققان از او خواستند که بلوک های رنگی مختلف را روی هم چیده و سپس بقیه را در نزدیکی خود قرار دهد. نکته: برخی از رنگهای مناسب وجود نداشتند، بنابراین ربات مجبور شد بلوکهای سفید را در یک کاسه رنگی قرار دهد تا آنها را رنگ کند. HiP اغلب دقیقاً با این تغییرات تنظیم میشود، بهویژه در مقایسه با سیستمهای پیشرفته برنامهریزی وظایف مانند Transformer BC و Action Diffuser، و نقشههای خود را برای چیدمان و قرار دادن هر مربع در صورت نیاز تنظیم میکند.
تست دیگر: قرار دادن اشیایی مانند آب نبات و چکش در جعبه قهوه ای در حالی که اشیاء دیگر را نادیده می گیرد. برخی از وسایلی که او باید جابهجا میکرد کثیف بودند، بنابراین HiP برنامههای خود را طوری تنظیم کرد که آنها را در جعبه تمیز کردن و سپس در سطل قهوهای قرار دهد. در نمایش سوم، ربات توانست اشیاء غیر ضروری را برای تکمیل اهداف فرعی آشپزخانه مانند باز کردن مایکروویو، پاک کردن کتری از سر راه و روشن کردن چراغ نادیده بگیرد. برخی از مراحل درخواست شده قبلا انجام شده بودند، بنابراین ربات با رد کردن آن دستورات سازگار شد.
سلسله مراتب سه سطحی
فرآیند برنامه ریزی سه جانبه HiP به عنوان یک سلسله مراتب کار می کند، با توانایی پیش آموزش هر یک از اجزای آن بر روی مجموعه داده های مختلف، از جمله اطلاعات غیر رباتیک. در انتهای این خط یک مدل زبان بزرگ (LLM) وجود دارد که با گرفتن تمام اطلاعات نمادین لازم و ایجاد یک برنامه کاری انتزاعی شروع به تولید ایده می کند. این مدل با استفاده از عقل سلیمی که در اینترنت پیدا می کند، هدف خود را به اهداف فرعی تقسیم می کند. مثلاً «نوشیدن یک فنجان چای» تبدیل به «پر کردن قابلمه از آب»، «جوش انداختن دیگ» و اقدامات لازم بعدی می شود.
Anurag Ajay، دانشجوی دکترا در دپارتمان مهندسی برق و علوم کامپیوتر MIT (EECS) و یکی از شرکتهای وابسته به CSAIL، میگوید: «تمام آنچه ما میخواهیم انجام دهیم این است که مدلهای از پیش آموزشدیده موجود را انتخاب کنیم و آنها را با موفقیت در تعامل با یکدیگر قرار دهیم. به جای اصرار بر اینکه یک مدل همه کارها را انجام دهد، چندین مورد را با هم ترکیب می کنیم که از روش های مختلف داده اینترنتی استفاده می کنند. هنگامی که به صورت پشت سر هم استفاده می شوند، به تصمیم گیری رباتیک کمک می کنند و به طور بالقوه می توانند در انجام وظایف در خانه ها، کارخانه ها و سایت های ساختمانی کمک کنند.
این مدل ها همچنین به نوعی «چشم» نیاز دارند تا محیطی را که در آن کار می کنند درک کنند و هر هدف فرعی را به درستی تکمیل کنند. این تیم از یک مدل پخش ویدئویی بزرگ برای تقویت برنامه ریزی اولیه تکمیل شده توسط LLM استفاده کرد که اطلاعات هندسی و فیزیکی درباره جهان را از تصاویر اینترنتی جمع آوری می کرد. به نوبه خود، مدل ویدیویی یک طرح مسیر رصدی ایجاد میکند و طرح کلی LLM را برای ترکیب دانش فیزیکی جدید اصلاح میکند.
این فرآیند، که به عنوان پالایش تکراری شناخته میشود، به HiP اجازه میدهد تا ایدههای خود را بازتاب دهد و در هر مرحله بازخورد دریافت کند تا یک طرح کلی عملیتر ایجاد کند. جریان بازخورد مشابه نوشتن یک مقاله است که نویسنده میتواند پیشنویس خود را برای ویرایشگر ارسال کند و با این ویرایشها که در آن گنجانده شده است، ناشر تغییرات نهایی را بررسی کرده و نهایی میکند.
در این مورد، بالای سلسله مراتب یک مدل کنش خود محور یا مجموعه ای از تصاویر اول شخص است که استنباط می کند که بر اساس محیط اطراف چه اقداماتی باید انجام شود. در طول این مرحله، طرح دید از مدل ویدئویی بر روی فضای قابل مشاهده برای ربات ترسیم می شود و به ماشین کمک می کند تا تصمیم بگیرد که چگونه هر کار را در چارچوب هدف افق بلند انجام دهد. اگر رباتی از HiP برای تهیه چای استفاده کند، به این معنی است که دقیقاً محل قابلمه، سینک و سایر عناصر کلیدی بصری را مشخص کرده و شروع به تکمیل هر هدف فرعی خواهد کرد.
با این حال، کار چندوجهی به دلیل فقدان مدل های پایه ویدیویی با کیفیت بالا محدود شده است. پس از در دسترس قرار گرفتن، آنها می توانند با مدل های ویدئویی کوچک HiP تعامل کنند تا پیش بینی توالی بصری و تولید عمل ربات را بهبود بخشند. یک نسخه با کیفیت بالاتر نیز نیازهای داده فعلی مدل های ویدیویی را کاهش می دهد.
همانطور که گفته شد، رویکرد تیم CSAIL تنها از بخش کوچکی از داده ها به طور کلی استفاده می کند. علاوه بر این، آموزش HiP ارزان بود و پتانسیل استفاده از مدلهای بنیادی در دسترس را برای انجام وظایف بلندمدت نشان داد. «آنچه آنوراگ نشان داد، اثباتی بر این مفهوم است که چگونه میتوانیم مدلهای آموزشدیده در وظایف و روشهای داده جداگانه را انتخاب کنیم و آنها را در مدلهایی برای برنامهریزی روباتیک ترکیب کنیم. Pulkit Agrawal، نویسنده ارشد، استادیار MIT در EECS و مدیر آزمایشگاه هوش مصنوعی Improbable، گفت: در آینده، HiP میتواند با مدلهای از پیش آموزشدیدهای تقویت شود که میتوانند لمس و صدا را برای برنامهریزی بهتر پردازش کنند. این گروه همچنین در حال بررسی کاربرد HiP برای حل کارهای دنیای واقعی و افق بلند در رباتیک است.
آجی و آگراوال نویسندگان اصلی الف کاغذ شرح شغل. استادان MIT و محققین اصلی CSAIL تامی یاکولا، جاشوا تننباوم و لزلی پک کیلبلینگ به آنها ملحق می شوند. آکاش سریواستاوا، وابسته به تحقیقات CSAIL و مدیر تحقیقات آزمایشگاه هوش مصنوعی MIT-IBM. دانشجویان تحصیلات تکمیلی Seungwook Han and Yilun Du ’19; فوق دکترای سابق آبیشک گوپتا، که اکنون استادیار دانشگاه واشنگتن است. و دانشجوی فارغ التحصیل سابق شوانگ لی PhD ’23.
کار این تیم تا حدی توسط بنیاد ملی علوم، آژانس پروژههای تحقیقاتی پیشرفته دفاعی ایالات متحده، سرویس تحقیقات ارتش ایالات متحده، ابتکارات تحقیقاتی چند رشتهای دفتر تحقیقات دریایی ایالات متحده و آزمایشگاه هوش مصنوعی MIT-IBM Watson پشتیبانی شد. یافته های آنها در کنفرانس سال 2023 در مورد سیستم های پردازش اطلاعات عصبی (NeurIPS) ارائه شد.



