پرسش و پاسخ: امکان تعامل و درک بیشتر انسانی در مدلهای چندوجهی بر اساس | اخبار MIT


انسان از طریق اطلاعات حسی جهان را تجربه کرده و با آن در تعامل است. این ممکن است به معنای یادگیری تطابق بین صدای جیر جیر پرندگان و کلمه “رابین” باشد یا اینکه بتوانید دوست خود “سارا” را در انبوهی از مردم شناسایی کرده و دنبال کنید. در بسیاری از موارد، افراد میتوانند از دانش نهفته «چند وجهی» خود استفاده کنند – اطلاعات در انواع دادههای مختلف، از صدا گرفته تا ویدیو گرفته تا متن یا کلام گفتاری – برای انجام این وظایف بدون مثالهای فراوان یا حتی گاهی اوقات.
خطوط پایه هوش مصنوعی چندوجهی به طور فزاینده ای قابلیت هایی را به دست می آورند که شبیه این هستند. با این حال، تسلط ظاهری چندوجهی آنها اغلب درک واقعی آنها را رد می کند. یک تیم آزمایشگاه تحقیقات محاسباتی MIT-IBM، به سرپرستی جیم گلس، محقق ارشد در آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT، در حال بررسی خرابیهای مهم مدلهای چندوجهی پیشرفته و توسعه معیارها و روشهای کارآمد داده برای غلبه بر این شکافهای عملکردی با نظارت محدود است. او در گفت و گوی زیر از این اثر می گوید.
س: اهداف شما برای این پروژه چه بود و چرا میخواهید نقاط ضعف مدلهای هوش مصنوعی را نسبت به مدلهای بزرگتر برطرف کنید؟
الف: این پروژه سالهاست که تقریباً با همان تیم کارشناسان گفتار و بینایی MIT-IBM در حال انجام است. ما میخواستیم رابطه بین ادراک (چیزهایی که میبینید و میشنوید) و زبان را به طور کلی بررسی کنیم: ما همه این دانش آموختهشده و مهارتهای زبانی مبتنی بر متن را در قالب یک مدل زبان بزرگ داریم، بنابراین میخواستیم بدانیم چگونه میتوانید آنها را بدون استفاده از یک دسته کامل از دادههای آموزشی مشروح به هم متصل کنید. گاهی اوقات مدلها پدیدههای خاصی را دیدهاند، بازنمایی نهفته از چیزی که در درون خود دارند، اما ممکن است به دلیل تنظیم دقیق بعدی یا چیزی دیگر، این پدیده ناپدید شود، بنابراین توسعه تکنیکهایی برای تلاش برای ظهور مجدد آن توانایی، چیز مفیدی است.
همانطور که این مدلهای در دسترس عموم را مطالعه میکنید، حتی در مدلهای بزرگ نیز میتوانید ضعفهایی را مشاهده کنید، بنابراین فکر میکنم تلاش برای رفع این محدودیتها مهم است. اگر بودجه نامحدودی دارید، میتوانید بیرون بروید و حاشیهنویسیهای مورد نیاز خود را ایجاد کنید، اما همچنین خوب است که بتوانید سعی کنید این مدلها به تنهایی اطلاعات بیشتری کسب کنند. ما این کار را با ایجاد معیارهای جدیدی انجام دادیم که بتوانیم آن ها را ارزیابی کنیم، سپس تکنیک هایی را توسعه دادیم که روی آن معیارها عملکرد بهتری داشتند و آن مدل ها را به تنهایی یاد گرفتند. در طول همکاری تحقیقاتی خود – و این یک همکاری بسیار قوی بین MIT و IBM بود – ما همچنان به انتشار معیارهای عمومی برای استفاده مردم ادامه دادیم و این یک مصنوع ماندگار است.
من فکر میکنم مضامین غالب چندوجهی بودن با مدلهای زبانی، تلاش برای مقابله با کاستیهای آن مدلها، و تلاش برای توسعه تکنیکهایی است که برای انجام بهتر وظایف به دادههای حاشیهنویسی زیادی نیاز ندارد.
س: آیا می توانید به ما بگویید که پروژه چگونه پیشرفت کرد؟
الف: وقتی برای اولین بار این پروژه را شروع کردیم، سعی میکردیم مدلهایی بسازیم که بتوانند مکاتبات را به طور خودکار یاد بگیرند، بدون اینکه به دستگاه چیزی بیش از «این شرح صوتی با این تصویر میآید» بگوییم، شبیه خواندن یک کتاب تصویری برای کودکی که در حال یادگیری زبان است. ما فقط میخواهیم آن نمونههای منطبق را به او نشان دهیم و نمونههای غیر همسان را به او نشان دهیم. آنها می توانند یاد بگیرند که رشته صداهایی که می گوید “فانوس دریایی” با تصویر یک فانوس دریایی بدون متن مطابقت دارد.
حرکت فراتر از گفتار شامل صدای کلی بود و سپس ما شروع به تماشای ویدیو به جای تصاویر ثابت کردیم. ما مدل را با نشان دادن تطبیق دنبالههای ویدئویی با جریان صوتی مربوطه و سپس عدم تطابق آنها، آموزش میدهیم و از آن میخواهیم آنها را بازسازی کند. ما همچنین برخی از تصاویر یا صدا را ماسک می کنیم و مدل را بازسازی می کنیم. مدل ارتباطات قوی را یاد خواهد گرفت. سپس، بسیار فراتر از گفتار، یاد خواهد گرفت که طوطی ها چه صدایی دارند، یا مثلاً گیتار الکتریک در مقابل گیتار آکوستیک.
سپس زمانی که این مدلهای بزرگ زبان شروع به عرضه کردند – و این در روزهای اولیه قبل از انجام آن توسط شرکتهای بزرگ بود – ما شروع به یادگیری تطابق بین صدا و زبان کردیم. از آن زمان این مدلهای چندوجهی بزرگ در دسترس قرار گرفتهاند و ما شروع به بررسی برخی از محدودیتهای این مدلها کردهایم و سعی میکنیم آنها را با این تکنیکهای کم و بیش کنترلشده بهبود دهیم.
س: درباره برخی از نکات برجسته اخیر کارتان چه می گویید؟
الف: مطالعه IPLoc ما به این واقعیت پرداخته است که این مدلهای پیشرفته، مانند GPT-40، نمیتوانند اشیاء خاصی را پیدا کنند، تنها با چند مثال. ما به این تکنیک رسیدیم که آن را با جایگزینی مستعار آموزش میدادیم. یک مثال وجود دارد که در آن “هواپیما” را با “الیزابت” جایگزین کردیم. این امر مدل را مجبور می کند به چیزهایی که قبلاً در مورد آنها آموخته است اشاره نکند و به زمینه بصری توجه بیشتری داشته باشد.
سپس یک سند مبتنی بر صوتی به نام OmniR1 داشتیم که مدلهای پخش صدا را بررسی میکرد، بنابراین اینها مدلهایی هستند که میتوانند به چیزی گوش دهند و در مورد آن صحبت کنند. یکی از چیزهای نگران کننده ای که متوجه شدیم این است که برخی از این شاخص ها پاسخ های چند گزینه ای هستند. بسیاری از اوقات این مدل ها در واقع به صدا گوش نمی دهند، اما با نگاه کردن به پاسخ، تقریباً با سؤال بازی می کنند. کدام حیوان در این صدا غرش می کند – مثل سنجاب، شیر، تمساح و بچه جوجه یا چیزی؟ حتی به صدا هم توجهی نمی کند [but] فقط گفت: “اوه، شیر.” بخشی از دلایلی که مردم این کار را انجام می دهند به این دلیل است که ارزیابی آن آسان است، در حالی که اگر پاسخ متنی را درخواست می کردید، باید به نحوی ارزیابی کنید که آیا دقیق است یا خیر. آیا مردم را وادار میکنید که به آن امتیاز دهند، که میتواند گران و زمانبر باشد، یا از مدل زبان دیگری برای قضاوت استفاده میکنید، که میتواند مجموعهای از مشکلات خاص خود را داشته باشد؟ یکی از راههای مقابله با این موضوع، ارزیابی این مدلها بر اساس انواع مختلف معیارها است.
ما متوجه شدیم که شما می توانید هر سر و صدایی ایجاد کنید و آنها هنوز هم عملکرد خوبی داشتند، که نشان می دهد آنها فقط به این موضوع توجه می کنند. از این رو سعی کردیم روش هایی را توسعه دهیم تا او به صوت بیشتر توجه کند و این رفتار را به حداقل برساند.
س: با توجه به محدودیتهای منابع، رویکرد شما برای تطبیق این مدلهای بنیادی بزرگ چیست و از چه ترکیبی از روشهای هوش مصنوعی و الگوریتمی استفاده میکنید که به دادههای مشروح گسترده نیاز ندارد؟
الف: ما این روزها نمی توانیم یکی از این مدل های پایه بسیار بزرگ را خودمان بسازیم. ما منابع لازم برای انجام این کار را نداریم، بنابراین تمایل داریم از این مدلهای موجود استفاده کنیم و سعی میکنیم آنها را تطبیق دهیم، آنها را به روشی با نظارت ضعیف آموزش دهیم، روشهایی که به دادههای زیادی نیاز ندارند، مانند کار ما در یادگیری تقویتی در زمان آزمون.
پروژه ما یکپارچه نبود، به این معنا که همه ما روی یک چیز کار نمی کردیم. بیشتر شبیه شکوفه دادن هزاران گل است، بنابراین روش خاصی برای برخورد با مسائل وجود ندارد.
س: در آینده نزدیک، توسعه تحقیقات چندوجهی را در تیم تحقیقاتی MIT-IBM خود چگونه می بینید؟
الف: در طول سالها، احتمالاً حدود دوجین مقاله مشترک مهم تولید کردهایم، و در طول این کار برای من شگفتانگیز بود که ماشینها میتوانند این مکاتبات را بدون اینکه چیزی به آنها گفته شود، یاد بگیرند. هیچ کس قبل از ما نشان نداده بود که ماشین ها می توانند این کار را انجام دهند. برخی از کارهای اولیه ما برای ترکیب صدا با مدلهای زبان بزرگ نیز جالب بود: دیدن صحبتهای مدل در مورد آنچه شنیده و سپس گفتگو با آن. ما اکنون شروع کرده ایم به این امر بدیهی نگاه می کنیم، اما در آن زمان دیدن آن جالب بود.
با حرکت رو به جلو، برای سال آینده، با همکاری MIT-IBM، دندهها را کمی تغییر میدهیم و بیشتر روی سیستمهایی که به عنوان سیستمهای گفتگوی گفتاری تمام دوبلکس شناخته میشوند، تمرکز میکنیم. این مدلهایی هستند که در حین صحبت کردن گوش میدهند، بنابراین بیشتر به نحوه کار افراد مربوط میشود، و کاملاً با آنچه تاکنون انجام دادهایم، که کار مشترک سمعی و بصری است، متفاوت است، که ما نیز به آن ادامه خواهیم داد.
اکنون میخواهیم روی جنبههای صحبت کردن تمرکز کنیم. این مدلهای کامل دوبلکس ناگهان به یک چیز جالب تبدیل شدند زیرا شما را از رویکرد متناوب سختی که در حال حاضر هنگام صحبت با برخی از این مدلها استفاده میشود دور میکنند. در نهایت، من فکر می کنم که تعامل با آنها طبیعی تر خواهد بود.
این مدلهای تمام دوبلکس به تازگی ظاهر میشوند و برخی از مدلهایی که در دسترس عموم هستند به خوبی مدلهای بزرگ و بزرگ زبان نیستند. آنها می توانند برخی از این مهارت های ارتباطی سطح پایین را مدیریت کنند، اما هنوز برخی چیزها مانند مفهوم زمان یا عمق دانش را ندارند. بنابراین ما در تلاش برای رسیدگی به برخی از این مسائل هستیم.
این تحقیق با هماهنگی تیم هایی در آزمایشگاه تحقیقات محاسباتی MIT-IBM در انجام شد روجریو فریس، برایان کینگزبری، و ساموئل توماس از IBM Research و هیلده کوئنه از دانشگاه توبینگن، که یک محقق وابسته به MIT-IBM استr




