یادگیری زبان یادگیری ماشینی | اخبار MIT


در نهایت، او و گروهش میخواهند به افراد کمک کنند تا مدلهای یادگیری عمیق دقیقتر و قویتری طراحی کنند که با کاربرد مورد نظرشان سازگارتر باشد.
او میگوید: “ما قبلاً سیستمها را فقط با نگاه کردن به پارامترهای آنها اشکال زدایی میکردیم و میدیدیم که آیا آنها منطقی هستند یا نه. اکنون به “ذهنخوانهایی” نیاز داریم که بتوانند این محاسبات عصبی واقعاً پیچیده را بگیرند و آن را برای ما ترجمه کنند، زیرا فقط به زبانی نیست که ما انسانها میدانیم چگونه صحبت کنیم.
عشق به زبان
شیفتگی آندریاس به زبان در سنین پایین شکوفا شد. به عنوان کودکی که در منطقه خلیج سانفرانسیسکو بزرگ می شد، هر کتابی را که می توانست روی آن بگذارد، خواننده پرشور بود.
یکی از این کتابها که توسط یکی از دوستان خانوادگی به او داده شد، حاوی صحنهای کلیدی بود که در آن شخصیت اصلی یک سیستم کامپیوتری را هک کرد تا روز را نجات دهد.
این باعث علاقه او به کامپیوتر شد. چند سال بعد، پدرش یک موتور ساده بیسیک را به خانه آورد که آندریاس میتوانست روی کامپیوتر خانگی خود اجرا کند و او شروع به غوطهور شدن در دنیای برنامهنویسی کامپیوتر کرد.
آندریاس رشته علوم کامپیوتر را در مقطع کارشناسی در دانشگاه کلمبیا انتخاب کرد، اما مطمئن نبود که آیا میخواهد به عنوان یک محقق، به عنوان مهندس نرمافزار، یا در یک کسبوکار نوپا به دنبال شغلی باشد.
دوستان او برای پروژه های تحقیقاتی در آزمایشگاه های دانشکده ثبت نام کردند، بنابراین آندریاس تصمیم گرفت که او نیز این کار را امتحان کند.
او میگوید: «من همین الان به همه کسانی که در بخش علوم کامپیوتر بودند که روی چیزی مرتبط با هوش مصنوعی کار میکردند ایمیل زدم، و دانشکده پردازش زبان طبیعی ابتدا با من تماس گرفت. اینگونه شد که در زمینهای که اکنون در آن هستم، قرار گرفتم.
آندریاس با کار در آزمایشگاه مایکل کالینز، استاد علوم کامپیوتر ویکرام اس. پروژه او شامل تطبیق تکنیکهای آماری موجود برای نمایش معنای زبان در سیستمهای هوش مصنوعی قویتر است که میتوانند قسمتهایی از متن را ترجمه کنند.
او به یاد میآورد: «همیشه احساس میکردم که این سؤالات عمیقتر در مورد چگونگی عملکرد فکر یا نحوه مدلسازی جهان در مشکلات پردازش زبان به سطح نزدیکتر از سایر وظایفی است که افراد هوش مصنوعی در آن زمان روی آن کار میکردند.
جابجایی لرزه ای
او می خواست به بررسی سوالات عمیق ادامه دهد، بنابراین آندریاس در مقطع کارشناسی ارشد در دانشگاه کالیفرنیا برکلی ثبت نام کرد تا به عنوان یک محقق دانشگاهی شغلی را دنبال کند.
قبل از شروع دکترا، یک سال در مقطع کارشناسی ارشد در دانشگاه کمبریج انگلستان گذراند. در این موقعیت تاریخی، او الهام گرفت تا ماهیت یادگیری زبان را در حین کار بر روی مسائل ترجمه محاسباتی در نظر بگیرد.
این مطالعات زمانی که به آزمایشگاه پروفسور علوم کامپیوتر برکلی دن کلاین پیوست، به تحقیقات او دامن زد.
آندریاس مطالعات خود را در زمانی آغاز کرد که شبکه های عصبی شروع به توسعه کردند. حوزه پردازش زبان طبیعی در حال ایجاد یک تغییر لرزه ای از روش های آماری به این دنیای جدید یادگیری عمیق بود.
روشهای آماری از فرمولهای ریاضی شفاف برای تجزیه و تحلیل متن استفاده میکنند، در حالی که تکنیکهای یادگیری عمیق از الگوریتمهای غیرشفاف برای یادگیری خودکار معانی پیچیده از مقادیر گسترده دادههای متنی استفاده میکنند.
آندریاس میگوید: «حضور در آنجا لذت بخش بود، زیرا ما این انتقال را به ابزار مدرن انجام دادیم و همه این چیزها را زمانی که هنوز جدید بود یاد گرفتیم و فهمیدیم.
او شروع به همکاری با دانشمندان در آزمایشگاههای بینایی کامپیوتر کرد تا به سوالات پیچیدهتر در مورد یادگیری زبان رسیدگی کند. آنها با هم، سیستمهای هوش مصنوعی را ایجاد کردند که با آموزش این سیستمها برای «دیدن» و درک دنیای اطراف، در تولید زبان طبیعی برتری داشتند.
او به یاد می آورد: “همه اینها بسیار هیجان انگیز بود، زیرا واقعاً مجموعه ای از ابزارهای مشترک برای کار با داده های زبانی و بصری وجود نداشت. سپس ناگهان شبکه های عصبی این زبان مشترک را به ما دادند.”
او پروژه پایان نامه ای را در مورد استفاده از شبکه های ماژول عصبی، که قطعات کوچکی از شبکه های عصبی هستند که وظایف خاصی مانند محلی سازی شی یا استدلال منطقی را در یک سیستم هوش مصنوعی بزرگتر انجام می دهند، به پایان رساند. اما این پروژههای گمانهزنانهتری بود که او در کنار تز خود انجام داد، مانند تفسیرپذیری و ایجاد توصیفهایی به زبان طبیعی از حالات داخلی یک مدل هوش مصنوعی، که تمرکز گروهش را در MIT جلب کرد.
تمرکز هیئت علمی
آندریاس پس از گذراندن یک سال در استارتاپ Semantic Machines (که در آزمایشگاه او در برکلی رشد کرد)، در سال 2019 به دانشکده MIT پیوست.
او میگوید: «احساس میکردم که این یک فرصت فوقالعاده بود که در خانه تحقیقات هوش مصنوعی باشم و با همه این افراد شگفتانگیز و جاافتاده همکاری کنم، اما همچنین کاری جدید انجام دهم و بفهمم که دوران مدرن در یادگیری ماشینی چگونه خواهد بود».
گروه او بر دو حوزه اصلی تمرکز دارد. اول، آنها علم مدلهای زبان بزرگ را مطالعه میکنند تا الگوریتمهایی را که این مدلها هنگام یادگیری و پردازش اطلاعات پیادهسازی میکنند، درک کنند.
ابزارهایی که آنها توسعه می دهند به دانشمندان و محققان کمک می کند تا بهتر پیش بینی کنند که یک مدل آموزش دیده در دنیای واقعی چگونه رفتار می کند. به عنوان مثال، یک خانواده از تکنیکهایی که آنها توسعه دادند، مدلهای زبان بزرگ را آموزش میدهند تا با استفاده از زبانی که انسان میتواند آن را درک کند، آنچه در شبکههای عصبی دیگر اتفاق میافتد توضیح دهد.
این تکنیک ها می توانند یک توصیف زبان طبیعی را به هر گره پردازش اطلاعات در یک شبکه عصبی عظیم اختصاص دهند. به عنوان مثال، یکی از این توضیحات ممکن است یک گره واحد باشد که “علف خالدار نزدیک حیوانات” را در تصاویر ورودی شناسایی می کند.
او میگوید: «این کار بهعنوان نقطه شروعی برای یکسری سؤالات سطح بالاتری است که ما در مورد اینکه این الگوها چگونه معنا را نشان میدهند، میپرسیم».
از سوی دیگر، تیم او الگوریتمهای جدیدی را برای آموزش مدلهای یادگیری ماشین و پیشبینی اینکه چگونه مجموعه دادهها یا نمونههای خاص بر جنبههای مختلف رفتار مدل تأثیر میگذارند، طراحی میکنند.
او میگوید: «ما تئوری علمی خوبی در مورد اینکه وقتی یک مدل را بر روی یک مجموعه داده خاص آموزش میدهید، چه اتفاقی میافتد، نداریم. این یک چالش بزرگ برای این رشته در حال حاضر است.
یک محیط در حال تغییر
سرعت پیشرفت هوش مصنوعی یکی از بزرگترین چالش های پیش روی آزمایشگاه او است. آندریاس میگوید که به نظر میرسد هر سه تا پنج سال یکبار این رشته کاملاً تغییر میکند و او را مجبور میکند زیرک بماند و آماده یادگیری چیزهای جدید باشد.
همین معضل به دوره های 6.461 و 6.861 (کارشناسی و کارشناسی ارشد پردازش زبان طبیعی) که آندریاس به طور مشترک تدریس می کند، می شود. او و مربیان همکارش باید هر سال دوره را دوباره طراحی کنند تا از آخرین پیشرفتها مطلع شوند.
همچنین آموزش بخشهای فنی یادگیری ماشین در عصری که هر کار میتواند توسط یک مدل زبان بزرگ به جای زبانآموز انسانی انجام شود، چالش برانگیز است.
او میگوید: «من سعی میکنم دانشآموزان را تحت تأثیر قرار دهم که داشتن یک پایه واقعاً عمیق در نحوه عملکرد این فناوری تنها راهی است که آنها آن را درک میکنند و آنها را در دنیایی که همه به یک عامل کدنویسی دسترسی دارند متمایز میکند».
آندریاس میگوید با تغییرات بسیار زیاد، پیشبینی اینکه میدان به کجا خواهد رفت، دشوار است. او پیشبینی میکند که کار گروهش در زمینه تفسیرپذیری برای ایمن کردن سیستمهای پیشرفته مانند عوامل هوش مصنوعی به اندازه کافی برای استقرار در موقعیتهای پرمخاطره مهمتر میشود.
این امر به ویژه زمانی صادق خواهد بود که محققان مدل های یادگیری عمیق را طراحی کنند که می تواند به کشف علمی کمک کند. این مدلها بر روی دادههای خام از آزمایشگاههای تحقیقاتی آموزش داده میشوند که ممکن است هنوز به خوبی توسط دانشمندان درک نشده باشند.
او میگوید: «پیدا کردن اینکه چگونه میتوان این مدلها را قادر ساخت تا تمام این دانش ضمنی را که درباره چیزهایی که انسانها هرگز به صراحت درباره آنها ننوشتهاند، به زبان بیاورند، برای افرادی که در یادگیری ماشین کار میکنند، یک چالش و فرصت بزرگ خواهد بود.»
آندریاس علاوه بر مقابله با چالش ها در آزمایشگاه، از یک کوهنورد و یک کوهنورد لذت می برد. او از دوران کودکی خود در کالیفرنیا از گذراندن وقت در خارج از منزل لذت می برد و هر تابستان حداقل به یک یا دو سفر کوله پشتی می رود.
او و یکی از همکارانش در دپارتمان ریاضی در حال کار کردن در تمام قلههای 4000 فوتی در کوههای سفید نیوهمپشایر هستند و پیشرفت آهسته اما پیوسته دارند.
و اکنون که او برنده شده است، آندریاس مشتاقانه منتظر بازگشت به سرگرمی قدیمی خود یعنی آواز خواندن در یک گروه کر مجلسی است. او همیشه از موسیقی لذت میبرد و در دوران تحصیل در دانشگاه کمبریج عاشق گروههای کر کلیسای کوچک و نواختن زنگها شد.



