چگونه تقارن می تواند به یادگیری ماشین کمک کند | اخبار MIT


بهروز طهماسبی – دانشجوی دکترای MIT در گروه مهندسی برق و علوم کامپیوتر (EECS) و وابسته به آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) – در اواخر سال 2021 در حال گذراندن یک دوره ریاضی در معادلات دیفرانسیل بود که یک جرقه الهام بود. رخ داد . در این کلاس، او برای اولین بار با قانون ویل آشنا شد که 110 سال قبل توسط ریاضیدان آلمانی هرمان ویل تدوین شده بود. طهماسبی متوجه شد که ممکن است ارتباطی با مشکل علوم کامپیوتری داشته باشد که در آن زمان با آن دست و پنجه نرم می کرد، اگرچه این ارتباط – در ظاهر – در بهترین حالت ضعیف به نظر می رسید. او میگوید قانون ویل فرمولی را ارائه میکند که پیچیدگی اطلاعات یا دادههای طیفی موجود در فرکانسهای اصلی یک سر درام یا سیم گیتار را اندازهگیری میکند.
در همان زمان، طهماسبی به اندازهگیری پیچیدگی دادههای ورودی به یک شبکه عصبی فکر میکرد و به این فکر میکرد که آیا میتوان این پیچیدگی را با در نظر گرفتن برخی از تقارنهای ذاتی در مجموعه داده کاهش داد. چنین کاهشی به نوبه خود می تواند فرآیندهای یادگیری ماشین را تسهیل و همچنین سرعت بخشد.
قانون ویل، که حدود یک قرن قبل از رونق یادگیری ماشین تصور شد، به طور سنتی در بسیاری از موقعیتهای فیزیکی مختلف به کار میرفت – مانند مواردی که مربوط به ارتعاشات یک رشته یا طیف تابش الکترومغناطیسی (جسم سیاه) ساطع شده از یک جسم گرم شده است. با این حال طهماسبی معتقد بود که نسخه سفارشی شده این قانون می تواند به مشکل یادگیری ماشینی که او دنبال می کند کمک کند. و اگر رویکرد موفقیت آمیز باشد، بازده می تواند قابل توجه باشد.
او با مشاور خود، استفانی جگلکا – دانشیار در EECS و وابسته به CSAIL و موسسه داده، سیستمها و جامعه MIT – صحبت کرد که معتقد است این ایده قطعا ارزش بررسی دارد. همانطور که طهماسبی دید، قانون ویل در مورد اندازه گیری پیچیدگی داده ها بود و این پروژه هم همینطور. اما قانون ویل در شکل اصلی خود چیزی در مورد تقارن نمی گوید.
او و جگلکا قبلاً قادر بودند قانون ویل را اصلاح کنند تا تقارن بتواند در تخمین پیچیدگی مجموعه داده گنجانده شود. طهماسبی میگوید: «تا آنجا که من میدانم، این اولین باری است که قانون ویل برای تعیین اینکه چگونه یادگیری ماشین را میتوان با تقارن بهبود بخشید، استفاده میشود.»
را کاغذ او و جگلکا نوشتند که وقتی در کنفرانس دسامبر 2023 در مورد سیستمهای پردازش اطلاعات عصبی ارائه شد – که به طور گستردهای به عنوان برترین کنفرانس یادگیری ماشین در جهان شناخته میشود، برنده جایزه Spotlight شدند.
Soledad Villar، ریاضیدان کاربردی در دانشگاه جانز هاپکینز، اظهار داشت: این کار نشان میدهد که مدلهایی که تقارن مسئله را برآورده میکنند نه تنها درست هستند، بلکه میتوانند با استفاده از مقدار کمی از نقاط برای آموزش، پیشبینیهایی با خطاهای کوچکتر ایجاد کنند. [This] به ویژه در زمینه های علمی، مانند شیمی محاسباتی، که در آن داده های آموزشی ممکن است پراکنده باشد، مهم است.
طهماسبی و جگلکا در مقاله خود به بررسی راه هایی می پردازند که از طریق آن تقارن ها یا به اصطلاح «ناواریانس ها» می توانند برای یادگیری ماشین مفید باشند. به عنوان مثال، فرض کنید که هدف یک کامپیوتر خاص انتخاب هر تصویری است که دارای عدد 3 است. این کار می تواند بسیار ساده تر و سریعتر انجام شود اگر الگوریتم بتواند 3 را بدون توجه به جایی که در کادر قرار داده شده است شناسایی کند. چه درست در مرکز باشد چه در پهلو – و چه سمت راست به سمت بالا، وارونه، یا در هر زاویه ای جهت یابی شود. یک الگوریتم مجهز به قابلیت دوم می تواند از تقارن های انتقالی و چرخشی استفاده کند، به این معنی که 3 یا هر جسم دیگری با تغییر موقعیت خود یا چرخش آن حول یک محور دلخواه خود را تغییر نمی دهد. گفته می شود که نسبت به این تغییرات تغییر نمی کند. همین منطق را می توان برای الگوریتم هایی که وظیفه شناسایی سگ یا گربه را دارند اعمال کرد. سگ بدون توجه به اینکه چگونه در تصویر گنجانده شده است، می توان گفت که یک سگ است.
نویسندگان توضیح میدهند که هدف کل تمرین، بهرهبرداری از تقارنهای ذاتی مجموعه دادهها برای کاهش پیچیدگی وظایف یادگیری ماشین است. این به نوبه خود می تواند میزان داده های مورد نیاز برای آموزش را کاهش دهد. به طور خاص، کار جدید به این سوال پاسخ می دهد: اگر داده ها دارای تقارن باشند، چقدر داده کمتری برای آموزش یک مدل یادگیری ماشین لازم است؟
دو راه برای دستیابی به سود یا سود با سرمایه گذاری بر تقارن موجود وجود دارد. اولی مربوط به حجم نمونه است که باید در نظر گرفته شود. بیایید تصور کنیم که شما وظیفه دارید، برای مثال، تصویری را که دارای تقارن آینه ای است، تجزیه و تحلیل کنید – سمت راست یک کپی دقیق یا تصویر آینه ای از سمت چپ است. در این مورد، لازم نیست به هر پیکسل نگاه کنید. شما می توانید تمام اطلاعات مورد نیاز خود را از نیمی از تصویر به دست آورید – ضریب دو پیشرفت. از طرف دیگر، اگر بتوان تصویر را به 10 قسمت مساوی تقسیم کرد، می توانید ضریب افزایش 10 را دریافت کنید. این نوع افکت افزایش خطی است.
برای مثال دیگر، تصور کنید که یک مجموعه داده را غربال میکنید و سعی میکنید دنبالههایی از بلوکها را بیابید که هفت رنگ مختلف دارند – سیاه، آبی، سبز، بنفش، قرمز، سفید و زرد. اگر به ترتیب چیدمان بلوک ها اهمیتی ندهید، کار شما بسیار آسان تر می شود. اگر نظم مهم بود، 5040 ترکیب جستجوی مختلف وجود داشت. اما اگر تنها چیزی که به آن علاقه دارید، دنبالههایی از بلوکها هستند که هر هفت رنگ در آن ظاهر میشوند، پس تعداد چیزها یا دنبالههایی را که به دنبال آن هستید از 5040 به تنها یک کاهش دادهاید.
طهماسبی و جگلکا کشف کردند که می توان به نوع دیگری از سود دست یافت – که به صورت نمایی است – که می تواند برای تقارن هایی که در ابعاد مختلف کار می کنند استخراج شود. این مزیت به این ایده مربوط می شود که پیچیدگی کار یادگیری به طور تصاعدی با ابعاد فضای داده افزایش می یابد. بنابراین، استفاده از تقارن چند بعدی می تواند منجر به بازده نامتناسب بزرگ شود. طهماسبی میگوید: «این یک مشارکت جدید است که اساساً به ما میگوید که تقارنهای ابعاد بالاتر مهمتر هستند، زیرا میتوانند به ما افزایش نمایی بدهند».
مقاله NeurIPS 2023 که او با جگلکا نوشت، حاوی دو قضیه است که از نظر ریاضی ثابت شده اند. طهماسبی میگوید: «قضیه اول نشان میدهد که بهبود پیچیدگی نمونهگیری با الگوریتم کلی که ارائه میکنیم، قابل دستیابی است. او اضافه کرد که قضیه دوم تکمیل کننده قضیه اول است، “با نشان دادن این که این بهترین سود ممکن است که می توانید بدست آورید. هیچ چیز دیگری قابل دستیابی نیست.»
او و جگلکا فرمولی ارائه کرده اند که سودی را که می توان از یک تقارن خاص در یک کاربرد معین به دست آورد، پیش بینی می کند. طهماسبی خاطرنشان می کند که یک حسن این فرمول عمومیت آن است. “این برای هر تقارن و هر فضای ورودی کار می کند.” این نه تنها برای تقارن هایی که امروزه شناخته شده اند کار می کند، بلکه می تواند در آینده برای تقارن هایی که هنوز کشف نشده اند نیز اعمال شود. با توجه به اینکه جستجو برای تقارن های جدید از دیرباز یک محور اصلی در فیزیک بوده است، چشم انداز دوم چندان دور از ذهن نیست که بتوان در نظر گرفت. این نشان می دهد که با کشف تقارن های بیشتر، روش معرفی شده توسط طهماسبی و جگلکا فقط باید در طول زمان بهبود یابد.
به گفته Haggai Maron، دانشمند کامپیوتر در Technion (موسسه فناوری اسرائیل) و NVIDIA، که در این کار دخالتی نداشت، رویکرد ارائه شده در مقاله “به طور قابل توجهی با کارهای قبلی مرتبط، اتخاذ دیدگاه هندسی و استفاده از ابزارها متفاوت است. هندسه دیفرانسیل این مشارکت نظری از زیرشاخه نوظهور یادگیری عمیق هندسی پشتیبانی ریاضی میکند، که در یادگیری نمودار، دادههای سه بعدی و موارد دیگر کاربرد دارد. این مقاله به ایجاد یک پایه نظری برای هدایت پیشرفتهای بیشتر در این حوزه تحقیقاتی به سرعت در حال رشد کمک میکند.



