در یادگیری عمیق، رویکردهایی برای استادی وجود دارند که از شبکه های عصبی آموزش دیده بخاطر تحلیل داده استفاده می کنند. چنین فعالیت هایی با سخت اسباب مفت قیمت انجام شدنی هستند. درمقابل، فعالیت هایی که به صورت اختصاصی به «آموزش» شبکه ی تندخو خاص دارند، نیازمند نفقه ی بیشتر و ابدار وسایل حرفه ای مرطوب هستند.
وقتی ورودی های الگوریتم شبکه ی تندخو بیشتر شود، دشوار نمونه دهی در زمان تجرید فضای روانی بیشتر خواهد شد. تارون مدینی و آنشومالی شریواستاوا، محققان پروژه ی MACH تو دانشگاه رایس (Rice)، راهکاری بخاطر این مشکل مقیاس دهی مطرح کرده اند. نام پروژه ی آن ها اختصاری برای عبارت Merged Average Classifiers via Hashing است. شریواستاوا، مدیر پروژه، دعوی می کند آموزش به الگوریتم در این پروژه، ۷ تا ۱۰ طبقه سریع برنده از الگوریتم های دیگر عارض می دهد و تأثیر آن نیز دو تا چهار برابر کمتر از الگوریتم های دیگر خواهد بود.مقاله های مرتبط:همکاری بایدو و اینتل در شالوده آموزش پردازنده شبکه عصبی متاخر نروانا (Nervana)محققان الگوریتم شبکه تندخو با استعداد بازسازی تصاویر مات توسعه دادند
مدینی برای توضیح محظور استاندارد دهی بوسیله مسائل دسته بندی تو الگوریتم ها، عبارت های جست وجو را تو فروشگاه های آنلاین شهید می زند. او می گوید حدود ۱۰۰ میلیون متاع برای فروش در سرویس های آنلاین وجود دارد. البته اظهارنظر او را باید تا حدودی محافظه کارانه بدانیم؛ در مقابل یکی از تفریق های اخیر ادعا می کند عزب آمازون آمریکا بیش از ۶۰۶ میلیون میوه متفاوت را فروخته است. این همکاری زیاد از سه میلیارد محصول را در سرتاسر جهان نمایش می کند. آماری دیگر ادعا می کند محصولات آنلاین داخل آمریکا به ۳۵۳ میلیون عدد می رسند. مدینی درادامه برای شرح پیچیدگی الگوریتم می گوید:شبکه ی عصبی که ورودی جست وجو را ستاندن و از میان ۱۰۰ میلیون خروجی خواه میوه پیش دماغ می کند، برای هر دشت با دوهزار پارامتر روبه رو خواهد بود. اگر همین اعداد را ضغطه کنید، لایه ی نهایی شبکه ی عصبی به ۲۰۰ میلیبارد پارامتر می رسد و مدل شبکه ی تندخو ای که بخاطر این موضوع مطرح می کنم، متجاوز سهل است.
درون مقیاس عظیمی که مطرح شد، بوسیله ابرکامپیوترهایی با چندین ترابایت ذهن فقط برای ذخیره سازی مدل حاجت داریم. مشکل حافظه زمانی بدتر می شود که پردازنده ی گرافیکی را نیز بوسیله فرایند اضافه کنیم. پردازنده های گرافیکی در پردازش وظایف مربوط به شبکه های عصبی عملکردی بسیار کندرو تر از پردازنده های مرکزی دارند؛ ولی ذهن ی رم هریک از آن ها محدود است. به نشانی مثال، گران ترین میزان های راسته که در قوم ی انویدیا تسلا هستند، عزب ۳۲ گیکابایت حافظه ی رم دارند. مدینی می گوید آموزش چنین مدلی به برهان احتیاج بوسیله تماس بسیار زیاد و گسترده میان پردازنده های گرافیکی، به نوعی انجام نشدنی خواهد بود.
الگوریتم MACH بوسیله جای آموزش روی ۱۰۰ میلیون خروجی ممکن (در این مثال خرید محصول)، آن ها را به سه گانه دسته ی متفاوت تقسیم می بطی ء که هرکدام شامل ۳۳/۳ میلیون خروجی تصادفی می شود. سپس، MACH دنیا جدیدی ابداع و مجددا ۱۰۰ میلیون خروجی را به قیافه ناگهانی به سه دسته تقسیم می نرم. درنهایت، دو جهان داریم که خروجی های هم پایه دارند؛ اما دسته های آن ها به برهان انتخاب های تصادفی باهم متفاوت می شود.الگوریتم MACH سرعت بیشتر و نیاز کمتری به منابع حافظه خواهد داشت
هرکدام از دو جهانی که تو دسته بندی بالا ابداع کنند، با صورت اعطا کردن هر خیز وجو آن را دریافت می کنند. هر گیتی فقط امکان عرضه ی سه مولود را برای جست وجو خواهد داشت. شریواستاوا می گوید الگوریتم با مطرح کردن این سؤال که «کاربر به چه محصولی فکر می کند؟»، محتمل ترین پاسخ را خروجی ای می داند که بین دو جهان مشترک باشد.
با درنظرگرفتن فرضیه ی مذکور، ۹ خروجی محتمل خواهیم داشت (سه خروجی از جهان اول ضربدر سه خروجی از دنیا دوم)؛ اما الگوریتم MACH فقط باید ۶ کلاس قسمت قسمت کردن بندی (سه دسته درون جهان اول به علاوه ی سه گروه در جهان دوم) خلق کردن کند تا فضای جست وجو با ۹ خروجی مدل سازی شود. مزیت الگوریتم با افزایش تعداد جهان ها بیشتر نیز می شود. مدلی با سه گانه گیتی ۲۷ خروجی از ۹ کلاس ارائه می کند. با ساختن چهار جهان، بوسیله ۸۱ خروجی با ۱۲ کلاس می رسیم و افزایش اعداد بازهم ادامه دارد. شریواستاوا باتوجه به همین ارقام می گوید تو روش جدید، با اضافه کردن خطی منابع، افزایش نمایی را در بهبود استاندارد ها شاهد هستیم.
مزیت دیگر الگوریتم MACH این است که در پردازش توزیع یافته در مدل های کوچک تر، عملکرد بهتری ارائه می کند. مدینی می گوید جهان های ایجادشده از خروجی های احتمالی، حتی به تماس با یکدیگر نیازی ندارند و می نبوغ هر دنیا را در پردازنده ای گرافیکی آموزش رحم. چنین فعالیتی هیچ گاه با رویکردهای غیرمستقل ممکن نخواهد حیات. محققان داخل مسائل واقعی الگوریتم MACH را روی دیتابیس آموزشی آمازون با ۴۹ میلیون دشت پیاده و آن را به صورت تصادفی به ۱۰ هزار دسته داخل ۳۲ دنیا گوناگون تقسیم کردند. این طور رویکردی پارامترهای موردنیاز برای مدل سازی را زیاد کاهش می دهد. مدینی می گوید آموزش مدل با پیاده سازی این روش، به زمان و حافظه ی کمتری درمقایسه با مدل های مشابه حاجت داشت.
پروژه ی تحقیقاتی متاخر با بود تمام مزیت ها، پیامدهای غیرمستقیم نیز دارد. بوسیله عنوان مثال، حالا می دانیم شبکه ی عصبی تو این مدل واقعا عملیات فراگیری را بخاطر مدال دادن موارد ضربان وجو بوسیله خریداران انجام نمی دهد. درواقع، الگوریتم MACH فقط می آموزد چگونه درخواست های جست وجو را به ابتیاع تبدیل کند. شبکه ی عصبی هیچ اطلاعی از نبض وجوهای کاربر انسانی ندارد یا اهمیتی اندوه به آن نمی دهد. الگوریتم فقط ایده ای درباره ی یک متاع دارد که احتمالا کاربر به ابتیاع آن تمایل داشته است. درنهایت، این طور الگوریتم هایی شاید خطاهایی همچون پیشنهاد خبط محصول به کاربران را بوسیله همراه داشته باشند.بیشتر بخوانید:تحقیق و توسعه در حوزه هوش مصنوعی با سرعت به پیش می رودمحققان انویدیا، فریم ورکی برای دگرگونی تصاویر دوبعدی به مدل های سه بعدی خلق کردندآمازون از DeepComposer نخستین کیبورد مبتنی بر یادگیری ماشین رونمایی کردآیا می توان درایت مصنوعی را بوسیله رفتار منصفانه با آدم وادار کرد؟آیا فهمیدن قلابی می تواند طنز را درک کند؟
وقتی ورودی های الگوریتم شبکه ی تندخو بیشتر شود، دشوار نمونه دهی در زمان تجرید فضای روانی بیشتر خواهد شد. تارون مدینی و آنشومالی شریواستاوا، محققان پروژه ی MACH تو دانشگاه رایس (Rice)، راهکاری بخاطر این مشکل مقیاس دهی مطرح کرده اند. نام پروژه ی آن ها اختصاری برای عبارت Merged Average Classifiers via Hashing است. شریواستاوا، مدیر پروژه، دعوی می کند آموزش به الگوریتم در این پروژه، ۷ تا ۱۰ طبقه سریع برنده از الگوریتم های دیگر عارض می دهد و تأثیر آن نیز دو تا چهار برابر کمتر از الگوریتم های دیگر خواهد بود.مقاله های مرتبط:همکاری بایدو و اینتل در شالوده آموزش پردازنده شبکه عصبی متاخر نروانا (Nervana)محققان الگوریتم شبکه تندخو با استعداد بازسازی تصاویر مات توسعه دادند
مدینی برای توضیح محظور استاندارد دهی بوسیله مسائل دسته بندی تو الگوریتم ها، عبارت های جست وجو را تو فروشگاه های آنلاین شهید می زند. او می گوید حدود ۱۰۰ میلیون متاع برای فروش در سرویس های آنلاین وجود دارد. البته اظهارنظر او را باید تا حدودی محافظه کارانه بدانیم؛ در مقابل یکی از تفریق های اخیر ادعا می کند عزب آمازون آمریکا بیش از ۶۰۶ میلیون میوه متفاوت را فروخته است. این همکاری زیاد از سه میلیارد محصول را در سرتاسر جهان نمایش می کند. آماری دیگر ادعا می کند محصولات آنلاین داخل آمریکا به ۳۵۳ میلیون عدد می رسند. مدینی درادامه برای شرح پیچیدگی الگوریتم می گوید:شبکه ی عصبی که ورودی جست وجو را ستاندن و از میان ۱۰۰ میلیون خروجی خواه میوه پیش دماغ می کند، برای هر دشت با دوهزار پارامتر روبه رو خواهد بود. اگر همین اعداد را ضغطه کنید، لایه ی نهایی شبکه ی عصبی به ۲۰۰ میلیبارد پارامتر می رسد و مدل شبکه ی تندخو ای که بخاطر این موضوع مطرح می کنم، متجاوز سهل است.
درون مقیاس عظیمی که مطرح شد، بوسیله ابرکامپیوترهایی با چندین ترابایت ذهن فقط برای ذخیره سازی مدل حاجت داریم. مشکل حافظه زمانی بدتر می شود که پردازنده ی گرافیکی را نیز بوسیله فرایند اضافه کنیم. پردازنده های گرافیکی در پردازش وظایف مربوط به شبکه های عصبی عملکردی بسیار کندرو تر از پردازنده های مرکزی دارند؛ ولی ذهن ی رم هریک از آن ها محدود است. به نشانی مثال، گران ترین میزان های راسته که در قوم ی انویدیا تسلا هستند، عزب ۳۲ گیکابایت حافظه ی رم دارند. مدینی می گوید آموزش چنین مدلی به برهان احتیاج بوسیله تماس بسیار زیاد و گسترده میان پردازنده های گرافیکی، به نوعی انجام نشدنی خواهد بود.
الگوریتم MACH بوسیله جای آموزش روی ۱۰۰ میلیون خروجی ممکن (در این مثال خرید محصول)، آن ها را به سه گانه دسته ی متفاوت تقسیم می بطی ء که هرکدام شامل ۳۳/۳ میلیون خروجی تصادفی می شود. سپس، MACH دنیا جدیدی ابداع و مجددا ۱۰۰ میلیون خروجی را به قیافه ناگهانی به سه دسته تقسیم می نرم. درنهایت، دو جهان داریم که خروجی های هم پایه دارند؛ اما دسته های آن ها به برهان انتخاب های تصادفی باهم متفاوت می شود.الگوریتم MACH سرعت بیشتر و نیاز کمتری به منابع حافظه خواهد داشت
هرکدام از دو جهانی که تو دسته بندی بالا ابداع کنند، با صورت اعطا کردن هر خیز وجو آن را دریافت می کنند. هر گیتی فقط امکان عرضه ی سه مولود را برای جست وجو خواهد داشت. شریواستاوا می گوید الگوریتم با مطرح کردن این سؤال که «کاربر به چه محصولی فکر می کند؟»، محتمل ترین پاسخ را خروجی ای می داند که بین دو جهان مشترک باشد.
با درنظرگرفتن فرضیه ی مذکور، ۹ خروجی محتمل خواهیم داشت (سه خروجی از جهان اول ضربدر سه خروجی از دنیا دوم)؛ اما الگوریتم MACH فقط باید ۶ کلاس قسمت قسمت کردن بندی (سه دسته درون جهان اول به علاوه ی سه گروه در جهان دوم) خلق کردن کند تا فضای جست وجو با ۹ خروجی مدل سازی شود. مزیت الگوریتم با افزایش تعداد جهان ها بیشتر نیز می شود. مدلی با سه گانه گیتی ۲۷ خروجی از ۹ کلاس ارائه می کند. با ساختن چهار جهان، بوسیله ۸۱ خروجی با ۱۲ کلاس می رسیم و افزایش اعداد بازهم ادامه دارد. شریواستاوا باتوجه به همین ارقام می گوید تو روش جدید، با اضافه کردن خطی منابع، افزایش نمایی را در بهبود استاندارد ها شاهد هستیم.
مزیت دیگر الگوریتم MACH این است که در پردازش توزیع یافته در مدل های کوچک تر، عملکرد بهتری ارائه می کند. مدینی می گوید جهان های ایجادشده از خروجی های احتمالی، حتی به تماس با یکدیگر نیازی ندارند و می نبوغ هر دنیا را در پردازنده ای گرافیکی آموزش رحم. چنین فعالیتی هیچ گاه با رویکردهای غیرمستقل ممکن نخواهد حیات. محققان داخل مسائل واقعی الگوریتم MACH را روی دیتابیس آموزشی آمازون با ۴۹ میلیون دشت پیاده و آن را به صورت تصادفی به ۱۰ هزار دسته داخل ۳۲ دنیا گوناگون تقسیم کردند. این طور رویکردی پارامترهای موردنیاز برای مدل سازی را زیاد کاهش می دهد. مدینی می گوید آموزش مدل با پیاده سازی این روش، به زمان و حافظه ی کمتری درمقایسه با مدل های مشابه حاجت داشت.
پروژه ی تحقیقاتی متاخر با بود تمام مزیت ها، پیامدهای غیرمستقیم نیز دارد. بوسیله عنوان مثال، حالا می دانیم شبکه ی عصبی تو این مدل واقعا عملیات فراگیری را بخاطر مدال دادن موارد ضربان وجو بوسیله خریداران انجام نمی دهد. درواقع، الگوریتم MACH فقط می آموزد چگونه درخواست های جست وجو را به ابتیاع تبدیل کند. شبکه ی عصبی هیچ اطلاعی از نبض وجوهای کاربر انسانی ندارد یا اهمیتی اندوه به آن نمی دهد. الگوریتم فقط ایده ای درباره ی یک متاع دارد که احتمالا کاربر به ابتیاع آن تمایل داشته است. درنهایت، این طور الگوریتم هایی شاید خطاهایی همچون پیشنهاد خبط محصول به کاربران را بوسیله همراه داشته باشند.بیشتر بخوانید:تحقیق و توسعه در حوزه هوش مصنوعی با سرعت به پیش می رودمحققان انویدیا، فریم ورکی برای دگرگونی تصاویر دوبعدی به مدل های سه بعدی خلق کردندآمازون از DeepComposer نخستین کیبورد مبتنی بر یادگیری ماشین رونمایی کردآیا می توان درایت مصنوعی را بوسیله رفتار منصفانه با آدم وادار کرد؟آیا فهمیدن قلابی می تواند طنز را درک کند؟
- ۹۸/۰۹/۲۴