دانش آی آر

ماینینگ باکس کاشی سنتی

وانیل کوکی ربات فنآوری اطلاعات افرنگ

مجتمع آموزشی شایگان

استفاده از گامانايف آيکون براي درمان تومورهاي مغزي در بيمارستان آجي بادم

آيفون‌هاي سال 2020 با نمايشگر oled و پشتيباني از 5g معرفي مي‌شوند

فروش ميليوني آنر 20 در کمتر از 14 روز و آغاز عرضه آنر 20 پرو

تمام کتاب‌هايي که طرفداران سريال chernobyl بايد مطالعه کنند

پس از وقفه‌اي يک‌ماهه، لپ‌ تاپ‌ هواوي به فروشگاه‌هاي مايکروسافت بازگشت

اينستاگرام و آزمايش راه‌ آسان‌تر براي بازگرداندن صفحات هک‌شده

پتنت جديد هواوي و احتمال ساخت گوشي تاشدني با سه نمايشگر

پورشه 718 باکستر اسپايدر و کيمن gt4 مدل 2020 معرفي شدند

پيش‌بيني کاهش 30 ميليارد دلاري درآمد هواوي دراثر تحريم‌هاي آمريکا

مردان نيز به افسردگي پس از زايمان همسر دچار مي‌شوند

مزارع خورشيدي شناور؛ راهکاري براي توقف گرمايش زمين

کشف پاسخي تازه براي معماي راه راه بودن پوست گورخرها

توصيه سامسونگ براي اسکن ويروس روي تلويزيون‌هاي qled

نگاهي عميق به مدل‌هاي مختلف نسل اول فورد موستانگ

آيا طبيعت‌گردي واقعا روي سلامتي تاثير مثبت دارد؟

چگونه با وجود مشکلات بي‌پايان، شاد بمانيم؟

لکسوس gx مدل 2020 معرفي شد

گوشي‌هاي موبايل از خود در برابر سارقين مراقبت مي‌کنند!

تحصيل 600 دانشجوي خارجي در دانشگاه قم

ملاقات "تير" و "بهرام" در شامگاه امشب
گوگل کتابخانه‌ي gpipe مخصوص آموزش شبکه‌هاي عصبي را متن‌باز کرد
تعداد بازدید : 15

فعالان حوزه‌ی هوش مصنوعی، خصوصا در ابعاد بزرگ، با خبر خوشحال‌کننده‌ی گوگل روبه‌رو شدند. زیرمجموعه‌ی تحقیقات هوش مصنوعی گوگل اعلام کرد کتابخانه‌ی کاربردی gpipe خود را به‌صورت متن‌باز دراختیار توسعه‌دهندگان قرار می‌دهد. این ابزار کتابخانه‌ای برای آموزش حرفه‌ای شبکه‌های عصبی عمیق است که با فریمورک lingvo از tensorflow کار می‌کند. فریمورک مذکور برای مدل‌سازی تناوبی در شبکه‌ی عصبی استفاده می‌شود. به‌بیان‌ِدیگر، می‌توان آن را روی هر شبکه‌ی متشکل از لایه‌های متوالی متعدد اجرا کرد. یانپینگ هوانگ، مهندس هوش مصنوعی گوگل، در وبلاگش خبر متن‌بازشدن کتابخانه‌ی مذکور را اعلام کرد. او می‌گوید:

شبکه‌های عصبی عمیق در بسیاری از وظایف مهم یادگیری ماشینی، همچون تشخیص گفتار و شناسایی بصری و پردازش زبان کاربردهای پیشرفته‌ای دارد. مدل‌های بزرگ‌تر و پیشرفته‌تر شبکه‌های عمیق عصبی بهره‌وری بیشتری در انجام وظایف دارند. به‌عنوان مثال، در مواردی همچون شناسایی بصری و رابطه‌ی مستقیمی بین ابعاد شبکه‌ی عصبی و دقت تشخیص‌های سیستم هوش مصنوعی وجود دارد. ما در gpipe، با ایجاد سیستم‌های موازی تلاش می‌کنیم تا مشکل مقیاس‌دهی به شبکه‌های عمیق عصبی را برطرف کنیم.

هوانگ و همکارانش مقاله‌ای برای توضیح بهتر نحوه‌ی کارکرد gpipe منتشر کرده‌اند. جزئیات آن مقاله می‌گوید کتابخانه‌ی گوگل دو روش آموزش هوش مصنوعی را به‌کار می‌گیرد. یکی از آن‌ها با نام synchronous stochastic gradient descent شناخته می‌شود که الگوریتمی برای بهینه‌سازی به‌روزرسانی پارامترهای هوش مصنوعی است. روش دیگر pipeline parallelism نام دارد که سیستم اجرا ایجاد و خروجی هر مرحله از آموزش را به‌عنوان ورودی به مرحله‌ی بعد وارد می‌کند.

ai

سهم عمده‌ی مزایای gpipe به‌‌دلیل اختصاص بهتر حافظه به مدل‌های هوش مصنوعی به‌دست می‌آید. در tpuهای نسل دوم گوگل (پردازنده‌های اختصاصی هوش مصنوعی گوگل در فضای ابری)، gpipe اشغال حافظه را از 6.26 گیگابایت به 3.46 گیگابایت کاهش داد. درنتیجه‌، 318 میلیون پارامتر در یک هسته‌ی شتاب‌دهنده‌ی واحد اجرا شد. هوانگ می‌گوید بدون استفاده از gpipe، هر هسته می‌تواند تنها 82 میلیون پارامتر مدل را آموزش دهد.

مزیت یادشده، تنها نقطه‌ی برتری gpipe نیست. آن کتابخانه مدل‌ها را در بین شتاب‌دهنده‌های جداگانه دسته‌بندی و به‌‌طور خودکار آن‌ها را تقسیم‌بندی می‌کند (ساختار mini-batches). سپس، این بخش‌های کوچک‌شده از نمونه‌های آموزشی به بخش‌های کوچک‌تر (micro-batches) تبدیل می‌شوند و درنهایت، فرایند اجرایی بین همان دسته‌های میکرو اجرا می‌شود. به‌بیان‌ ساده‌تر، قابلیت فراوان به هسته‌ها امکان می‌دهد به‌صورت موازی کار کنند که تأثیر منفی دسته‌بندی‌ها روی کیفیت مدل‌ها را کاهش می‌دهد.

گوگل در مثالی از کاربرد کتابخانه‌ی خود، الگوریتم یادگیری عمیق به‌نام amoebanet-b را آموزش داد. در آن فرایند، 557 میلیون پارامتر مدل‌سازی و تصاویر نمونه روی tpuها اجرا شدند و درنهایت، روی هر هسته 1.8 میلیارد پارامتر ترکیب شد که 25 برابر بیش از حالت‌های بدون استفاده از gpipe بود. هوانگ می‌گوید آن الگوریتم یادگیری روی دیتاسِت‌های مشهور عملکردی عالی داشت. طبق آمار او، دقت دیتاسِت imagenet با استفاده از کتابخانه به 83.4 درصد، cifar-10 به 99 درصد و cifar-100 به 91.3 درصد رسید.

شبکه‌های عصبی / neural networks

با استفاده از کتابخانه‌ی gpipe، سرعت آموزش نیز افزایش یافت. در آزمایشی دیگر روی الگوریتم amoebanet-d، توزیع مدل روی tpuهایی چهاربرابر بیشتر از مدل‌های پیشین، سرعت را 3.5 برابر افزایش داد. در مثالی دیگر، وقتی محققان گوگل مدل‌های مبتنی بر زبان transformer را با 8 میلیارد پارامتر روی tpuهای نسل سوم اجرا کردند، سرعت 11 برابر افزایش پیدا کرد. آن پردازنده‌های اختصاصی به 16 هسته و 256 گیگابایت حافظه‌ی رم مجهز بودند.

هوانگ در پایان پست وبلاگی‌اش نوشت:

توسعه‌ی ادامه‌دار و موفقیت بسیاری از کاربردهای یادگیری ماشین، مانند خودروهای خودران و تصویربرداری‌های پزشکی، منوط به دستیابی به بیشترین دقت ممکن است. چنین دستاوردی اغلب نیازمند مدل‌های بزرگ‌تر و پیچیده‌تر خواهد بود. ما خوشحالیم gpipe را به جامعه‌ی بزرگ‌تر محققان عرضه می‌کنیم و امیدواریم محصول ما، زیرساختی کاربردی برای آموزش مفید شبکه‌های عصبی عمیق باشد.

تاریخ درج : 1397/12/15
منبع خبر : www.zoomit.ir
نام : شهر :