فعالان حوزه‌ی هوش مصنوعی، خصوصا در ابعاد بزرگ، با خبر خوشحال‌کننده‌ی گوگل روبه‌رو شدند. زیرمجموعه‌ی تحقیقات هوش مصنوعی گوگل اعلام کرد کتابخانه‌ی کاربردی gpipe خود را به‌صورت متن‌باز دراختیار توسعه‌دهندگان قرار می‌دهد. این ابزار کتابخانه‌ای برای آموزش حرفه‌ای شبکه‌های عصبی عمیق است که با فریمورک lingvo از tensorflow کار می‌کند. فریمورک مذکور برای مدل‌سازی تناوبی در شبکه‌ی عصبی استفاده می‌شود. به‌بیان‌ِدیگر، می‌توان آن را روی هر شبکه‌ی متشکل از لایه‌های متوالی متعدد اجرا کرد. یانپینگ هوانگ، مهندس هوش مصنوعی گوگل، در وبلاگش خبر متن‌بازشدن کتابخانه‌ی مذکور را اعلام کرد. او می‌گوید:

شبکه‌های عصبی عمیق در بسیاری از وظایف مهم یادگیری ماشینی، همچون تشخیص گفتار و شناسایی بصری و پردازش زبان کاربردهای پیشرفته‌ای دارد. مدل‌های بزرگ‌تر و پیشرفته‌تر شبکه‌های عمیق عصبی بهره‌وری بیشتری در انجام وظایف دارند. به‌عنوان مثال، در مواردی همچون شناسایی بصری و رابطه‌ی مستقیمی بین ابعاد شبکه‌ی عصبی و دقت تشخیص‌های سیستم هوش مصنوعی وجود دارد. ما در gpipe، با ایجاد سیستم‌های موازی تلاش می‌کنیم تا مشکل مقیاس‌دهی به شبکه‌های عمیق عصبی را برطرف کنیم.

هوانگ و همکارانش مقاله‌ای برای توضیح بهتر نحوه‌ی کارکرد gpipe منتشر کرده‌اند. جزئیات آن مقاله می‌گوید کتابخانه‌ی گوگل دو روش آموزش هوش مصنوعی را به‌کار می‌گیرد. یکی از آن‌ها با نام synchronous stochastic gradient descent شناخته می‌شود که الگوریتمی برای بهینه‌سازی به‌روزرسانی پارامترهای هوش مصنوعی است. روش دیگر pipeline parallelism نام دارد که سیستم اجرا ایجاد و خروجی هر مرحله از آموزش را به‌عنوان ورودی به مرحله‌ی بعد وارد می‌کند.

سهم عمده‌ی مزایای gpipe به‌‌دلیل اختصاص بهتر حافظه به مدل‌های هوش مصنوعی به‌دست می‌آید. در tpuهای نسل دوم گوگل (پردازنده‌های اختصاصی هوش مصنوعی گوگل در فضای ابری)، gpipe اشغال حافظه را از 6.26 گیگابایت به 3.46 گیگابایت کاهش داد. درنتیجه‌، 318 میلیون پارامتر در یک هسته‌ی شتاب‌دهنده‌ی واحد اجرا شد. هوانگ می‌گوید بدون استفاده از gpipe، هر هسته می‌تواند تنها 82 میلیون پارامتر مدل را آموزش دهد.

مزیت یادشده، تنها نقطه‌ی برتری gpipe نیست. آن کتابخانه مدل‌ها را در بین شتاب‌دهنده‌های جداگانه دسته‌بندی و به‌‌طور خودکار آن‌ها را تقسیم‌بندی می‌کند (ساختار mini-batches). سپس، این بخش‌های کوچک‌شده از نمونه‌های آموزشی به بخش‌های کوچک‌تر (micro-batches) تبدیل می‌شوند و درنهایت، فرایند اجرایی بین همان دسته‌های میکرو اجرا می‌شود. به‌بیان‌ ساده‌تر، قابلیت فراوان به هسته‌ها امکان می‌دهد به‌صورت موازی کار کنند که تأثیر منفی دسته‌بندی‌ها روی کیفیت مدل‌ها را کاهش می‌دهد.

گوگل در مثالی از کاربرد کتابخانه‌ی خود، الگوریتم یادگیری عمیق به‌نام amoebanet-b را آموزش داد. در آن فرایند، 557 میلیون پارامتر مدل‌سازی و تصاویر نمونه روی tpuها اجرا شدند و درنهایت، روی هر هسته 1.8 میلیارد پارامتر ترکیب شد که 25 برابر بیش از حالت‌های بدون استفاده از gpipe بود. هوانگ می‌گوید آن الگوریتم یادگیری روی دیتاسِت‌های مشهور عملکردی عالی داشت. طبق آمار او، دقت دیتاسِت imagenet با استفاده از کتابخانه به 83.4 درصد، cifar-10 به 99 درصد و cifar-100 به 91.3 درصد رسید.

با استفاده از کتابخانه‌ی gpipe، سرعت آموزش نیز افزایش یافت. در آزمایشی دیگر روی الگوریتم amoebanet-d، توزیع مدل روی tpuهایی چهاربرابر بیشتر از مدل‌های پیشین، سرعت را 3.5 برابر افزایش داد. در مثالی دیگر، وقتی محققان گوگل مدل‌های مبتنی بر زبان transformer را با 8 میلیارد پارامتر روی tpuهای نسل سوم اجرا کردند، سرعت 11 برابر افزایش پیدا کرد. آن پردازنده‌های اختصاصی به 16 هسته و 256 گیگابایت حافظه‌ی رم مجهز بودند.

هوانگ در پایان پست وبلاگی‌اش نوشت:

توسعه‌ی ادامه‌دار و موفقیت بسیاری از کاربردهای یادگیری ماشین، مانند خودروهای خودران و تصویربرداری‌های پزشکی، منوط به دستیابی به بیشترین دقت ممکن است. چنین دستاوردی اغلب نیازمند مدل‌های بزرگ‌تر و پیچیده‌تر خواهد بود. ما خوشحالیم gpipe را به جامعه‌ی بزرگ‌تر محققان عرضه می‌کنیم و امیدواریم محصول ما، زیرساختی کاربردی برای آموزش مفید شبکه‌های عصبی عمیق باشد.