کتاب یادگیری ماشین توزیع شده با Python

کتاب یادگیری ماشین توزیع‌ شده با Python (تسریع آموزش مدل و به‌کارگیری آن با سیستم‌های توزیع شده) نوشته گوانهوا وانگ و ترجمه فاضله توسلیان و مهدی عباسی است که انتشارات آتی نگر آن را منتشر کرده است. این کتاب به یکی از مسئله‌های مهم در آموزش مدل‌های یادگیری ماشین می‌پردازد؛ وقتی داده‌ها بزرگ‌تر و مدل‌ها سنگین‌تر می‌شوند یک گره یا یک پردازنده دیگر پاسخ‌گو نیست. کتاب نشان می‌دهد که چطور می‌توان با استفاده از سیستم‌های توزیع‌شده زمان آموزش و استنتاج را کاهش داد و مفاهیمی مثل موازی‌سازی داده، موازی‌سازی مدل و یادگیری باهمیده را در عمل فهمید. نسخه‌ی الکترونیکی این اثر را می‌توانید از طاقچه خرید و دانلود کنید.

درباره کتاب یادگیری ماشین توزیع شده با Python

کتاب یادگیری ماشین توزیع‌ شده با Python نوشته‌ی گوانهوا وانگ به موضوعی می‌پردازد که در کار با مدل‌های بزرگ و داده‌های حجیم خیلی زود خودش را نشان می‌دهد؛ کندی آموزش، محدودیت حافظه و هزینه‌ی بالای اجرای مدل‌ها. گوانهوا وانگ از همان فصل‌های آغازین توضیح می‌دهد که مسئله فقط زیادبودن داده نیست، بلکه ناسازگاری میان پهنای باند بارگذاری داده و پهنای باند آموزش مدل هم نقش مهمی دارد. از همین نقطه بحث به‌سمت موازی‌سازی داده‌ها می‌رود؛ جایی که چند کارگر بخش‌های جداگانه‌ای از داده را پردازش می‌کنند و با همگام‌سازی مدل آموزش را جلو می‌برند. کتاب فقط به تعریف مفاهیم بسنده نمی‌کند و تلاش می‌کند منطق پشت انتخاب هر معماری و هر روش را هم روشن کند.

کتاب یادگیری ماشین توزیع‌ شده با Python در سه بخش اصلی تنظیم شده است و مسیر آن از مبانی تا الگوهای پیشرفته ادامه پیدا می‌کند. بخش اول روی موازی‌سازی داده‌ها تمرکز دارد و فصل‌هایی مثل تقسیم داده‌های ورودی، سرور پارامتر و کاهش همه‌جانبه، ساخت خط لوله آموزش و به‌کارگیری و نیز گلوگاه‌ها و راه‌حل‌ها را در بر می‌گیرد. بخش دوم به موازی‌سازی مدل می‌رسد و موضوعاتی مثل تقسیم مدل، ورودی خط لوله و تقسیم لایه، پیاده‌سازی آموزش مدل موازی و دستیابی به توان عملیاتی بالاتر و تأخیر کمتر را بررسی می‌کند. بخش سوم هم سراغ پارادایم‌های پیشرفته‌تر می‌رود؛ از ترکیب موازی‌سازی داده و مدل گرفته تا یادگیری باهمیده، دستگاه‌های لبه، آموزش ارتجاعی و تکنیک‌های افزایش سرعت.

کتاب یادگیری ماشین توزیع‌ شده با Python علاوه‌بر توضیح مفاهیم به پیاده‌سازی هم توجه دارد و بارها از Python و چهارچوب‌های رایج برای نشان‌دادن سازوکار آموزش توزیع‌شده استفاده می‌کند. در فصل‌های مختلف خواننده با مفاهیمی مثل گرادیان نزولی تصادفی، همگام‌سازی مدل، تنظیم نرخ یادگیری، اندازه دسته سراسری، ارتباط جمعی و انتخاب پشتیبان‌های ارتباطی روبه‌رو می‌شود. فضای کلی اثر فنی و مسئله‌محور است؛ یعنی هر مفهوم در پیوند با یک محدودیت واقعی در آموزش مدل مطرح می‌شود. کتاب فقط درباره‌ی سرعت بیشتر نیست، بلکه درباره‌ی فهمیدن این است که چه زمانی یک معماری توزیع‌شده لازم می‌شود و هر انتخاب چه پیامدی در کارایی، حافظه و ارتباطات دارد.

خلاصه کتاب یادگیری ماشین توزیع شده با Python

کتاب یادگیری ماشین توزیع‌ شده با Python از این پرسش شروع می‌کند که چرا آموزش مدل‌های یادگیری ماشین روی یک گره در مقیاس‌های بزرگ، کند و گاهی ناکارآمد می‌شود. کتاب سپس نشان می‌دهد که با تقسیم داده‌ها میان چند کارگر و همگام‌سازی دوره‌ای مدل می‌توان توان عملیاتی را بالا برد و زمان آموزش را کم کرد. بعد از آن کتاب به معماری‌هایی مثل سرور پارامتر و کاهش همه‌جانبه می‌رسد و تفاوت‌های آن‌ها را از نظر ارتباطات و گلوگاه‌ها توضیح می‌دهد. در ادامه بحث از موازی‌سازی داده فراتر می‌رود و به تقسیم خود مدل، خط لوله‌سازی، یادگیری باهمیده، آموزش ارتجاعی و تکنیک‌های بهینه‌سازی می‌رسد تا تصویری مرحله‌به‌مرحله از آموزش و به‌کارگیری مدل در محیط‌های توزیع‌شده شکل بگیرد.

چرا باید کتاب یادگیری ماشین توزیع شده با Python را بخوانیم؟

دلایل خواندن کتاب یادگیری ماشین توزیع‌ شده با Python را می‌توان این‌طور خلاصه کرد:

• این کتاب رابطه‌ی میان کندی آموزش، محدودیت حافظه و معماری‌های توزیع‌شده را به‌صورت مسئله‌محور توضیح می‌دهد.
• خواننده با دو محور اصلی آموزش توزیع‌شده، یعنی موازی‌سازی داده و موازی‌سازی مدل آشنا می‌شود.
• کتاب تفاوت سرور پارامتر و کاهش همه‌جانبه را از زاویه‌ی گلوگاه‌های ارتباطی و همگام‌سازی مدل روشن می‌کند.
• بخش‌های مربوط به تنظیم فراپارامترها نشان می‌دهند که در آموزش توزیع‌شده، اندازه دسته سراسری و نرخ یادگیری چگونه تغییر معنا پیدا می‌کنند.
• اثر فقط به آموزش محدود نمی‌ماند و به استنتاج، سرویس‌دهی مدل و ساخت خط لوله هم می‌پردازد.
• فصل‌های پایانی موضوعاتی مثل یادگیری باهمیده، دستگاه‌های لبه و آموزش ارتجاعی را وارد بحث می‌کنند و دامنه‌ی کتاب را گسترده‌تر می‌سازند.
• نمونه‌های پیاده‌سازی با Python کمک می‌کنند مفاهیم از سطح نظری فراتر بروند و به فرایند اجرا نزدیک شوند.

خواندن کتاب یادگیری ماشین توزیع‌ شده با Python را به چه کسانی پیشنهاد می‌کنیم؟

خواندن کتاب یادگیری ماشین توزیع‌ شده با Python به این گروه‌ها پیشنهاد می‌شود:

• دانشمندان داده و مهندسان یادگیری ماشین که با زمان طولانی آموزش مدل‌ها دست‌وپنجه نرم می‌کنند.
• برنامه‌نویسانی که می‌خواهند کاربرد Python را در پیاده‌سازی سامانه‌های توزیع‌شده‌ی یادگیری ماشین بهتر بشناسند.
• پژوهشگرانی که به معماری‌های سرور پارامتر، کاهش همه‌جانبه و همگام‌سازی مدل علاقه دارند.
• مخاطبانی که می‌خواهند از سطح آموزش روی یک گره عبور کنند و با آموزش چندگرهی آشنا شوند.
• کسانی که به موضوعاتی مثل موازی‌سازی مدل، خط لوله‌سازی، یادگیری باهمیده و دستگاه‌های لبه علاقه‌مند هستند.
• دانشجویان و فعالان فنی‌ای که با مفاهیم پایه‌ی یادگیری ماشین و برنامه‌نویسی آشنا هستند و می‌خواهند وارد مباحث اجرایی‌تر شوند.