آموزش انتقال هوش مصنوعی چیست و چگونه کار می کند؟

به دنبال راهی برای آموزش یک هوش مصنوعی قدرتمند برای برنامه های خاص خود هستید؟ یادگیری انتقالی را امتحان کنید!

اگر علاقه مند به آموزش مدل هوش مصنوعی خود برای پردازش زبان طبیعی (NLP) یا بینایی کامپیوتری هستید، باید با یادگیری انتقال و نحوه استفاده از مدل های از پیش آموزش دیده آشنا شوید.

بدون یادگیری انتقالی، آموزش یک مدل موثر و قابل اعتماد اغلب یک تلاش غیرقابل استفاده از منابع خواهد بود، که به پول، زمان و تخصص زیادی نیاز دارد، با توسعه دهنده ChatGPT OpenAI تخمین زده می شود که میلیون ها دلار برای آموزش GPT-3، GPT-3.5 و GPT- هزینه کرده است. 4. با قدرت یادگیری انتقال، می توانید مدل خود را به قدرتمندی آخرین مدل GPT با منابع کم در مدت کوتاهی آموزش دهید.

یادگیری انتقال هوش مصنوعی چیست؟

یادگیری انتقالی، ایده گرفتن یک مدل از پیش آموزش‌دیده‌شده مانند BERT یا یکی از مدل‌های مختلف GPT و آموزش آن بر روی یک مجموعه داده سفارشی برای کار بر روی وظایفی است که لزوماً برای مقابله با آن آموزش ندیده‌اند.

به عنوان مثال، می توانید یک مدل از قبل آموزش دیده برای طبقه بندی گونه های مختلف گربه تهیه کنید و آن را برای طبقه بندی سگ ها آموزش دهید. از طریق یادگیری انتقال، آموزش مدل طبقه بندی سگ شما باید زمان و منابع کمتری را صرف کند تا به اندازه مدل اصلی طبقه بندی گربه قابل اعتماد شود.

این کار از آنجایی کار می کند که گربه ها و سگ ها دارای ویژگی های بسیاری هستند که مدل از قبل آموزش دیده می تواند شناسایی کند. از آنجایی که مدل طبقه‌بندی گربه می‌تواند ویژگی‌های مختلف یک گربه مانند داشتن چهار پا، کت خزدار و پوزه‌های برجسته را شناسایی کند، مدل طبقه‌بندی سگ می‌تواند تمام آموزش‌ها را برای شناسایی این ویژگی‌ها نادیده بگیرد و آنها را از مدل اصلی به ارث ببرد. پس از به ارث بردن همه آن شبکه‌های عصبی، آخرین لایه‌های مدل آموزش‌دیده را که برای شناسایی ویژگی‌های خاص‌تر یک گربه استفاده می‌شود، جدا می‌کنید و آنها را با مجموعه داده‌ای مخصوص سگ‌ها جایگزین می‌کنید.

از چه مدل های هوش مصنوعی می توانید برای آموزش انتقال استفاده کنید؟

برای استفاده از آموزش انتقالی، به یک مدل از پیش آموزش دیده نیاز دارید. یک مدل از پیش آموزش دیده معمولاً به عنوان یک مدل هوش مصنوعی شناخته می شود که به منظور کسب دانش عمومی در مورد یک موضوع یا ایده خاص آموزش داده شده است. این نوع از مدل های از پیش آموزش دیده به طور عمدی برای افراد ساخته شده اند تا بتوانند مدل های کاربردی بیشتری را تنظیم کنند و بسازند. برخی از محبوب ترین مدل های از پیش آموزش دیده برای NLP، مانند BERT و GPT، و بینایی کامپیوتر، مانند VGG19 و Inceptionv3 هستند.

اگرچه محبوب هستند، اما این مدل‌هایی که به راحتی تنظیم می‌شوند، تنها مدل‌هایی نیستند که می‌توانید برای یادگیری انتقال استفاده کنید. همچنین می‌توانید از مدل‌هایی استفاده کنید که بر روی وظایف خاص‌تر از تشخیص عمومی شی یا زبان آموزش داده شده‌اند. تا زمانی که مدل شبکه‌های عصبی قابل استفاده برای مدلی را که می‌خواهید آموزش دهید توسعه داده باشد، می‌توانید تقریباً از هر مدلی برای یادگیری انتقال استفاده کنید.

می‌توانید مدل‌های از قبل آموزش‌دیده‌شده در دسترس عموم را از مکان‌هایی مانند TensorFlow Hub، Hugging Face و بازار مدل OpenAI دریافت کنید.

مزایای استفاده از آموزش انتقال هوش مصنوعی

یادگیری انتقال مزایای متعددی نسبت به آموزش یک مدل هوش مصنوعی از ابتدا دارد.

• کاهش زمان آموزش: هنگام آموزش یک مدل از ابتدا، بخش بزرگی از فرآیند آموزش صرف دانش پایه عمومی می شود. از طریق یادگیری انتقالی، مدل شما به طور خودکار تمام این دانش پایه را به ارث می برد، بنابراین زمان آموزش را به میزان قابل توجهی کاهش می دهد.
• منابع مورد نیاز کمتر: از آنجایی که تمام دانش پایه در حال حاضر وجود دارد، تنها کاری که باید انجام دهید این است که مدل را برای ویژگی های برنامه خود آموزش دهید. این اغلب تنها به یک مجموعه داده نسبتاً کوچک نیاز دارد که بتواند با قدرت محاسباتی کمتری پردازش شود.
• عملکرد بهبود یافته: مگر اینکه میلیون ها دلار برای ساخت مدل خود از ابتدا خرج کنید، نمی توانید از یک شرکت غول پیکر فناوری انتظار مدلی به خوبی یا قابل اعتماد بودن یک مدل زبان بزرگ (LLM) داشته باشید. با استفاده از یادگیری انتقال، می توانید از قابلیت های قدرتمند این LLM های از پیش آموزش دیده، مانند GPT، برای افزایش عملکرد مدل خود استفاده کنید.

آموزش یک مدل هوش مصنوعی از ابتدا امکان پذیر است، اما برای انجام این کار به منابع بیشتری نیاز دارید.

آموزش انتقالی چگونه کار می کند؟

در اصل، سه مرحله برای انتقال یادگیری وجود دارد.

• انتخاب یک مدل از پیش آموزش دیده: یک مدل از پیش آموزش دیده با استفاده از مجموعه داده های قابل توجهی از یک کار منبع، مانند ImageNet، یا مجموعه بزرگی از متن، تحت آموزش اولیه قرار می گیرد. این مرحله آموزش اولیه، مدل را قادر می سازد تا دانشی از ویژگی ها و الگوهای کلی موجود در مجموعه داده کسب کند. مقدار زمان و منابعی که از یادگیری انتقالی صرفه‌جویی می‌کنید به شباهت‌های بین مدل از پیش آموزش‌دیده و مدلی که می‌خواهید بسازید بستگی دارد.
• استخراج ویژگی: هنگامی که یک مدل از پیش آموزش دیده برای تنظیم دقیق انتخاب شد، لایه های اولیه مدل از پیش آموزش دیده (نزدیک ترین به ورودی) منجمد می شوند. این بدان معناست که وزن آنها در طول تنظیم دقیق ثابت نگه داشته می شود. انجماد این لایه‌ها، دانش عمومی آموخته‌شده در مرحله پیش‌آموزشی را حفظ می‌کند و از تحت‌تاثیر قرار گرفتن آن‌ها توسط مجموعه داده‌های ویژه وظایف مدل هدف جلوگیری می‌کند. برای مدل‌هایی که به طور کامل برای کاربردهای خاص آموزش داده شده‌اند، لایه‌های نهایی مدل‌ها حذف می‌شوند یا یاد نمی‌گیرند تا مدل هدف در برنامه‌های خاص دیگر آموزش داده شود.
• تنظیم دقیق: پس از اینکه مدل از پیش آموزش‌دیده منجمد شد و لایه‌های بالایی حذف شد، یک مجموعه داده جدید به الگوریتم یادگیری وارد می‌شود که سپس برای آموزش مدل جدید و ویژگی‌های کاربرد آن استفاده می‌شود.

چیزهای بیشتری از سه مرحله برای آن وجود دارد، اما این طرح کلی به طور تقریبی نحوه عملکرد فرآیند یادگیری انتقال هوش مصنوعی را با کمی تنظیم دقیق توضیح می دهد.

محدودیت‌های یادگیری انتقال هوش مصنوعی

اگرچه یادگیری انتقالی یک مفهوم ارزشمند در آموزش مدل های موثر و قابل اعتماد است، اما محدودیت های زیادی وجود دارد که هنگام استفاده از یادگیری انتقالی برای آموزش یک مدل باید بدانید.

• عدم تطابق وظایف: هنگام انتخاب یک مدل پایه برای یادگیری انتقالی، باید تا حد امکان با مشکلاتی که مدل جدید حل می کند مرتبط باشد. استفاده از مدلی که گربه‌ها را برای ایجاد مدل طبقه‌بندی سگ طبقه‌بندی می‌کند، به احتمال زیاد نتایج بهتری نسبت به استفاده از مدل طبقه‌بندی خودرو برای ایجاد مدلی برای گیاهان دارد. هرچه مدل پایه با مدلی که می‌خواهید بسازید مرتبط‌تر باشد، در زمان و منابع بیشتری در طول فرآیند یادگیری انتقال صرفه‌جویی خواهید کرد.
• تعصب مجموعه داده ها: اگرچه مدل های از پیش آموزش دیده اغلب در مجموعه داده های بزرگ آموزش داده می شوند، اما هنوز این احتمال وجود دارد که در طول آموزش خود سوگیری خاصی ایجاد کنند. استفاده از مدل پایه با سوگیری بالا همچنین باعث می شود که مدل تعصبات خود را به ارث ببرد، بنابراین دقت و قابلیت اطمینان مدل شما کاهش می یابد. متأسفانه، به دلیل ماهیت جعبه سیاه یادگیری عمیق، تعیین منشأ این سوگیری ها دشوار است.
• تطبیق بیش از حد: یکی از مزایای اصلی یادگیری انتقال این است که می توانید از مجموعه داده نسبتاً کوچکی برای آموزش بیشتر مدل استفاده کنید. با این حال، آموزش مدل بر روی یک مجموعه داده که خیلی کوچک است ممکن است باعث بیش از حد برازش شود، که به طور قابل توجهی قابلیت اطمینان مدل را در صورت ارائه داده‌های جدید کاهش می‌دهد.

بنابراین در حالی که یادگیری انتقالی یک تکنیک یادگیری هوش مصنوعی مفید است، محدودیت‌هایی وجود دارد و این یک گلوله نقره‌ای نیست.

آیا باید از آموزش انتقال استفاده کنید؟

از زمان در دسترس بودن مدل های از پیش آموزش دیده، یادگیری انتقالی همیشه برای ساخت مدل های تخصصی تر مورد استفاده قرار گرفته است. اگر یک مدل از قبل آموزش دیده مرتبط با مشکلاتی که مدل شما حل می کند، واقعاً دلیلی برای استفاده نکردن از یادگیری انتقالی وجود ندارد.

اگرچه آموزش یک مدل یادگیری ماشینی ساده از ابتدا امکان پذیر است، اما انجام این کار در یک مدل یادگیری عمیق به داده ها، زمان و مهارت زیادی نیاز دارد که اگر بتوانید یک مدل موجود مشابه مدل خود را تغییر دهید، منطقی نخواهد بود. برنامه ریزی برای آموزش بنابراین، اگر می خواهید زمان و هزینه کمتری برای آموزش یک مدل صرف کنید، سعی کنید مدل خود را از طریق آموزش انتقالی آموزش دهید.

منبع مقاله