تنظیم دقیق (یادگیری ماشین)

در یادگیری ماشین، تنظیم دقیق رویکردی برای انتقال یادگیری است که در آن وزن‌های یک مدل از پیش آموزش‌دیده بر روی داده‌های جدید آموزش داده می‌شود.^[۱] تنظیم دقیق را می‌توان در کل شبکه عصبی یا فقط روی زیرمجموعه ای از لایه‌های آن انجام داد، در این صورت لایه‌هایی که تنظیم دقیق نمی‌شوند «یخ زده» می‌شوند (در مرحله پس انتشار به روز نمی‌شوند).^[۲]

برای برخی از معماری‌ها، مانند شبکه‌های عصبی کانولوشن، معمول است که لایه‌های قبلی (آنهایی که نزدیک به لایه ورودی هستند) ثابت نگه داشته شوند، زیرا آنها ویژگی‌های سطح پایین‌تر را جذب می‌کنند، در حالی که لایه‌های بعدی اغلب ویژگی‌های سطح بالا را تشخیص می‌دهند که می‌تواند بیشتر به لایه ورودی مرتبط باشد. وظیفه ای که مدل بر روی آن آموزش دیده‌است.^[۳][۴]

تنظیم دقیق در پردازش زبان طبیعی (NLP) به ویژه در حوزه مدل‌سازی زبان رایج است. مدل‌های زبان بزرگ مانند GPT-2 OpenAI را می‌توان در پایین دست تنظیم کرد تولید نتایج بهتر از مدل از پیش آموزش دیده به‌طور معمول.^[۵] مدل‌هایی که از قبل روی پیکره‌های بزرگ و عمومی آموزش داده شده‌اند، معمولاً با استفاده مجدد از پارامترهای مدل به عنوان نقطه شروع و افزودن یک لایه ویژه کار که از ابتدا آموزش داده شده‌است، به‌خوبی تنظیم می‌شوند.^[۶] تنظیم دقیق مدل کامل نیز رایج است و اغلب نتایج بهتری به همراه دارد، اما از نظر محاسباتی گران‌تر است.^[۵] تنظیم دقیق کامل نیز مستعد بیش از حد برازش است و ممکن است باعث شود که مدل در داده‌های خارج از توزیع داده‌های آموزشی مورد استفاده در هنگام تنظیم دقیق عملکرد بدتری داشته باشد.^[۷]

تنظیم دقیق معمولاً با یادگیری نظارت شده انجام می‌شود، اما تکنیک‌هایی نیز برای تنظیم دقیق مدل با استفاده از نظارت ضعیف وجود دارد.^[۸] یادگیری تقویتی همچنین برای تنظیم دقیق مدل‌های زبانی مانند ChatGPT (نسخه تنظیم شده GPT-3) و Sparrow با استفاده از یادگیری تقویتی از بازخورد انسانی استفاده می‌شود.^[۹][۱۰]

جستارهای وابسته

• انتقال یادگیری
• مدل‌های زبان بزرگ

منابع

1. {{cite book}}: Empty citation (help)
2. "CS231n Convolutional Neural Networks for Visual Recognition". cs231n.github.io. Retrieved 9 March 2023.
3. "CS231n Convolutional Neural Networks for Visual Recognition". cs231n.github.io. Retrieved 9 March 2023.
4. Zeiler, Matthew D; Fergus, Rob (2013). "Visualizing and Understanding Convolutional Networks". arXiv:1311.2901.
5. Dingliwal, Saket; Shenoy, Ashish; Bodapati, Sravan; Gandhe, Ankur; Gadde, Ravi Teja; Kirchhoff, Katrin (2021). "Prompt Tuning GPT-2 language model for parameter-efficient domain adaptation of ASR systems". arXiv:2112.08718.
6. Dodge, Jesse; Ilharco, Gabriel; Schwartz, Roy; Farhadi, Ali; Hajishirzi, Hannaneh; Smith, Noah (2020). "Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping". arXiv:2002.06305.
7. Kumar, Ananya; Raghunathan, Aditi; Jones, Robbie; Ma, Tengyu; Liang, Percy (2022). "Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution". arXiv:2202.10054.
8. Yu, Yue; Zuo, Simiao; Jiang, Haoming; Ren, Wendi; Zhao, Tuo; Zhang, Chao (2020). "Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach". arXiv:2010.07835.
9. "Introducing ChatGPT". openai.com. Retrieved 9 March 2023.
10. Glaese, Amelia; McAleese, Nat; Trębacz, Maja; Aslanides, John; Firoiu, Vlad; Ewalds, Timo; Rauh, Maribeth; Weidinger, Laura; Chadwick, Martin (2022). "Improving alignment of dialogue agents via targeted human judgements". arXiv:2209.14375.