مشکل انفجار گرادیان

تعریف

تمایل گرادیان‌ها در یک شبکه عصبی عمیق (به‌خصوص شبکه‌های عصبی بازگشتی) برای پذیرفتن مقادیر بالا. گرادیان‌های بالا باعث به‌روزرسانی شدید در وزن‌ها در هر گره (node) در شبکه عصبی عمیق می‌شود.

آموزش مدل‌هایی که با مشکل انفجار گرادیان مواجه هستند سخت یا گاهی غیرممکن است. محدود کردن شیب (gradient clipping) می‌تواند در رفع این مشکل موثر باشد.

مقایسه شود با محوشدگی گرادیان (vanishing gradient problem).