همگرایی

تعریف

معمولا به وضعیتی در روند آموزش شبکه اشاره دارد که در آن بعد از مدتی مقدار زیان داده‌های آموزش (training loss) و هم‌چنین مقدار زیان داده‌های اعتبارسنجی (validation loss) در هر تکرار (iteration) خیلی کم تغییر کند یا اصلا تغییر نکند. به بیان دیگر، یک مدل زمانی به همگرایی می‌رسد که ادامه دادن فرآیند آموزش بر روی داده‌های فعلی بهبودی در مدل حاصل نکند. در یادگیری عمیق، گاهی مقادیر تابع زیان قبل از کاهش در چندین گام ثابت می‌مانند که ممکن است به اشتباه همگرایی برداشت شود.

مطالعه بیشتر: توقف زودهنگام (early stopping) ، بهینه‌سازی محدب (Boyd and Vandenberghe, Convex Optimization)