المقصود
عندما تتسبب أحجام الدفعات الصغيرة في تحديثات غير مستقرة للأوزان، يمكن أن يحسّن التجميع التدريجي للدرجات الموثوقية عبر دمج الدرجات عبر عدة دفعات قبل إجراء التحديث.
الشاهد
“the larger the batch size, the faster the model can go through training examples. However, the larger the batch size, the more memory is needed”
📕 من كتاب: AI Engineering بقلم Chip Huyen
ما الذي تثبته الفكرة؟
يُظهر هذا حلاً عمليًا للتدريب المقيد بالذاكرة.
حدود الفكرة
لا يثبت أن التجميع التدريجي للدرجات أفضل دائمًا من استخدام دفعة أكبر.
اقرأ أيضاً
مفاهيم
روابط للقراءة
- هندسة الذكاء الاصطناعي
- المجال: التكنولوجيا