المقصود
في النماذج الكبيرة، قد تتجاوز ذاكرة التفعيلات ذاكرة أوزان النموذج وتصبح عنق الزجاجة الرئيسي للذاكرة.
الشاهد
“the activation memory can be much larger.”
📕 من كتاب: AI Engineering بقلم Chip Huyen
ما الذي تثبته الفكرة؟
يُثبت هذا أن تخطيط الذاكرة أثناء التدريب لا يمكن أن يركز على المعلمات وحدها.
حدود الفكرة
لا يحدد متى يحدث ذلك أو مدى شيوعه عبر جميع النماذج.
اقرأ أيضاً
مفاهيم
روابط للقراءة
- هندسة الذكاء الاصطناعي
- المجال: التكنولوجيا