قد يؤدي التكميم إلى إبطاء التدريب

المقصود

من القيود الرئيسية في QLoRA أن التكميم يمكن أن يزيد زمن التدريب بسبب العمل الإضافي في عمليتي التكميم وفك التكميم.

“you can reduce the memory usage more effectively by quantizing the model’s weights, activations, and/or gradients during finetuning”

📕 من كتاب: AI Engineering بقلم Chip Huyen

يُثبت ذلك وجود مفاضلة واضحة بين الذاكرة والسرعة في QLoRA.

لا يحدد مدى مقدار بطء التدريب في جميع الحالات.