المقصود
يقلّل QLoRA ذاكرة الضبط الدقيق بشكل أكثر فاعلية من خلال تكميم أوزان النموذج والتفعيلات والتدرجات مقارنةً بتصغير معاملات LoRA.
الشاهد
“you can reduce the memory usage more effectively by quantizing the model’s weights, activations, and/or gradients during finetuning”
📕 من كتاب: AI Engineering بقلم Chip Huyen
ما الذي تثبته الفكرة؟
هذا يثبت أن التكميم هو الوسيلة الموصى بها لتوفير الذاكرة في ضبط QLoRA وما شابهه.
حدود الفكرة
لا يحدّد مقدار التوفير بدقة لكل نموذج أو إعداد تدريب.
اقرأ أيضاً
مفاهيم
روابط للقراءة
- هندسة الذكاء الاصطناعي
- المجال: التكنولوجيا