المقصود
تخزّن QLoRA أوزان النموذج في 4 بتات ويمكنها ضبط نموذج بحجم 65 مليار معامل على وحدة معالجة رسومية واحدة بسعة 48 جيجابايت.
الشاهد
“you can reduce the memory usage more effectively by quantizing the model’s weights, activations, and/or gradients during finetuning”
📕 من كتاب: AI Engineering بقلم Chip Huyen
ما الذي تثبته الفكرة؟
يُظهر هذا أن QLoRA تجعل ضبط النماذج الكبيرة ممكنًا ضمن قيود عتادية صارمة.
حدود الفكرة
لا يثبت هذا أن هذا النهج أسرع دائمًا أو أنه أفضل عالميًا من الضبط بدقة أعلى.
اقرأ أيضاً
مفاهيم
روابط للقراءة
- هندسة الذكاء الاصطناعي
- المجال: التكنولوجيا