المقصود
في نماذج المحولات، يُطبَّق LoRA في الغالب على مصفوفات الانتباه الخاصة بالإسقاطات: الاستعلام (query)، والمفتاح (key)، والقيمة (value)، والإخراج (output).
الشاهد
“During finetuning, update only the parameters in A and B. W is kept intact.”
📕 من كتاب: AI Engineering بقلم Chip Huyen
ما الذي تثبته الفكرة؟
يُحدِّد المكوّنات المعمارية الرئيسية التي يُنشر عليها LoRA عادةً.
حدود الفكرة
لا يثبت أن هذه هي المصفوفات الوحيدة المفيدة لتطبيق LoRA.
اقرأ أيضاً
مفاهيم
روابط للقراءة
- هندسة الذكاء الاصطناعي
- المجال: التكنولوجيا