الدقة المختلطة توازن التدريب

المقصود

غالبًا ما يُنفَّذ التدريب منخفض الدقة على هيئة دقة مختلطة، مع الاحتفاظ بالأوزان بدقة أعلى واستخدام دقة أقل للتدرجات والتفعيلات.

“Quantization-aware training (QAT) aims to create a model with high quality in low precision for inference.”

📕 من كتاب: AI Engineering بقلم Chip Huyen

يُثبت هذا وجود استراتيجية عملية شائعة لاستخدام الدقة المنخفضة أثناء التدريب.

لا يثبت أن الدقة المختلطة كافية دائمًا لكل نموذج أو مهمة.