المقصود
يمكن أن يؤدي إسناد مرحلتي prefill و decode إلى مثيلات مختلفة إلى تحسين الإنتاجية بشكل ملحوظ مع الاستمرار في تلبية متطلبات زمن الاستجابة.
الشاهد
“This one prefilling job can drain computational resources from existing decoding jobs, slowing down TPOT for these requests.”
📕 من كتاب: AI Engineering بقلم Chip Huyen
ما الذي تثبته الفكرة؟
يُظهر أن فصل المرحلتين يعدّ تحسينًا فعّالًا في خادم الاستدلال.
حدود الفكرة
لا يثبت أن هذا هو دائمًا الخيار الأفضل لكل عملية نشر.
اقرأ أيضاً
مفاهيم
روابط للقراءة
- هندسة الذكاء الاصطناعي
- المجال: التكنولوجيا