تداخل التهيئة المسبقة مع فك الترميز يضر بالكمون

المقصود

يمكن أن تؤدي إضافة طلب جديد إلى إبطاء مهام فك الترميز الموجودة، لأن مهمة التهيئة المسبقة الجديدة تستنزف الموارد الحاسوبية منها.

“This one prefilling job can drain computational resources from existing decoding jobs, slowing down TPOT for these requests.”

📕 من كتاب: AI Engineering بقلم Chip Huyen

يثبت أن أحمال عمل التهيئة المسبقة وفك الترميز تتداخل مع بعضها عند تقديمها معًا.

لا يحدد مقدار التباطؤ لكل النماذج أو أحمال العمل.