الاستدلال له مرحلتان

المقصود

يتكوّن استدلال نماذج اللغة المعتمدة على المحولات من مرحلة تمهيدية متوازية ومرحلة فك ترميز تسلسلية.

“a 7B-parameter model will be vastly easier to deploy than a 175B-parameter model.”

📕 من كتاب: AI Engineering بقلم Chip Huyen

يُثبت سير العمل الأساسي للاستدلال المستخدم في نماذج اللغة المعتمدة على المحولات.

لا يحدد التكلفة الأداء لكل مرحلة بالنسبة إلى نموذج معيّن.