AirLLM: شغّل نماذج 70B على بطاقة GPU بذاكرة 4GB — لكن هل الأداء عملي؟

إذا فشل تحميل نموذج 70B لأن بطاقة الرسوميات لديك لا تتجاوز 4GB من VRAM، فالمشكلة ليست دائماً في حجم النموذج الكامل. AirLLM يغيّر طريقة التحميل: بدلاً من إبقاء كل الأوزان على GPU، يمرّر النموذج طبقة بعد أخرى ويحتفظ بالطبقة المطلوبة…









