انقلابی در فشرده‌سازی هوش مصنوعی؛ مدل‌های ۴ بیتی با روش QAH از نسخه اصلی قدرتمندتر شدند

در دنیای توسعه مدل‌های زبانی بزرگ، همواره معادله‌ای نانوشته وجود داشته است: کوچک‌تر کردن مدل و کاهش حافظه مصرفی مساوی است با افت هوش و افت دقت خروجی. با این حال، پژوهش جدید منتشرشده توسط تیم Multiverse Computing در پلتفرم Hugging Face نشان می‌دهد که این محدودیت فنی سرانجام شکسته شده است.

تکنیک نوین موسوم به Quantization-Aware Healing یا به اختصار QAH، راهکاری پیشرفته است که نه تنها افت عملکرد ناشی از فشرده‌سازی مدل‌ها به حالت فوق‌سبک ۴ بیتی را جبران می‌کند، بلکه خروجی نهایی مدل را از نسخه حجیم و دست‌نخورده (Full Precision) نیز باهوش‌تر و دقیق‌تر می‌سازد.

معمای بزرگ بهینه‌سازی: فشرده‌سازی بدون افت کیفیت

مدل‌های زبانی بزرگ (LLM) برای استقرار در محیط‌های تجاری و دستگاه‌های کاربری نیازمند حافظه و توان پردازشی بسیار بالایی هستند. در حالت استاندارد، پارامترهای این مدل‌ها در قالب اعداد اعشاری ۱۶ بیتی (FP16) ذخیره می‌شوند. فرایند کوانتایزیشن (Quantization) یا کوانتش، تلاش می‌کند این مقادیر را به فرمت‌های سبک‌تر مانند ۴ بیت کاهش دهد تا مصرف رم گرافیکی (VRAM) تا حدود ۷۰ درصد کمتر شود.

مشکل اساسی اینجاست که کوانتش عمیق تا حد ۴ بیت، معمولاً به تخریب لایه‌های حساس شبکه عصبی و کاهش چشمگیر دقت تحلیل، استدلال و تولید زبان منجر می‌شود. تاکنون روش‌های متعددی برای مهار این افت کیفیت طراحی شده بودند، اما تکنولوژی QAH برای نخستین بار این معادله را معکوس کرده است.

روش نوین QAH چگونه کار می‌کند؟

روش‌های مرسوم «ترمیم مدل» (Model Healing) عموماً پس از کوانتایزیشن اعمال می‌شوند و صرفاً با جریمه‌های آماری تلاش می‌کنند خطاهای شناختی مدل را رفو کنند. در نقطه مقابل، روش QAH از ساختاری هوشمند بهره می‌برد که در طول فرایند ترمیم، از ماهیت دگرگون‌شده‌ی وزن‌های ۴ بیتی آگاه است.

• آگاهی از نویز کوانتش: مدل به جای نادیده گرفتن تقریب‌های عددی ۴ بیتی، مسیرهای بازنمایی داخلی را با توجه به این تغییرات بهینه‌سازی می‌کند.
• ترمیم هدفمند لایه‌ها: به جای تنظیم دوباره کل پارامترها که نیازمند محاسبات سنگین است، تنها لایه‌هایی که بیشترین حساسیت را به افت اطلاعات نشان داده‌اند بازسازی و هم‌راستا می‌شوند.
• فوق‌پایداری پارامتریک: ساختار جدید به مدل اجازه می‌دهد حین ترمیم، روابط غیرخطی پیچیده‌تری را استخراج کند که حتی در نسخه FP16 به درستی تفکیک نشده بودند.

مقایسه رویکردهای مختلف فشرده‌سازی و کارایی

برای درک بهتر جایگاه نوآوری QAH، نگاهی به جدول مقایسه‌ای روش‌های کوانتایزیشن رایج با این رویکرد جدید می‌اندازیم:

چرا نسخه ۴ بیتی ترمیم‌شده بهتر از نسخه اولیه عمل می‌کند؟

شاید این گزاره خلاف شهود به نظر برسد که چطور یک فایل فشرده‌تر می‌تواند عملکردی برتر از فایل اصلی داشته باشد؟ پاسخ در پدیده‌ای به نام حذف نویز پارامتری نهفته است.

در مدل‌های پرحجم FP16، بخش قابل توجهی از ظرفیت محاسباتی صرف وزن‌های زائد و الگوهای اضافی می‌شود. تکنیک QAH مانند یک فیلتر پالایشگر عمل می‌کند؛ اطلاعات زائد با کوانتایزیشن حذف می‌شوند و بازآرایی هدفمند باعث می‌شود ظرفیت باقی‌مانده ۴ بیتی فقط روی کارآمدترین بردارها متمرکز شود.

پیامدهای این دستاورد بر بازار سخت‌افزار و آینده هوش مصنوعی

توسعه فناوری‌هایی مانند QAH صرفاً یک دستاورد آکادمیک نیست، بلکه تأثیرات ملموسی بر اقتصاد زیرساخت هوش مصنوعی خواهد داشت:

1. کاهش وابستگی به چیپ‌های فوق‌گران‌قیمت: نیاز شرکت‌ها به سرورهای مجهز به ده‌ها کارت گرافیک گران‌قیمت انویدیا به شدت کاهش پیدا می‌کند.
2. توسعه هوش مصنوعی بر روی دستگاه (On-Device AI): اجرای مدل‌های زبانی ۷۰ میلیارد پارامتری روی لپ‌تاپ‌های شخصی، گوشی‌های هوشمند و تراشه‌های خودروها امکان‌پذیرتر می‌شود.
3. کاهش ردپای کربنی مراکز داده: مصرف کمتر حافظه و محاسبات سریع‌تر، مستقیماً به کاهش مصرف برق و خنک‌سازی دیتاسنترها منجر خواهد شد.

جمع‌بندی

دستیابی به تکنیک Quantization-Aware Healing نقطه عطفی در معماری بهره‌وری مدل‌های هوش مصنوعی است. اثبات این موضوع که می‌توان مدل‌ها را تا ۴ بیت فشرده کرد و همزمان قدرت استدلال آن‌ها را ارتقا داد، نشان می‌دهد آینده هوش مصنوعی لزوماً در انحصار مدل‌های غول‌پیکر با ابعاد نامحدود نیست، بلکه در بهینه‌سازی هوشمندانه الگوریتم‌ها قرار دارد.

سؤالات متداول

روش QAH چیست و چه کاربردی دارد؟

تکنیک Quantization-Aware Healing روشی نوین برای فشرده‌سازی مدل‌های زبانی به فرمت ۴ بیتی است که نه تنها مانع افت کیفیت می‌شود، بلکه دقت و عملکرد مدل را نسبت به نسخه اصلی بهبود می‌بخشد.

تفاوت QAH با روش‌های سنتی مانند QAT چیست؟

روش‌های سنتی مانند QAT نیازمند توان پردازشی بسیار سنگین برای بازآموزی مدل هستند، اما QAH با هزینه پردازشی بسیار کمتر و با تمرکز بر ترمیم لایه‌های بحرانی، بازدهی بالاتری ارائه می‌دهد.

آیا مدل‌های فشرده‌شده با QAH روی گوشی‌های موبایل اجرا می‌شوند؟

بله، کاهش بیش از ۷۰ درصدی مصرف حافظه بدون افت کیفیت، استقرار مدل‌های بزرگ و قدرتمند روی سخت‌افزارهای مصرفی مانند لپ‌تاپ و گوشی‌های هوشمند را بسیار تسهیل می‌کند.

کوانتایزیشن ۴ بیتی چه تاثیری بر مصرف انرژی دیتاسنترها دارد؟

کاهش بار پردازشی و مصرف رم گرافیکی، انرژی مصرفی جهت پردازش استنتاج (Inference) و خنک‌سازی سرورها را به شکل چشمگیری کاهش می‌دهد.