التكيف منخفض الرتبة (LoRA)

مع التطور السريع في مجال الذكاء الاصطناعي التوليدي، أصبحت نماذج ماجستير إدارة الأعمال جزءًا لا يتجزأ من حياتنا اليومية وعملياتنا التجارية. فهي تُحدث تحولًا جذريًا في طريقة تفاعلنا وعملنا وابتكارنا. إلى جانب قدراتها المذهلة، غالبًا ما تتطلب هذه النماذج تدريبًا على مهام أو مجموعات بيانات أو مجالات محددة لتحقيق الأداء الأمثل. يساعدنا الضبط الدقيق على تدريب النموذج على مهام ومجموعات بيانات محددة، مما يُطلق العنان لإمكاناته الكاملة، إلا أن هذه المهمة مُكلفة حسابيًا وتستغرق وقتًا طويلًا. ومع توسيع آفاق الذكاء الاصطناعي، تبرز الحاجة إلى تطوير تقنيات فعّالة ومنخفضة التكلفة للضبط الدقيق، مما يُحسّن أداء النموذج إلى أقصى حد.

في عام ٢٠٢٣، أطلقت Hugging Face رسميًا تقنية الضبط الدقيق الفعال للمعلمات (PEFT)، وهي منهجية تُدرّب النموذج على عدد قليل من المعلمات دون المساس بأدائه. تُطبّق PEFT من خلال تقنيات مختلفة، منها تقنية التكيف منخفض الرتبة (LoRA)، وهي طريقة فعّالة لضبط نماذج LLM بدقة، مع الموازنة بين الكفاءة والقدرة على التكيف. لنتعمق في تفاصيل LoRA ونرى كيف تعمل.

ما هو LoRA؟

LoRA هي تقنية تعمل بإضافة أوزان مُعاد ضبط معلماتها إلى نموذج مُدرّب مسبقًا دون تعديل الأوزان الأصلية. تستخدم هذه التقنية تقنية تحويل منخفضة الرتبة تُعيد ضبط معلمات أوزان النموذج باستخدام مصفوفتين منخفضتي الرتبة. تُدرّب هاتان المصفوفتان فقط لتكييف النموذج مع مهمة جديدة، مما يُقلّل بفعالية عدد المعاملات القابلة للتدريب. يُقلّل هذا النهج بشكل كبير من تكاليف الحوسبة ووقت التدريب، مما يجعل LoRA حلاً مثاليًا للضبط الدقيق الفعال.

كيف يعمل LoRA؟

يعمل LoRA بتحليل مصفوفات أوزان النموذج المُدرَّب مسبقًا إلى مصفوفات أصغر وأقل رتبةً تُقارب المصفوفات الأكبر. تُحقن هذه المصفوفات الجديدة في كل طبقة من طبقات المُحوِّل وتُدرَّب للتكيف مع مجموعة البيانات. تُجمَّد الأوزان الأصلية للنموذج المُدرَّب مسبقًا لتجنب النسيان المُؤدِّي إلى نتائج كارثية. ثم تُدمج الأوزان المُحدَّثة مع الأوزان الأصلية لإنتاج النتائج.

لنفهم هذا بمثال. لنأخذ مصفوفة أوزان. $W$ مع الأبعاد $[m \times n]$ من طبقة عشوائية من نموذج مدرب مسبقًا.

ملاحظة: مصفوفات الأوزان الأصلية كبيرة الحجم. سنستخدم مصفوفة أوزان صغيرة تحتوي على بعض القيم العشوائية لفهم المفهوم.

يضيف LoRA أوزانًا جديدة إلى طبقة المحول التي تم الحصول عليها عن طريق تحليل مصفوفة الأوزان الأصلية $W$ إلى مصفوفتين منخفضتي الرتبة، لنقل A ذات الأبعاد $[m\times k]$ ...