- DirectML - واجهة برمجية منخفضة المستوى للتعلم الآلي المسرّع بالأجهزة مبنية على DirectX 12.
- CUDA - منصة وبرنامج واجهة برمجية (API) للتوازي الحاسوبي طورتها Nvidia، تتيح معالجة الأغراض العامة على وحدات معالجة الرسومات (GPUs).
- ONNX (Open Neural Network Exchange) - صيغة مفتوحة مصممة لتمثيل نماذج التعلم الآلي وتوفير التوافق بين أطر العمل المختلفة.
- GGUF (Generic Graph Update Format) - صيغة تستخدم لتمثيل وتحديث نماذج التعلم الآلي، وهي مفيدة بشكل خاص لنماذج اللغة الصغيرة التي تعمل بكفاءة على وحدات المعالجة المركزية مع التكميم بـ 4-8 بت.
DirectML هي واجهة برمجية منخفضة المستوى تتيح التعلم الآلي المسرّع بالأجهزة. تم بناؤها على DirectX 12 للاستفادة من تسريع GPU، وهي غير معتمدة على بائع معين، مما يعني أنه لا حاجة لتغيير الكود للعمل مع مختلف موردي وحدات GPU. تُستخدم بشكل أساسي في مهام تدريب النماذج والاستنتاج على وحدات GPU.
بالنسبة لدعم الأجهزة، تم تصميم DirectML للعمل مع مجموعة واسعة من وحدات GPU، بما في ذلك وحدات AMD المدمجة والمنفصلة، وحدات Intel المدمجة، ووحدات NVIDIA المنفصلة. وهي جزء من منصة Windows AI وتدعم أنظمة Windows 10 و11، مما يتيح تدريب النماذج والاستنتاج على أي جهاز يعمل بنظام Windows.
هناك تحديثات وفرص متعلقة بـ DirectML، مثل دعم ما يصل إلى 150 عملية ONNX واستخدامها من قبل كل من ONNX runtime وWinML. وهي مدعومة من قبل موردي الأجهزة المتكاملة الرئيسيين (IHVs)، حيث ينفذ كل منهم أوامر ميتا متنوعة.
CUDA، التي تعني Compute Unified Device Architecture، هي منصة وبرنامج واجهة برمجية (API) للتوازي الحاسوبي طورتها Nvidia. تتيح للمطورين استخدام وحدة معالجة رسومات (GPU) تدعم CUDA لمعالجة الأغراض العامة - وهو نهج يُعرف باسم GPGPU (الحوسبة العامة على وحدات معالجة الرسومات). تعتبر CUDA أداة رئيسية لتسريع GPU من Nvidia وتستخدم على نطاق واسع في مجالات متنوعة، بما في ذلك التعلم الآلي، الحوسبة العلمية، ومعالجة الفيديو.
دعم الأجهزة لـ CUDA خاص بوحدات GPU من Nvidia، حيث إنها تقنية مملوكة طورتها Nvidia. يدعم كل معمارية إصدارات محددة من أدوات CUDA، التي توفر المكتبات والأدوات اللازمة للمطورين لبناء وتشغيل تطبيقات CUDA.
ONNX (Open Neural Network Exchange) هي صيغة مفتوحة مصممة لتمثيل نماذج التعلم الآلي. توفر تعريفًا لنموذج رسم بياني للحساب قابل للتوسيع، بالإضافة إلى تعريفات للمشغلات المدمجة وأنواع البيانات القياسية. يسمح ONNX للمطورين بنقل النماذج بين أطر التعلم الآلي المختلفة، مما يتيح التوافق ويسهل إنشاء ونشر تطبيقات الذكاء الاصطناعي.
Phi3 mini يمكنه العمل مع ONNX Runtime على وحدات المعالجة المركزية ووحدات GPU عبر الأجهزة، بما في ذلك منصات الخوادم، أجهزة سطح المكتب Windows وLinux وMac، والمعالجات المحمولة. التكوينات المحسنة التي أضفناها هي:
- نماذج ONNX لـ int4 DML: مكممة إلى int4 عبر AWQ
- نموذج ONNX لـ fp16 CUDA
- نموذج ONNX لـ int4 CUDA: مكمم إلى int4 عبر RTN
- نموذج ONNX لـ int4 CPU وMobile: مكمم إلى int4 عبر RTN
Llama.cpp مكتبة برمجية مفتوحة المصدر مكتوبة بلغة C++. تقوم بعملية الاستنتاج على نماذج اللغة الكبيرة (LLMs) المختلفة، بما في ذلك Llama. تم تطويرها جنبًا إلى جنب مع مكتبة ggml (مكتبة عامة للأوتار)، وتهدف Llama.cpp إلى تقديم استنتاج أسرع واستهلاك أقل للذاكرة مقارنة بالتنفيذ الأصلي بلغة Python. تدعم تحسين الأجهزة، التكميم، وتوفر واجهة برمجية بسيطة وأمثلة. إذا كنت مهتمًا باستنتاج فعال لنماذج اللغة الكبيرة، فإن Llama.cpp تستحق الاستكشاف حيث يمكن لـ Phi3 تشغيلها.
GGUF (Generic Graph Update Format) هي صيغة تُستخدم لتمثيل وتحديث نماذج التعلم الآلي. وهي مفيدة بشكل خاص لنماذج اللغة الصغيرة (SLMs) التي يمكنها العمل بكفاءة على وحدات المعالجة المركزية مع التكميم بـ 4-8 بت. تعتبر GGUF مفيدة للنماذج الأولية السريعة وتشغيل النماذج على الأجهزة الطرفية أو في مهام الدُفعات مثل خطوط CI/CD.
إخلاء مسؤولية:
تمت ترجمة هذا المستند باستخدام خدمات ترجمة آلية تعتمد على الذكاء الاصطناعي. بينما نسعى لتحقيق الدقة، يُرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو معلومات غير دقيقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق به. للحصول على معلومات حاسمة، يُوصى بالاستعانة بترجمة بشرية احترافية. نحن غير مسؤولين عن أي سوء فهم أو تفسيرات خاطئة تنشأ عن استخدام هذه الترجمة.