تحسين ونشر نماذج التعلم العميق عبر أجهزة Intel
قم بتحويل النماذج المدربة إلى تنسيق وسيط وتشغيل استدلال عالي الأداء باستخدام Model Optimizer ومحرك الاستدلال، مع التعامل مع وحدات المعالجة المركزية، ووحدات معالجة الرسوميات، ووحدات معالجة الشبكات العصبية. توفر شركة Intel Corporation هذه المجموعة المفتوحة المصدر لتطوير سطح المكتب والحافة، مع واجهات برمجة التطبيقات Python وC++ وتكامل Visual Studio. تدعم TensorFlow وPyTorch وONNX وKeras وPaddlePaddle، وتشتمل على أدوات التكميم وأدوات نشر GenAI. تناسب هذه المجموعة مطوري ومهندسي الذكاء الاصطناعي الذين يستهدفون الأجهزة المعتمدة على Intel للاستدلال منخفض الكمون وعالي الإنتاجية.
ماذا يفعل OpenVINO للنماذج المنفذة؟
OpenVINO يقوم بتحويل وتحضير النماذج من خلال استخدام Model Optimizer لترجمة TensorFlow و PyTorch و ONNX و Keras و PaddlePaddle إلى تمثيل وسيط. بالإضافة إلى ذلك، يقوم إطار عمل ضغط الشبكة العصبية بتطبيق التكميم وغيرها من التحسينات لتقليل حجم النموذج. ثم يقوم محرك الاستدلال بتنفيذ تلك الملفات IR عبر معالجات Intel المدعومة والرسوميات، مما يسمح بتشغيل نفس النموذج المحول على أجهزة Intel المختلفة.
هل يؤثر على أداء النظام أثناء الاستدلال؟
الأداة توجه التنفيذ إلى أفضل جهاز Intel متاح بحيث يمكن لوحدة المعالجة المركزية أو GPU المدمجة أو المنفصلة أو NPU إجراء الاستدلال. الدعم لمعالجات Intel Core و Xeon و Atom ورسوميات Arc و UHD و Iris Xe هو دعم صريح، ويستهدف محرك الاستدلال البدائل المناسبة للجهاز لتقليل زمن الانتظار وزيادة الإنتاجية أثناء وقت التشغيل. يمكن للمطورين اختيار واجهات خلفية محددة للجهاز لتحقيق توازن بين تحميل وحدة المعالجة المركزية واستخدام المعززات.
هل هو آمن وقابل للإدارة في بيئات الإنتاج؟
OpenVINO يعمل بموجب ترخيص مفتوح المصدر ويتكامل مع سير عمل المطورين من خلال واجهات برمجة التطبيقات Python و C++ و Visual Studio hooks. توفر الأداة خطوات تحويل وتحسين النموذج قبل التنفيذ، مما يقلل الحاجة إلى تعديل الثنائيات الإنتاجية أثناء وقت التشغيل. يوفر Open Model Zoo نماذج مدربة مسبقًا، ويضيف OpenVINO GenAI خطوط أنابيب للنماذج التوليدية، مما يسمح للفرق بإعادة استخدام الأصول المعتمدة بدلاً من نشر ثنائيات النموذج غير المختبرة مباشرة.
مناسب لفرق الذكاء الاصطناعي التي تركز على إنتل؛ يتطلب معرفة بالنماذج والنشر
تتناسب مجموعة الأدوات مع المطورين وعلماء البيانات الذين يجب عليهم الحصول على استنتاج عالي الأداء على أجهزة إنتل والذين يمكنهم العمل مع خطوات تحويل النماذج واختيار الأجهزة. تحذير واحد فقط: الفرق غير المألوفة مع سير عمل تحسين النماذج تواجه منحنى تعليمي لأن العملية تتطلب تحويل النماذج إلى تنسيق IR وتطبيق خطوات الضغط قبل النشر.
