AWS Neuron

مجموعة تطوير البرمجيات (SDK) لتحسين الذكاء الاصطناعي والتعلم العميق على AWS Trainium وAWS Inferentia

ابدأ استخدام AWS Neuron

ما المقصود بـ AWS Neuron؟

AWS Neuron هي مجموعة تطوير البرامج (SDK) المستخدمة لتشغيل التعلم العميق وأعباء عمل الذكاء الاصطناعي المولّد على مثيلات Amazon Elastic Compute Cloud‏ (Amazon EC2) التي تعمل بنظام AWS Inferentia وAWS Trainium. يتضمن المترجم ووقت التشغيل ومكتبات التدريب والاستدلال وأدوات المطور للمراقبة والتنميط وتصحيح الأخطاء. تدعم Neuron دورة حياة تطوير تعلم الآلة (ML) بما في ذلك بناء ونشر نماذج التعلم العميق والذكاء الاصطناعي، والتحسين لتحقيق أعلى أداء وأقل تكلفة، والحصول على رؤى أعمق لسلوك النموذج.

نمط الخلفية

التكامل الأصلي مع أطر تعلم الآلة والمكتبات الشائعة

تتكامل Neuron أصلاً مع PyTorch وJAX ومكتبات تعلم الآلة (ML) الأساسية مثل Hugging Face Optimum Neuron وPyTorch Lightning وAXLearn. تدعم نيورون أيضًا OpenXLA، بما في ذلك StableHLO وGSPMD، مما يمكّن مطوري PyTorch وXLA وJAX من استخدام تحسينات مترجم Neuron لـ Inferentia وTrainium. تُمكّنك Neuron من استخدام المثيلات المستندة إلى Trainium وInferentia مع خدمات مثل Amazon SageMaker وAmazon EKS وAmazon ECS وAWS ParallelCluster وAWS Batch، بالإضافة إلى خدمات الجهات الخارجية مثل Ray‏ (Anyscale)، وDomino Data Lab، وDatadog.

نمط الخلفية

مكتبات التدريب والاستدلال الموزعة

تتضمن Neuron تحسينات جاهزة للتدريب والاستدلال الموزع مع مكتبات PyTorch مفتوحة المصدر NxD Training وNxD Inference. تعمل NxD Training على تبسيط وتحسين التدريب الموزع على نطاق واسع ويدعم العديد من هياكل النماذج واستراتيجيات التوازي وسير العمل التدريبي. توفر NxD Inference حلاً شاملاً للاستدلال الأمثل للنموذج مع الميزات الرئيسية مثل أخذ العينات على الجهاز، ودمج وزن QKV، والتجميع المستمر، وفك التشفير التأملي، والتجميع الديناميكي للبيانات (dynamic bucketing)، والاستدلال الموزع. يتكامل NxD Inference أيضًا مع حلول الخدمة مثل نماذج اللغة الكبيرة الافتراضية (vLLM) وHugging Face TGI. يشتمل كلاهما على محور نموذجي لهياكل النماذج المختلفة.

نمط الخلفية

قدرات العلوم التطبيقية المتقدمة

تمتلك Neuron العديد من القدرات العلمية التطبيقية لتمكين العلماء والباحثين من دفع حدود أبحاث وابتكارات الذكاء الاصطناعي (AI) مفتوحة المصدر على Trainium وInferentia. توفر واجهة Kernel عصبية (NKI) وصولاً مباشرًا إلى أساسيات الأجهزة والتعليمات المتوفرة على Trainium وInferentia، مما يمكّن الباحثين من بناء وضبط نواة الحوسبة لتحقيق الأداء الأمثل. إنها بيئة برمجة قائمة على Python تتبنى صيغة تشبه Triton شائعة الاستخدام ودلالات على مستوى tile. يمكن للباحثين استخدام واجهة Kernel عصبية (NKI) لتعزيز نماذج التعلم العميق بوظائف وتحسينات وابتكارات علمية جديدة. تعمل مشغلات C++ المخصصة من Neuron على تمكين المطورين من توسيع وظائف SDK من خلال إنشاء مشغليها الخاصين المحسنين لـ Inferentia وTrainium.

نمط الخلفية

أدوات المطور القوية

تقدم AWS Neuron SDK مجموعة أدوات شاملة لتوفير رؤى عميقة حول مراقبة وإدارة وتحسين نماذج التعلم العميق على مثيلات EC2 التي تعمل بنظام AWS Inferentia وTrainيوم. يوفر أدوات مساعدة مثل neuron-top وneuron-monitor وNeuron Sysfs لمراقبة موارد الأجهزة وتنفيذ النماذج وتفاصيل النظام. بالنسبة للتطبيقات الحاوية على Kubernetes وEKS، تعمل Neuron على تبسيط المراقبة من خلال تكامل Amazon CloudWatch وأدوات المراقبة الشائعة الأخرى مثل Data Dog. بالإضافة إلى ذلك، تساعد أداة ملف تعريف الخلايا العصبية في تحديد ومعالجة اختناقات الأداء في كل من التطبيقات أحادية العقدة والموزعة، وتوفر إمكانات التنميط الأصلية لأطر تعلم الآلة الشائعة.

نمط الخلفية

بدء الاستخدام

تأتي Neuron Deep Learning Amazon Machine Images (Neuron DLAMIs) مهيأة مسبقًا باستخدام Neuron SDK والأطر الشائعة والمكتبات المفيدة، مما يتيح لك البدء بسرعة في التدريب وتشغيل الاستدلال على AWS Inferentia. تعمل تقنية Neuron DLAMIs على تبسيط سير العمل وتحسين الأداء والقضاء على تعقيدات الإعداد حتى تتمكن من التركيز على بناء نماذج الذكاء الاصطناعي ونشرها. بدء استخدام Neuron DLAMIs.

يمكنك نشر النماذج بسرعة باستخدام حاويات AWS Neuron للتعلم العميق (Neuron DLCs) المهيأة مسبقًا مع أطر محسّنة لـ Trainium وInferentia. للحصول على حلول مخصصة، قم ببناء حاوياتك الخاصة واستفد من ميزات Kubernetes مثل المكون الإضافي لجهاز Neuron وملحق Neuron Scheduler ومخططات Helm. يمكنك الاندماج بسلاسة مع خدمات AWS مثل Amazon EKS وAWS Batch وAmazon ECS لعمليات النشر القابلة للتطوير. ابدأ Neuron DLCs.

تجمع Optimum Neuron بين محولات Hugging Face ومجموعة AWS Neuron SDK، مما يوفر واجهات برمجة تطبيقات قياسية Hugging Face APIs لـ Trainium وInferentia. وهي تقدم حلولًا لكل من التدريب والاستدلال، بما في ذلك دعم التدريب النموذجي واسع النطاق والنشر لسير عمل الذكاء الاصطناعي. من خلال دعم Amazon SageMaker وحاويات التعلم العميق المبنية مسبقًا، تعمل Optimum Neuron على تبسيط استخدام Trainium وInferentia لتعلم الآلة. يسمح هذا التكامل للمطورين بالعمل مع واجهات Hugging Face المألوفة مع الاستفادة من Trainium وInferentia لمشاريعهم القائمة على المحولات. بدء استخدام Hugging Face Optimum Neuron.

يمكنك استخدام Amazon SageMaker JumpStart لتدريب النماذج ونشرها باستخدام Neuron. يوفر JumpStart الدعم لضبط النماذج الشائعة ونشرها مثل عائلة نماذج Llama من Meta. بدء استخدام SageMaker JumpStart.