تصميم شبكة الذكاء الاصطناعي العنقودية: Spine-Leaf وRoCE وبطاقات NIC

إن تصميم شبكة مجموعة الذكاء الاصطناعي عبارة عن عملية تحديد حجم بطاقات NIC لخادم وحدة معالجة الرسومات، وعرض النطاق الترددي للعمود الفقري-، ونسبة الاشتراك الزائد، وإعدادات RoCE، والبصريات والكابلات، بحيث تظل حركة التدريب الموزعة قابلة للتنبؤ مع توسع المجموعة. إذا أخطأت في فهم أي من هذه الأمور، فستصبح الشبكة - وليس وحدة معالجة الرسومات - هي عنق الزجاجة.

لماذا تختلف الشبكات العنقودية للذكاء الاصطناعي؟

في مركز بيانات المؤسسة التقليدي، تتعامل الشبكة مع مزيج من حركة مرور المستخدم من الشمال- والجنوب، والوصول إلى التخزين، والمحاكاة الافتراضية، والإدارة. توجد حركة مرور شرقية-غربية ولكنها نادرًا ما تكون الحمل السائد. في مجموعة الذكاء الاصطناعي، يتقلب الوضع. تقوم خوادم GPU بتشغيل تدرجات تبادل التدريب الموزعة ومزامنة المعلمات أثناء كل خطوة من المهمة. يعد هذا الاتصال جزءًا من الحساب، وليس أحد الآثار الجانبية له.

إذا قضت وحدة معالجة الرسومات التي تبلغ قيمتها 30000 دولار أمريكي 30% من وقتها في الانتظار على الشبكة أثناء جميع-عمليات التخفيض، فإن المجموعة تدفع فعليًا مقابل 30% من سعة الحوسبة الخاصة بها للبقاء في وضع الخمول. وهذا هو السبب الاقتصادي وراء حصول شبكات الذكاء الاصطناعي على الكثير من الاهتمام.

ثلاث خصائص عبء العمل هي التي تقود التصميم:

• حركة مرور شرقية شديدة-غربية.تعمل عمليات الاتصال الجماعي مثل الكل-التقليل، الكل-التجمع وتقليل-التشتت على إنتاج دفعات متزامنة عبر العديد من العقد في وقت واحد.
• حساسية زمن الاستجابة-الخلفية.عقدة واحدة بطيئة تؤخر خطوة التدريب بأكملها. الكمون المتوقع مهم أكثر من الكمون المتوسط.
• توسيع نطاق النمو-.غالبًا ما تنمو المجموعات التي تبدأ بـ 32 وحدة معالجة رسوميات إلى 256 أو 1024 خلال 18 شهرًا. يجب أن يتغير حجم القماش دون إعادة تصميمه.

لماذا يناسب العمود الفقري-الورقة مجموعات الذكاء الاصطناعي

يعد Spine-leaf هو النسيج القياسي لمراكز البيانات ذات الحجم الكبير لأنه يمنح كل خادم -إلى-مسار الخادم نفس عدد القفزات ونفس النطاق الترددي النظري. بالنسبة لأحمال عمل الذكاء الاصطناعي، يُترجم هذا التوحيد مباشرةً إلى أوقات أكثر قابلية للتنبؤ بخطوات التدريب.

في هيكل الورقة-العمودية، تتصل خوادم وحدة معالجة الرسومات بالمفاتيح الطرفية، وتتصل كل ورقة بكل عمود. أي اتصال من GPU-إلى-وحدة معالجة الرسومات يتقاطع بالضبط مع ورقة واحدة وعمود فقري واحد وورقة أخرى. لا توجد طبقات تجميع تقدم زمن انتقال أو نقاط اختناق متغيرة.

زمن الوصول المتوقع

تتدفق فروق توجيه المسار المتساوي-التكلفة المتعددة-(ECMP) عبر محولات العمود الفقري. عند التكوين بشكل صحيح باستخدام التوجيه التكيفي أو موازنة التحميل الديناميكي، فإن هذا يمنع تصادمات التجزئة التي تتسبب في أن تكون بعض التدفقات أبطأ بكثير من غيرها - وهي مشكلة معروفة في أنسجة ECMP الثابتة التي تحمل تدفقات قليلة ولكن كبيرة، وهو بالضبط ما يولده تدريب الذكاء الاصطناعي.

عرض النطاق الترددي العالي

عرض النطاق الترددي المقسم هو الإنتاجية المتاحة بين أي نصفين متساويين من المجموعة. يستفيد تدريب الذكاء الاصطناعي من التصميمات غير المحظورة أو القريبة من-غير المحظورة-حيث تكون سعة الوصلة الصاعدة-إلى العمود الفقري- تساوي أو تساوي تقريبًا سعة الوصلة الهابطة التي تواجه الخوادم. تحدد IETF هذه المفاهيم وتناقشها فيآر إف سي 7938، والتي تغطي بنى BGP-Clos الموجهة والمستخدمة على نطاق واسع في مراكز البيانات واسعة النطاق-.

مقياس أسهل-للخارج

أضف المزيد من الأوراق لإضافة المزيد من الخوادم. أضف المزيد من الأشواك لإضافة المزيد من عرض النطاق الترددي للتشريح. بالنسبة للمجموعات التي تتجاوز بضعة آلاف من وحدات معالجة الرسومات، فإن العمود الفقري الفائق- (5-مرحلة Clos) أو الهيكل المحسن للسكك الحديدية يمتد نفس المبدأ إلى طبقة أخرى.

المكونات الأساسية لشبكة الذكاء الاصطناعي العنقودية

خوادم GPU وبطاقات NIC

NIC هو المكان الذي يلتقي فيه القماش بالمضيف. في مجموعات الذكاء الاصطناعي، يقوم تحديد NIC بتوجيه كل شيء إلى اتجاه مجرى النهر -، حيث يقوم بتبديل سرعة المنفذ واختيار البصريات وكثافة الكابلات.

معايير الاختيار لأحمال عمل الذكاء الاصطناعي:

• سرعة المنفذ:200 جرام أو 400 جرام أو 800 جرام لكل منفذ. مطابقة لتوليد GPU وعرض النطاق الترددي PCIe.
• جيل PCIe:تحتاج بطاقة NIC سعة 400 جيجا بايت إلى PCIe Gen5 x16 لتجنب اختناق جانب المضيف. قبعات PCIe Gen4 x16 بسرعة تصل إلى 256 جيجابت في الثانية قابلة للاستخدام.
• دعم RDMA وRoCEv2:مطلوب لـ kernel-تجاوز مكتبات اتصالات GPU مثل NCCL.
• GPUDirect RDMA:يسمح بتوجيه GPU-إلى-NIC DMA، وإزالة نسخ ذاكرة المضيف.
• قدرة السكك الحديدية المتعددة-:تستخدم العديد من خوادم الذكاء الاصطناعي 4 أو 8 بطاقات NIC لكل عقدة، وواحدة لكل زوج من وحدات معالجة الرسومات، من أجل الهياكل المحسنة للسكك الحديدية-.

يستخدم خادم 8-GPU النموذجي اليوم إما بطاقات NIC 4 × 400G (واحدة لكل وحدتي GPU) أو 8 × 400G NIC (واحدة لكل GPU) اعتمادًا على حجم العمل والميزانية. البنى المرجعية منوثائق شبكات NVIDIAتغطية مقايضات التصميم بالتفصيل.

مفاتيح الأوراق والعمود الفقري

تختلف معايير اختيار التبديل لأنسجة الذكاء الاصطناعي عن اختيار المؤسسة. إن حجم المخزن المؤقت وسلوك التحكم في الازدحام والقياس عن بعد له أهمية أكبر من اتساع الميزة.

• لكل-سرعة المنفذ وجذره:يوفر محول ASIC بسرعة 51.2 تيرابت في الثانية منافذ 64 × 800 جيجا أو منافذ 128 × 400 جيجا. يحدد Radix مدى مسطح القماش.
• بنية المخزن المؤقت:تمتص المخازن المؤقتة العميقة الدفقات المصبوبة ولكنها تضيف زمن الوصول. تعمل المخازن المؤقتة الضحلة على تقليل زمن الوصول ولكنها تتطلب تحكمًا دقيقًا في الازدحام.
• مجموعة ميزات RoCE:وضع علامة ECN، أو PFC، أو DCQCN أو التحكم المكافئ في الازدحام، والتعامل السليم مع قوائم الانتظار ذات الأولوية من النهاية-إلى-.
• القياس عن بعد:القياس عن بعد لشبكة النطاق الداخلي (INT)، وإعداد تقارير بعمق كل قائمة انتظار، وعدادات الدقة- بالميكروثانية لعلامات ECN وتوقفات PFC المؤقتة.

البصريات، وكابلات DAC وAOC

عند 400G و800G، تصبح محطة الكابلات مشكلة هندسية حقيقية. تحتاج عوامل الشكل وميزانيات الارتباط والتكوينات الجانبية إلى التخطيط المبكر.

• DAC (النحاس المرفق مباشرة):ما يصل إلى ~ 3 أمتار لـ 400 جيجا، بأقل تكلفة وأقل طاقة. ثقيلة وضخمة على نطاق واسع.
• AOC (الكبل البصري النشط):ما يصل إلى ~30 مترًا، وهو أرق من DAC، ولكنه ثابت-الطول ويستهلك الطاقة الضوئية من كلا الطرفين.
• البصريات القابلة للتوصيل:مطلوب خارج مسافة AOC. تهيمن عوامل الشكل QSFP-DD وOSFP على 400G/800G. تتعامل مجموعات الألياف MPO/MTP مع اتصالات الألياف -المتوازية.

بالنسبة للوصلات بين الأرفف- والكابلات الهيكلية بسرعة 400 جيجا/800 جيجا، أصبحت البصريات المتوازية عبر نهايات MPO قياسية الآن. يعتمد الاختيار بين كبلات قناة الاتصال ومجموعات الاختراق على تخصيص منفذ التبديل الخاص بك - راجع موقعنادليل كابل الاختراق MPOلمنطق الاختيار العملي، وعلى نطاق أوسعMPO مقارنة الجذع مقابل الاختراقعند التخطيط لتمرين الورقة-إلى-العمود الفقري.

RoCE والإيثرنت بدون فقدان البيانات في أقمشة الذكاء الاصطناعي

RoCEv2 (RDMA عبر Converged Ethernet v2) هو وسيلة نقل Ethernet السائدة لأحمال عمل الذكاء الاصطناعي. فهو يتيح لبطاقات NIC نقل البيانات مباشرة بين مناطق ذاكرة وحدة معالجة الرسومات دون تدخل kernel في أي من الطرفين. تستخدم NCCL، مكتبة اتصالات GPU التي تقوم عليها جميع أطر التدريب الموزعة تقريبًا، RoCEv2 عندما لا يكون InfiniBand متاحًا.

يعمل RoCE بشكل جيد عند تكوينه بشكل صحيح. يفشل بشكل قبيح عند تكوينه بشكل غير صحيح. الجمعية التجارة InfiniBandينشر مواصفات RoCE، وينشر معظم موردي NIC وموردي المحولات أدلة تكوين مفصلة يجب اتباعها من البداية-إلى-النهاية.

لماذا يهم السلوك بلا فقدان

تم تصميم RDMA على افتراض النقل بدون فقدان. عند سقوط الحزم، يكون استرداد RDMA باهظ الثمن - go-return-N يمكن أن يؤدي إلى إيقاف خطوة تدريب بالمللي ثانية، وهو أمر هائل مقارنة بميزانية RDMA بالميكروثانية-.

لتقريب السلوك غير المفقود على شبكة إيثرنت، يستخدم النسيج آليتين تعملان معًا:

• PFC (التحكم في التدفق ذو الأولوية، IEEE 802.1Qbb):يقوم المحول بإيقاف حركة المرور الواردة مؤقتًا في قائمة انتظار ذات أولوية محددة عند امتلاء المخزن المؤقت الخاص به. هذه هي آلية الملاذ الأخير-.
• ECN (إشعار الازدحام الصريح، RFC 3168):تقوم المفاتيح بوضع علامة على الحزم عندما تقترب قوائم الانتظار من العتبة. تعمل بطاقة NIC على تقليل معدل الإرسال قبل امتلاء المخازن المؤقتة فعليًا، مما يؤدي بشكل مثالي إلى تجنب PFC تمامًا.

الهدف هو أن تقوم ECN تقريبًا بجميع عمليات إدارة الازدحام، مع استخدام PFC كشبكة أمان. إذا رأيت توقفات متكررة لـ PFC في حركة مرور-الحالة الثابتة، فهذا يعني أن حدود ECN لديك خاطئة أو أن حجم القماش لديك صغير.

فشل نشر RoCE المشترك

كيفية تصميم شبكة عنقودية للذكاء الاصطناعي: إطار عمل

هذا هو القسم الذي تتخطاه معظم مقالات "شبكات الذكاء الاصطناعي". تمنحك الخطوات السبع أدناه مدخلات ومخرجات ملموسة في كل مرحلة.

الخطوة 1: تحديد عبء العمل والقياس

المدخلات:نوع حمل العمل (التدريب المسبق، والضبط الدقيق-، والاستدلال، والمختلط)، وعدد وحدات معالجة الرسومات المستهدفة اليوم، وعدد وحدات معالجة الرسومات المستهدفة خلال 18 شهرًا، ونطاق حجم النموذج.

الإخراج:ملف تعريف عبء العمل الذي يُعلم سرعة NIC وتحمل الاشتراك الزائد. يتطلب التدريب المسبق الكبير للنماذج الحدودية أقمشة غير قابلة للحجب بوزن 400 جيجا+. يمكن أن يؤدي ضبط أحمال العمل - إلى تحمل الاشتراك الزائد بنسبة 2:1. غالبًا ما تحتاج مجموعات الاستدلال إلى نطاق ترددي أقل ولكن زمن وصول أقل.

الخطوة 2: اختر سرعة NIC والعدد لكل خادم

منطق القرار:

• التدريب المسبق للنماذج الكبيرة، خوادم 8-GPU → 4–8× 400G NICs لكل خادم، أو 4× 800G
• تدريب متوسط ​​الحجم-، خوادم ذات 8 وحدات معالجة رسومات ← 2–4× 400 جيجا بايت من بطاقات NIC لكل خادم
• خدمة الاستدلال → 1–2× 200G أو 400G من بطاقات NIC لكل خادم، اعتمادًا على توازي النموذج

تحقق من عرض النطاق الترددي PCIe على المضيف. يتطلب منفذ 400G واحد تشغيل PCIe Gen5 x16 بمعدل الخط؛ تتطلب المضاعفة إلى 800 جيجا Gen6 أو التقسيم عبر فتحتين.

الخطوة 3: حجم طبقة الورقة

مثال عملي - 32-مجموعة العقد، 8 وحدات معالجة رسومات لكل عقدة، 4 × 400 جيجا بايت من بطاقات NIC لكل عقدة:

• إجمالي المنافذ المواجهة للخادم-المطلوبة: 32 × 4=128 منفذ بسرعة 400 جيجا بايت
• عرض النطاق الترددي للوصلة الهابطة لكل عقدة: 4 × 400=1.6 تيرابايت في الثانية
• إجمالي عرض النطاق الترددي للوصلة الهابطة للمجموعة: 32 × 1.6=51.2 تيرابايت في الثانية

باستخدام محول ورقي 400 جيجا بايت يحتوي على 64 منفذًا (سعة إجمالية تبلغ 25.6 تيرابايت في الثانية)، يمكن لكل ورقة توصيل 32 منفذًا للخادم واستخدام المنافذ الـ 32 المتبقية كروابط صاعدة. مع 4 أوراق، يمكنك تغطية جميع منافذ الخادم البالغ عددها 128 منفذًا. تساهم كل ورقة بـ 32 × 400 جيجا=12.8 تيرابايت في الثانية من الوصلة الصاعدة باتجاه العمود الفقري.

الخطوة 4: حجم طبقة العمود الفقري

بالنسبة للتصميم غير المحظور-(1:1)، يجب أن يكون إجمالي سعة الوصلة الصاعدة مساويًا لإجمالي سعة الوصلة الهابطة. من الخطوة 3:

• إجمالي الوصلة الصاعدة المطلوبة: 4 أوراق × 12.8 تيرابت في الثانية=51.2 تيرابت في الثانية
• إذا كان كل عمود يحتوي على منافذ 32 × 400G=12.8 تيرابايت في الثانية، فأنت بحاجة إلى 4 أشواك
• تتصل كل ورقة بجميع الأشواك الأربعة باستخدام 8 وصلات صاعدة لكل عمود (8 × 400G × 4=12.8 تيرابت في الثانية لكل ورقة - تطابقات)

في حالة استخدام محولات العمود الفقري ذات 64 منفذًا بسعة 400 جيجا، فإن كل عمود لديه سعة احتياطية لتنمية المجموعة، وهو أمر مفيد لخطة الـ 18 شهرًا من الخطوة 1.

الخطوة 5: تعيين نسبة الإفراط في الاشتراك

الخطوة 6: فصل حركة الحوسبة والتخزين والإدارة

ثلاثة خيارات، من أجل زيادة العزلة:

• النسيج المشترك مع فئات جودة الخدمة:الحوسبة والتخزين والإدارة على أولويات DSCP منفصلة. بأقل تكلفة؛ يتطلب تكوينًا دقيقًا لجودة الخدمة.
• شبكات VLAN/VRFs المنفصلة منطقيًا:نفس الأجهزة، وطائرات التحكم منفصلة. مفيد لمجموعات-المستأجرين المتعددين.
• الأقمشة المنفصلة جسديًا:بطاقات NIC ومحولات وكابلات مخصصة للحوسبة مقابل التخزين. أعلى تكلفة؛ شائع في مجموعات النماذج الحدودية-حيث يكون أي تنافس غير مقبول.

تعتبر حركة تخزين الذكاء الاصطناعي في حد ذاتها ثقيلة - حيث يمكن لنقطة الكتابة للنموذج الكبير نقل مئات الجيجابايت في دفعات قصيرة. خطط لذلك بوضوح. محطة كابلات هيكلية عالية الكثافة-تستخدمكبلات MPO/MTPيبسط تشغيل الأقمشة المتوازية في نفس البنية التحتية المادية.

الخطوة 7: التحقق قبل الإنتاج

تكتشف اختبارات مستوى الشبكة- بعض المشكلات. اختبارات مستوى عبء العمل-تلتقط الباقي.

• عرض النطاق الترددي:iperf3 أو ib_send_bw بين كل زوج من العقد؛ يجب أن يصل إلى 90%+ من معدل خط NIC.
• كمون:ib_read_lat أو ما شابه ذلك؛ التحقق من التوزيع، وليس فقط المتوسط. P99.9 يهم أكثر من المتوسط.
• فقدان الحزمة:قم بإجراء اختبار النقع لمدة 24-ساعة تحت الحمل؛ أي خسارة غير صفرية في فئة حركة المرور RoCE تمثل مشكلة.
• سلوك وضع علامة ECN:تظهر علامات التحقق قبل حرائق PFC؛ إذا كانت فترات توقف PFC متكررة في حالة مستقرة، قم بإعادة ضبطها.
• التواصل الجماعي:قم بإجراء اختبارات NCCL (all_reduce_perf، all_gather_perf) بالحجم الكامل للمجموعة. قارنها بالأرقام المرجعية للبائعين.
• اختبار مستوى الوظيفة-:قم بتشغيل وظيفة تدريب تمثيلية لمدة 4-6 ساعات. مشاهدة استخدام وحدة معالجة الرسومات - القيم المستمرة التي تقل عن 50% في نموذج ذو حجم مناسب-يشير عادةً إلى وجود مشكلة في الشبكة.

شبكة مراكز البيانات التقليدية مقابل العمود الفقري للذكاء الاصطناعي-النسيج الورقي

Ethernet RoCE مقابل InfiniBand: دليل القرار السريع

يُطرح هذا السؤال في كل مشروع عنقودي للذكاء الاصطناعي تقريبًا. كلاهما يعمل. يعود الاختيار عادة إلى الملاءمة التشغيلية، وليس الأداء النقي.

• اختر InfiniBand إذا:يقوم فريقك بالفعل بتشغيل أنسجة InfiniBand، أو إذا كنت تريد أبسط مسار للنقل دون فقدان البيانات، أو أنك تشتري -بنية مرجعية متكاملة تمامًا للموردين.
• اختر Ethernet RoCE إذا:فريق العمليات الخاص بك يعتمد على شبكة Ethernet-أصلية، أو تريد خيارات تبديل بين عدة-موردين، أو تحتاج إلى دمج نسيج الذكاء الاصطناعي مع شبكات مراكز البيانات الحالية، أو تتوقع التوسع بما يتجاوز ما تدعمه طبولوجيا InfiniBand الحالية بشكل واضح.

يعمل اتحاد Ultra Ethernet، الذي تم تشكيله في عام 2023، بنشاط على توحيد تحسينات Ethernet خصيصًا لأحمال عمل الذكاء الاصطناعي. بالنسبة لمعظم المجموعات الجديدة في عام 2026، يعد Ethernet RoCE هو الخيار الافتراضي الذي يمكن الدفاع عنه ما لم يكن هناك سبب محدد لاختيار خلاف ذلك.

الأخطاء الشائعة التي يجب تجنبها

ترقية المحولات دون التحقق من بطاقات NIC

نسيج التبديل 800 جيجا لا يفعل شيئًا لك إذا كانت بطاقات NIC الخاصة بك تعمل بسرعة 400 جيجا أو نفاد عرض النطاق الترددي لمضيف PCIe. قم بتصميم الجانب المضيف أولاً، ثم جانب التبديل. يحد PCIe Gen5 x16 المنفذ الواحد من حوالي 504 جيجابت في الثانية من الإنتاجية العالمية الحقيقية -المريحة لـ 400 جيجا بايت، والهامشي لـ 800 جيجا بايت.

تحسين سرعة المنفذ مع تجاهل كثافة الكابلات

عند مغادرة 64-منفذ 400G، يمكن أن تصبح الكابلات الموجودة أسفل كل محول غير قابلة للإدارة فعليًا بدون تخطيط. استخدم الكابلات الجانبية حيثما كان ذلك مناسبًا، وقم بتوجيه الألياف عبر المسارات المنظمة، وقم بتوحيد أنواع الموصلات. جودة الموصل وإنهاؤه مهمان بسرعات عالية - لدينادليل أنواع موصلات الألياف الضوئيةيغطي المفاضلات بين LC وMPO وعوامل الشكل{0}العالية الكثافة الناشئة.

التعامل مع RoCE على أنه توصيل-و-تشغيل

أكبر خطأ في التصميم في مجموعات الذكاء الاصطناعي الحقيقية هو عدم اختيار المفتاح الخاطئ -، بل التقليل من حجم العمل المطلوب لتكوين نهاية -إلى-نهاية RoCE. وقت الميزانية لضبط عتبات ECN وأولويات PFC واتساق MTU. خطط لمرحلة تحقق مخصصة قبل تشغيل أي عبء عمل إنتاجي.

خلط كل حركة المرور على نسيج واحد دون جودة الخدمة

يمكن أن يؤدي النسخ المتماثل للتخزين ووكلاء المراقبة وحركة مرور الإدارة إلى إتلاف أوقات خطوات التدريب إذا كانوا يشاركون المخازن المؤقتة مع حركة مرور الحساب. قم إما بفصلها ماديًا أو فرض فئات جودة الخدمة الصارمة بأولويات منفصلة وتكوين ECN.

بناء لمجموعة اليوم فقط

تنمو معظم مجموعات الذكاء الاصطناعي بمعدل 4 إلى 8 مرات خلال عامين من النشر الأولي. اختر سعة تبديل الجذر والعمود الفقري التي تسمح بالتوسع غير التخريبي-. يعد سحب الكابلات في مركز بيانات الذكاء الاصطناعي المباشر أمرًا مكلفًا؛ يعتبر تخطيط القناة وقدرة التصحيح في وقت النشر رخيصًا.

متى تصعد من 400 جرام إلى 800 جرام

تتوفر بطاقات NIC ومفاتيح 800G ولكنها أكثر تكلفة لكل منفذ. فكر في التصعيد عندما:

• لكل-تتجاوز احتياجات النطاق الترددي لوحدة معالجة الرسومات ما يمكن أن يوفره 400G - على سبيل المثال، تتوقع H100 ووحدات معالجة الرسومات الأحدث المزودة بـ NVLink 5 نطاقًا تردديًا خارجيًا أعلى
• يعمل NCCL جميعًا- على تقليل النطاق الزمني السيئ مع حجم المجموعة، مما يشير إلى تشبع الشبكة
• أصبحت كثافة الكابل عند 400 جيجا غير قابلة للإدارة فعليًا - عدد أقل من منافذ 800 جيجا يمكن أن تحل محل المزيد من منافذ 400 جيجا
• من المتوقع أن يحتاج الجيل التالي من وحدات معالجة الرسومات في خريطة الطريق الخاصة بك إلى ذلك ضمن نافذة استهلاك المجموعة
• أنت تعمل على إنشاء مجموعة تدريب نموذجية-مبتكرة حيث تكلف أي وقت خامل للحوسبة أكثر بكثير من ترقية العناصر البصرية

بالنسبة لمعظم مجموعات الإنتاج في عام 2026، يظل 400G هو التوازن الصحيح بين التكلفة ونضج النظام البيئي والقدرة. 800G أمر منطقي في النهاية العليا وباعتباره استثمارًا مستقبليًا للمجموعات التي يتم إنشاؤها اليوم والمتوقع أن تستمر لمدة 4-5 سنوات.

خاتمة

أقوى شبكة عنقودية للذكاء الاصطناعي ليست هي الشبكة التي تحتوي على أسرع المحولات. إنه المكان الذي يدعم فيه اختيار NIC، وحجم الورقة/العمود الفقري، والاشتراك الزائد، وتكوين RoCE، وفصل حركة المرور، والكابلات المادية بعضها البعض وعبء العمل الذي تم اختيارهم من أجله.

ابدأ بعبء العمل وخطة النمو لمدة 18-شهرًا. قم بحساب احتياجات النطاق الترددي في كل طبقة باستخدام أرقام حقيقية، وليس فقط القواعد الأساسية. قم بتكوين RoCE end-to-end والتحقق من صحتها باستخدام معايير الاتصال الجماعي الحقيقية. ميزانية محطة الكابلات - عند 400 جيجا و800 جيجا، لم تعد الطبقة المادية تافهة.

المجموعة التي تحافظ على انشغال وحدات معالجة الرسومات الخاصة بها بنسبة استخدام تزيد عن 95% خلال كل خطوة تدريب هي المجموعة التي اهتمت بكل هذه الطبقات. ستقضي المجموعة التي تأتي مع مفتاح أسرع ونسيج أبطأ سنوات في شرح سبب كون وحدات معالجة الرسومات في وضع الخمول.

مزيد من القراءة

• RFC 7938 - BGP في مراكز البيانات-الكبيرة الحجم
• مواصفات InfiniBand Trade Association - RoCE
• وثائق شبكات نفيديا
• دليل تركيب كابلات الألياف الضوئية
• شرح خسارة الإدراج مقابل خسارة العودة