การออกแบบเครือข่ายคลัสเตอร์ AI: Spine-Leaf, RoCE และ NIC

การออกแบบเครือข่ายคลัสเตอร์ AI คือกระบวนการปรับขนาด NIC ของเซิร์ฟเวอร์ GPU แบนด์วิดท์ของลีฟ-สไปน์ อัตราส่วนการสมัครใช้งานเกิน การตั้งค่า RoCE ออพติกและสายเคเบิล เพื่อให้การรับส่งข้อมูลการฝึกอบรมแบบกระจายยังคงคาดเดาได้เมื่อขนาดของคลัสเตอร์ หากเกิดข้อผิดพลาดเหล่านี้ขึ้น และเครือข่าย - ไม่ใช่ GPU - จะกลายเป็นคอขวด

เหตุใดระบบเครือข่ายคลัสเตอร์ AI จึงแตกต่าง

ในศูนย์ข้อมูลองค์กรแบบดั้งเดิม เครือข่ายจะจัดการกับการรับส่งข้อมูลของผู้ใช้ทางเหนือ-ใต้ การเข้าถึงพื้นที่เก็บข้อมูล การจำลองเสมือน และการจัดการ ตะวันออก-มีการจราจรทางตะวันตกแต่ไม่ค่อยมีการจราจรโดดเด่น ในคลัสเตอร์ AI สถานการณ์จะพลิกกลับ เซิร์ฟเวอร์ GPU ที่ใช้การไล่ระดับสีการฝึกอบรมแบบกระจายและซิงโครไนซ์พารามิเตอร์ในทุกขั้นตอนของงาน การสื่อสารนี้เป็นส่วนหนึ่งของการคำนวณ ไม่ใช่ผลข้างเคียง

หาก GPU มูลค่า 30,000 ดอลลาร์ใช้เวลา 30% ในการรอบนเครือข่ายระหว่าง-การดำเนินการลดทั้งหมด คลัสเตอร์จะจ่าย 30% ของความสามารถในการประมวลผลอย่างมีประสิทธิภาพเพื่อให้ไม่มีการใช้งาน นั่นคือเหตุผลทางเศรษฐกิจที่เครือข่าย AI ได้รับความสนใจอย่างมาก

ลักษณะปริมาณงานสามประการที่ขับเคลื่อนการออกแบบ:

• การจราจรหนาแน่นทางตะวันออก-ทางตะวันตกการดำเนินการสื่อสารแบบรวม เช่น -ลด ทั้งหมด-รวบรวม และลด-การกระจาย ทำให้เกิดการระเบิดที่ซิงโครไนซ์ในหลายโหนดพร้อมกัน
• Tail-ความไวในการตอบสนองโหนดที่ช้าเพียงโหนดเดียวจะทำให้ขั้นตอนการฝึกทั้งหมดล่าช้า เวลาแฝงที่คาดการณ์ได้มีความสำคัญมากกว่าเวลาแฝงโดยเฉลี่ย
• ขยาย-การเติบโตออกไปคลัสเตอร์ที่เริ่มต้นที่ 32 GPU มักจะเพิ่มขึ้นเป็น 256 หรือ 1,024 ภายใน 18 เดือน ผ้าจะต้องปรับขนาดโดยไม่ต้องออกแบบใหม่

ทำไม Spine-Leaf จึงเหมาะกับคลัสเตอร์ AI

Spine-leaf เป็นแฟบริคมาตรฐานสำหรับศูนย์ข้อมูลระดับไฮเปอร์สเกล เนื่องจากทำให้เซิร์ฟเวอร์ทุกเครื่อง-ถึง-เส้นทางเซิร์ฟเวอร์มีจำนวน hop เท่ากันและมีแบนด์วิดท์ตามทฤษฎีเท่ากัน สำหรับปริมาณงาน AI ความสม่ำเสมอนี้จะแปลโดยตรงเป็นเวลาขั้นตอนการฝึกอบรมที่คาดการณ์ได้มากขึ้น

ในโทโพโลยีลีฟ-ของกระดูกสันหลัง เซิร์ฟเวอร์ GPU จะเชื่อมต่อกับสวิตช์ลีฟ และแต่ละลีฟจะเชื่อมต่อกับทุกกระดูกสันหลัง การสื่อสารระหว่าง GPU- ถึง- GPU จะตัดผ่านใบไม้เดียว กระดูกสันหลังหนึ่งอัน และอีกหนึ่งใบไม้เท่านั้น ไม่มีเลเยอร์การรวมที่ทำให้เกิดเวลาแฝงหรือโช้คพอยต์ที่แปรผันได้

เวลาแฝงที่คาดการณ์ได้

การกำหนดเส้นทาง-ต้นทุนหลาย-เส้นทาง (ECMP) ที่เท่ากันจะกระจายไปตามสวิตช์สไปน์ เมื่อกำหนดค่าอย่างถูกต้องด้วยการกำหนดเส้นทางแบบปรับได้หรือการปรับสมดุลโหลดแบบไดนามิก จะป้องกันการชนกันของแฮชที่ทำให้โฟลว์บางอย่างช้ากว่าอย่างอื่นมาก - ปัญหาที่ทราบในแฟบริค ECMP แบบคงที่ซึ่งมีโฟลว์เพียงเล็กน้อยแต่มีขนาดใหญ่ ซึ่งเป็นสิ่งที่การฝึกอบรม AI สร้างขึ้นอย่างแน่นอน

แบนด์วิดท์ Bisection สูง

แบนด์วิดท์แบบแบ่งส่วนคือปริมาณงานที่มีอยู่ระหว่างสองครึ่งที่เท่ากันของคลัสเตอร์ การฝึกอบรม AI ได้รับประโยชน์จากการออกแบบที่ไม่-ปิดกั้นหรือใกล้-ไม่-ปิดกั้น โดยที่ความจุอัปลิงก์ระหว่างลีฟ-ถึง-กระดูกสันหลังเท่ากับหรือเกือบเท่ากับความจุดาวน์ลิงก์ที่หันเข้าหาเซิร์ฟเวอร์ IETF กำหนดและอภิปรายแนวคิดเหล่านี้ในอาร์เอฟซี 7938ซึ่งครอบคลุมแฟบริค Clos ที่กำหนดเส้นทาง BGP- ซึ่งใช้กันอย่างแพร่หลายในศูนย์ข้อมูลขนาดใหญ่-

ปรับขนาดได้ง่ายขึ้น-ออก

เพิ่มใบเพิ่มเติมเพื่อเพิ่มเซิร์ฟเวอร์เพิ่มเติม เพิ่มสันเพิ่มเติมเพื่อเพิ่มแบนด์วิดธ์การแบ่งแยกมากขึ้น สำหรับคลัสเตอร์ที่มี GPU มากกว่าสองสามพันตัว super-spine (5-stage Clos) หรือโทโพโลยีที่ปรับให้เหมาะสมกับรางจะขยายหลักการเดียวกันนี้ออกไปอีกชั้นหนึ่ง

ส่วนประกอบหลักของเครือข่ายคลัสเตอร์ AI

เซิร์ฟเวอร์ GPU และ NIC

NIC คือจุดที่โครงสร้างมาบรรจบกับโฮสต์ ในคลัสเตอร์ AI การเลือก NIC จะขับเคลื่อนทุกอย่างที่ดาวน์สตรีม - ความเร็วพอร์ตสวิตช์ ตัวเลือกออปติก และความหนาแน่นของสายเคเบิล

เกณฑ์การคัดเลือกสำหรับปริมาณงาน AI:

• ความเร็วพอร์ต:200G, 400G หรือ 800G ต่อพอร์ต ตรงกับการสร้าง GPU และแบนด์วิธ PCIe
• การสร้าง PCIe:400G NIC ต้องใช้ PCIe Gen5 x16 เพื่อหลีกเลี่ยงการควบคุมปริมาณฝั่งโฮสต์- PCIe Gen4 x16 caps ที่ ~256 Gbps ใช้งานได้
• รองรับ RDMA และ RoCEv2:จำเป็นสำหรับเคอร์เนล-บายพาสไลบรารีการสื่อสาร GPU เช่น NCCL
• GPUDirect RDMA:อนุญาตให้ GPU โดยตรง-ไปยัง-NIC DMA โดยลบสำเนาหน่วยความจำโฮสต์
• ความสามารถหลาย-ราง:เซิร์ฟเวอร์ AI จำนวนมากใช้ 4 หรือ 8 NIC ต่อโหนด หนึ่งตัวต่อคู่ GPU สำหรับโทโพโลยีที่ปรับให้เหมาะสม-

เซิร์ฟเวอร์ 8-GPU ทั่วไปในปัจจุบันใช้ NIC 4× 400G (หนึ่งตัวต่อ GPU สองตัว) หรือ NIC 8× 400G (หนึ่งอันต่อ GPU) ขึ้นอยู่กับปริมาณงานและงบประมาณ อ้างอิงสถาปัตยกรรมจากเอกสารประกอบระบบเครือข่าย NVIDIAครอบคลุมข้อดีข้อเสียของการออกแบบโดยละเอียด

สวิตช์ใบและกระดูกสันหลัง

เกณฑ์การเลือกสวิตช์สำหรับแฟบริค AI แตกต่างจากการเลือกระดับองค์กร ขนาดบัฟเฟอร์ พฤติกรรมการควบคุมความแออัด และการวัดและส่งข้อมูลทางไกลมีความสำคัญมากกว่าความกว้างของคุณสมบัติ

• ต่อ-ความเร็วและรัศมีของพอร์ต:ASIC สวิตช์ 51.2 Tbps ให้พอร์ต 64× 800G หรือพอร์ต 128× 400G Radix เป็นตัวกำหนดว่าผ้าจะเรียบแค่ไหน
• สถาปัตยกรรมบัฟเฟอร์:บัฟเฟอร์ระดับลึกดูดซับการระเบิดแบบ incast แต่เพิ่มเวลาแฝง บัฟเฟอร์ตื้นช่วยลดเวลาแฝง แต่ต้องมีการควบคุมความแออัดที่แม่นยำ
• ชุดคุณลักษณะ RoCE:การทำเครื่องหมาย ECN, PFC, DCQCN หรือการควบคุมความแออัดที่เทียบเท่า และการจัดการที่เหมาะสมของคิวลำดับความสำคัญตั้งแต่ต้นจนจบ-ถึง-
• การวัดและส่งข้อมูลทางไกล:การตรวจวัดระยะไกลของเครือข่ายภายใน (INT) ต่อ-การรายงานความลึกของคิว และเครื่องนับความละเอียดระดับไมโครวินาที-สำหรับเครื่องหมาย ECN และการหยุด PFC ชั่วคราว

เลนส์, DAC และสายเคเบิล AOC

ที่ 400G และ 800G โรงงานผลิตสายเคเบิลกลายเป็นปัญหาทางวิศวกรรมอย่างแท้จริง ปัจจัยรูปแบบ งบประมาณลิงก์ และการกำหนดค่าแบบแยกส่วน ล้วนต้องมีการวางแผนตั้งแต่เนิ่นๆ

• DAC (ทองแดงแนบโดยตรง):สูงถึง ~3 เมตรสำหรับ 400G ต้นทุนต่ำสุดและพลังงานต่ำสุด หนักและเทอะทะตามขนาด
• AOC (สายเคเบิลออปติคอลที่ใช้งานอยู่):สูงถึง ~30 เมตร บางกว่า DAC แต่มีความยาวคงที่-และใช้พลังงานด้านการมองเห็นที่ปลายทั้งสองข้าง
• เลนส์ที่เสียบได้:จำเป็นเกินระยะทาง AOC ฟอร์มแฟคเตอร์ QSFP-DD และ OSFP ครอง 400G/800G ชุดไฟเบอร์ MPO/MTP จัดการการเชื่อมต่อไฟเบอร์แบบขนาน-

สำหรับอินเตอร์-ลิงก์แร็คและสายเคเบิลที่มีโครงสร้างที่ 400G/800G เลนส์แบบขนานที่ปลายสาย MPO ถือเป็นมาตรฐานแล้ว ทางเลือกระหว่างสายเคเบิลหลักและชุดแยกส่วนขึ้นอยู่กับการจัดสรรพอร์ตสวิตช์ของคุณ - ดูของเราคู่มือสายเคเบิลฝ่าวงล้อม MPOสำหรับตรรกะการเลือกปฏิบัติและกว้างขึ้นMPO trunk เทียบกับการเปรียบเทียบการฝ่าวงล้อมเมื่อวางแผนวิ่งใบ-ถึง-สันหลัง

RoCE และ Lossless Ethernet ใน AI Fabric

RoCEv2 (RDMA บน Converged Ethernet v2) คือการขนส่งอีเทอร์เน็ตที่โดดเด่นสำหรับปริมาณงาน AI ช่วยให้ NIC ย้ายข้อมูลโดยตรงระหว่างภูมิภาคหน่วยความจำ GPU โดยไม่ต้องเกี่ยวข้องกับเคอร์เนลที่ปลายด้านใดด้านหนึ่ง NCCL ซึ่งเป็นไลบรารีการสื่อสาร GPU ที่รองรับเฟรมเวิร์กการฝึกอบรมแบบกระจายเกือบทั้งหมด ใช้ RoCEv2 เมื่อ InfiniBand ไม่พร้อมใช้งาน

RoCE ทำงานได้ดีเมื่อกำหนดค่าอย่างถูกต้อง มันล้มเหลวอย่างน่าเกลียดเมื่อกำหนดค่าไม่ถูกต้อง ที่สมาคมการค้า InfiniBandเผยแพร่ข้อกำหนด RoCE และผู้จำหน่าย NIC และสวิตช์ส่วนใหญ่เผยแพร่คู่มือการกำหนดค่าโดยละเอียดซึ่งควรปฏิบัติตามตั้งแต่ต้นจนจบ-ถึง-

เหตุใดพฤติกรรมที่ไม่สูญเสียจึงมีความสำคัญ

RDMA ได้รับการออกแบบโดยคำนึงถึงการขนส่งที่ไม่มีการสูญเสีย เมื่อแพ็กเก็ตลดลง การกู้คืน RDMA จะมีราคาแพง - go-back-การส่งข้อมูลซ้ำอาจทำให้ขั้นตอนการฝึกหยุดชะงักเป็นมิลลิวินาที ซึ่งถือว่ามหาศาลเมื่อเทียบกับงบประมาณ RDMA ระดับไมโครวินาที-

ในการประมาณพฤติกรรมที่ไม่มีการสูญเสียบนอีเทอร์เน็ต Fabric จะใช้กลไกสองอย่างที่ทำงานร่วมกัน:

• PFC (การควบคุมการไหลตามลำดับความสำคัญ, IEEE 802.1Qbb):สวิตช์จะหยุดการรับส่งข้อมูลขาเข้าบนคิวลำดับความสำคัญเฉพาะเมื่อบัฟเฟอร์เต็ม นี่เป็นกลไกสุดท้าย-
• ECN (การแจ้งเตือนความแออัดอย่างชัดเจน, RFC 3168):สลับแพ็กเก็ตทำเครื่องหมายเมื่อคิวเข้าใกล้ขีดจำกัด NIC จะลดอัตราการส่งก่อนที่บัฟเฟอร์จะเต็มจริง โดยหลักการแล้วควรหลีกเลี่ยง PFC โดยสิ้นเชิง

เป้าหมายคือให้ ECN จัดการความแออัดเกือบทั้งหมด โดยมี PFC เป็นเครือข่ายความปลอดภัย หากคุณเห็น PFC หยุดชั่วคราวบ่อยครั้งใน-การรับส่งข้อมูลที่มีสถานะคงที่ แสดงว่าเกณฑ์ ECN ของคุณผิดหรือโครงสร้างของคุณมีขนาดเล็กเกินไป

ความล้มเหลวในการปรับใช้ RoCE ทั่วไป

วิธีการออกแบบเครือข่ายคลัสเตอร์ AI: กรอบการทำงาน

นี่เป็นส่วนที่บทความ "เครือข่าย AI" ส่วนใหญ่จะข้ามไป เจ็ดขั้นตอนด้านล่างนี้จะให้อินพุตและเอาท์พุตที่เป็นรูปธรรมในแต่ละขั้นตอน

ขั้นตอนที่ 1: กำหนดปริมาณงานและขนาด

อินพุต:ประเภทภาระงาน (การฝึกล่วงหน้า การปรับแต่ง-อย่างละเอียด การอนุมาน แบบผสม) จำนวน GPU เป้าหมายในวันนี้ จำนวน GPU เป้าหมายใน 18 เดือน ช่วงขนาดโมเดล

เอาท์พุท:โปรไฟล์ภาระงานที่แจ้งความเร็ว NIC และความทนทานต่อการสมัครเกิน การฝึกล่วงหน้าขนาดใหญ่สำหรับโมเดลชายแดนต้องไม่-ปิดกั้นแฟบริค 400G+ การปรับปริมาณงานอย่างละเอียด-สามารถทนต่อการสมัครรับข้อมูลเกินขนาด 2:1 คลัสเตอร์การอนุมานมักต้องการแบนด์วิดท์ที่ต่ำกว่าแต่มีเวลาแฝงที่ต่ำกว่า

ขั้นตอนที่ 2: เลือกความเร็ว NIC และจำนวนต่อเซิร์ฟเวอร์

ตรรกะในการตัดสินใจ:

• การฝึกอบรมโมเดลขนาดใหญ่ล่วงหน้า เซิร์ฟเวอร์ 8-GPU → 4–8× 400G NIC ต่อเซิร์ฟเวอร์ หรือ 4× 800G
• การฝึกอบรมระดับกลาง- เซิร์ฟเวอร์ 8-GPU → 2–4× 400G NIC ต่อเซิร์ฟเวอร์
• การให้บริการการอนุมาน → 1–2× 200G หรือ 400G NIC ต่อเซิร์ฟเวอร์ ขึ้นอยู่กับโมเดลความขนาน

ตรวจสอบแบนด์วิธ PCIe บนโฮสต์ พอร์ต 400G เดียวต้องใช้ PCIe Gen5 x16 เพื่อให้ทำงานที่อัตราสาย การเพิ่มเป็นสองเท่าเป็น 800G ต้องใช้ Gen6 หรือแยกออกเป็นสองช่อง

ขั้นตอนที่ 3: ปรับขนาดเลเยอร์ใบไม้

ตัวอย่างการทำงาน - 32-โหนดคลัสเตอร์, 8 GPU ต่อโหนด, 4× 400G NIC ต่อโหนด:

• พอร์ตเชื่อมต่อเซิร์ฟเวอร์ทั้งหมด-ที่ต้องการ: พอร์ต 32 × 4=128 ที่ 400G
• แบนด์วิดท์ดาวน์ลิงก์ต่อโหนด: 4 × 400=1.6 Tbps
• แบนด์วิดธ์ดาวน์ลิงก์คลัสเตอร์ทั้งหมด: 32 × 1.6=51.2 Tbps

การใช้ลีฟสวิตช์ 400G แบบ 64 พอร์ต (ความจุรวม 25.6 Tbps) แต่ละลีฟสามารถเชื่อมต่อพอร์ตเซิร์ฟเวอร์ 32 พอร์ต และใช้พอร์ตที่เหลืออีก 32 พอร์ตเป็นอัปลิงก์ ด้วย 4 ใบ คุณจะครอบคลุมพอร์ตเซิร์ฟเวอร์ทั้งหมด 128 พอร์ต แต่ละลีฟมีส่วนในการอัปลิงก์ไปยังกระดูกสันหลัง 32 × 400G=12.8 Tbps

ขั้นตอนที่ 4: ปรับขนาดเลเยอร์กระดูกสันหลัง

สำหรับการออกแบบที่ไม่-ปิดกั้น (1:1) ความจุอัปลิงก์ทั้งหมดจะต้องเท่ากับความจุดาวน์ลิงก์ทั้งหมด จากขั้นตอนที่ 3:

• ลีฟอัปลิงก์ทั้งหมดที่ต้องการ: 4 ลีฟ × 12.8 Tbps=51.2 Tbps
• หากแต่ละกระดูกสันหลังมีพอร์ต 32× 400G=12.8 Tbps คุณต้องมี 4 กระดูกสันหลัง
• แต่ละลีฟเชื่อมต่อกับกระดูกสันหลังทั้ง 4 เส้นโดยใช้ 8 อัปลิงก์ต่อกระดูกสันหลัง (8 × 400G × 4=12.8 Tbps ต่อลีฟ - ตรงกัน)

หากใช้สวิตช์สไปน์ 400G แบบ 64 พอร์ต แต่ละสไปน์จะมีความจุสำรองในการขยายคลัสเตอร์ ซึ่งมีประโยชน์สำหรับแผน 18 เดือนจากขั้นตอนที่ 1

ขั้นตอนที่ 5: ตั้งค่าอัตราส่วนการสมัครเกิน

ขั้นตอนที่ 6: แยกการรับส่งข้อมูลการประมวลผล การจัดเก็บ และการจัดการ

มี 3 ทางเลือก เพื่อเพิ่มการแยกตัว:

• โครงสร้างที่ใช้ร่วมกันกับคลาส QoS:ประมวลผล การจัดเก็บ และการจัดการตามลำดับความสำคัญ DSCP ที่แยกจากกัน ต้นทุนต่ำสุด; ต้องมีการกำหนดค่า QoS อย่างระมัดระวัง
• VLAN/VRF ที่แยกออกจากกันทางตรรกะ:ฮาร์ดแวร์เดียวกัน ระนาบควบคุมแยกกัน มีประโยชน์สำหรับ-คลัสเตอร์ผู้เช่าหลายกลุ่ม
• เนื้อผ้าที่แยกจากกัน:NIC สวิตช์ และสายเคเบิลเฉพาะสำหรับการประมวลผลเทียบกับที่เก็บข้อมูล ต้นทุนสูงสุด พบได้ทั่วไปในกลุ่มแบบจำลองชายแดน-ซึ่งการโต้แย้งใดๆ ไม่สามารถยอมรับได้

ปริมาณการใช้พื้นที่เก็บข้อมูลสำหรับ AI นั้นมีปริมาณมาก - จุดตรวจสอบที่เขียนสำหรับโมเดลขนาดใหญ่สามารถย้ายได้หลายร้อยกิกะไบต์ในระยะเวลาอันสั้น วางแผนให้มันชัดเจน โรงวางสายเคเบิลที่มีโครงสร้างความหนาแน่นสูง-ใช้สายเคเบิลลำต้น MPO / MTPลดความยุ่งยากในการใช้งานแฟบริคแบบขนานในโครงสร้างพื้นฐานทางกายภาพเดียวกัน

ขั้นตอนที่ 7: ตรวจสอบก่อนการผลิต

การทดสอบระดับเครือข่าย-พบปัญหาบางอย่าง การทดสอบระดับภาระงาน-จับส่วนที่เหลือ

• แบนด์วิธ:iperf3 หรือ ib_send_bw ระหว่างทุกคู่โหนด ควรถึง 90%+ ของอัตราสาย NIC
• เวลาแฝง:ib_read_lat หรือคล้ายกัน; ตรวจสอบการกระจายตัว ไม่ใช่แค่ค่าเฉลี่ย P99.9 สำคัญมากกว่าค่าเฉลี่ย
• การสูญเสียแพ็กเก็ต:รันการทดสอบการแช่ 24- ชั่วโมงภายใต้ภาระ การสูญเสียที่ไม่เป็นศูนย์ในคลาสการรับส่งข้อมูล RoCE เป็นปัญหา
• ลักษณะการทำเครื่องหมาย ECN:ตรวจสอบเครื่องหมายที่ปรากฏก่อนเกิดเพลิงไหม้ PFC หาก PFC หยุดชั่วคราวบ่อยครั้งในสภาวะคงที่ ให้ปรับใหม่
• การสื่อสารโดยรวม:รันการทดสอบ NCCL (all_reduce_perf, all_gather_perf) ที่ขนาดคลัสเตอร์เต็ม เปรียบเทียบกับหมายเลขอ้างอิงผู้ขาย
• การทดสอบระดับงาน-:ดำเนินงานการฝึกอบรมตัวแทนเป็นเวลา 4–6 ชั่วโมง ดูการใช้งาน GPU - ค่าที่คงไว้ต่ำกว่า 50% ในโมเดลที่มีขนาดเหมาะสม- มักจะบ่งบอกถึงปัญหาเครือข่าย

เครือข่ายศูนย์ข้อมูลแบบดั้งเดิมเทียบกับ AI Spine-Leaf Fabric

Ethernet RoCE กับ InfiniBand: คู่มือการตัดสินใจฉบับย่อ

คำถามนี้เกิดขึ้นในเกือบทุกโปรเจ็กต์คลัสเตอร์ AI ทั้งทำงาน. ตัวเลือกมักจะขึ้นอยู่กับความพอดีในการปฏิบัติงาน ไม่ใช่ประสิทธิภาพเพียงอย่างเดียว

• เลือก InfiniBand หาก:ทีมของคุณใช้งาน InfiniBand Fabric อยู่แล้ว คุณต้องการเส้นทางที่ง่ายที่สุดในการขนส่งแบบไม่สูญเสียข้อมูล หรือคุณกำลังซื้อสถาปัตยกรรมอ้างอิงผู้ขายที่บูรณาการโดยสมบูรณ์-
• เลือก Ethernet RoCE หาก:ทีมปฏิบัติงานของคุณเป็นชาวอีเทอร์เน็ต- คุณต้องการตัวเลือกสวิตช์-ผู้ให้บริการหลายราย คุณต้องรวม AI Fabric เข้ากับเครือข่ายศูนย์ข้อมูลที่มีอยู่ หรือคุณคาดหวังที่จะขยายขนาดให้เกินกว่าที่โทโพโลยี InfiniBand ในปัจจุบันจะรองรับได้อย่างสมบูรณ์

Ultra Ethernet Consortium ก่อตั้งขึ้นในปี 2566 กำลังทำงานอย่างแข็งขันในการปรับปรุงมาตรฐานอีเทอร์เน็ตสำหรับเวิร์กโหลด AI โดยเฉพาะ สำหรับคลัสเตอร์ใหม่ส่วนใหญ่ในปี 2026 Ethernet RoCE เป็นค่าเริ่มต้นที่สามารถป้องกันได้ เว้นแต่จะมีเหตุผลเฉพาะให้เลือกเป็นอย่างอื่น

ข้อผิดพลาดทั่วไปที่ควรหลีกเลี่ยง

การอัพเกรดสวิตช์โดยไม่ตรวจสอบ NIC

สวิตช์แฟบริค 800G ไม่ได้ทำอะไรให้คุณเลย หาก NIC ของคุณทำงานที่ 400G หรือโฮสต์ PCIe ของคุณมีแบนด์วิธไม่เพียงพอ ออกแบบด้านโฮสต์ก่อน จากนั้นจึงออกแบบด้านสวิตช์ PCIe Gen5 x16 จำกัดพอร์ตเดียวให้มีปริมาณงานจริง-ทั่วโลกประมาณ 504 Gbps - ได้อย่างสะดวกสบายสำหรับ 400G ส่วนเล็กน้อยสำหรับ 800G

ปรับความเร็วพอร์ตให้เหมาะสม แต่ไม่สนใจความหนาแน่นของสายเคเบิล

เมื่อออกจากพอร์ต 64- 400G การเดินสายเคเบิลใต้สวิตช์แต่ละตัวอาจไม่สามารถจัดการได้ทางกายภาพโดยไม่ต้องวางแผนล่วงหน้า ใช้สายเคเบิลแยกส่วนตามความเหมาะสม กำหนดเส้นทางไฟเบอร์ผ่านทางเดินที่มีโครงสร้าง และสร้างมาตรฐานให้กับประเภทตัวเชื่อมต่อ คุณภาพของคอนเนคเตอร์และการยุติเรื่องด้วยความเร็วสูง-ของเราคู่มือประเภทตัวเชื่อมต่อไฟเบอร์ออปติกครอบคลุมการแลกเปลี่ยนระหว่าง LC, MPO และฟอร์มแฟคเตอร์ที่มีความหนาแน่นสูง-ที่เกิดขึ้นใหม่

การปฏิบัติต่อ RoCE เสมือนเป็น Plug-และ-Play

ข้อผิดพลาดในการออกแบบที่ใหญ่ที่สุดในคลัสเตอร์ AI จริงคือการไม่เลือกสวิตช์ผิด - แต่เป็นการประเมินต่ำเกินไปว่าต้องกำหนดค่า RoCE สิ้นสุด-ถึง-มากเพียงใด เวลาตามงบประมาณสำหรับการปรับเกณฑ์ ECN ลำดับความสำคัญของ PFC และความสอดคล้องของ MTU วางแผนขั้นตอนการตรวจสอบเฉพาะก่อนที่ปริมาณงานการผลิตใดๆ จะทำงาน

การผสมการรับส่งข้อมูลทั้งหมดบนแฟบริคเดียวโดยไม่มี QoS

การจำลองแบบพื้นที่จัดเก็บข้อมูล เอเจนต์การตรวจสอบ และปริมาณข้อมูลการจัดการสามารถทำลายเวลาขั้นตอนการฝึกอบรมได้ หากพวกเขาแชร์บัฟเฟอร์กับปริมาณข้อมูลการประมวลผล แยกพวกมันออกทางกายภาพหรือบังคับใช้คลาส QoS ที่เข้มงวดโดยมีลำดับความสำคัญและการกำหนดค่า ECN แยกกัน

การสร้างสำหรับคลัสเตอร์ของวันนี้เท่านั้น

คลัสเตอร์ AI ส่วนใหญ่เติบโต 4–8 เท่าภายในสองปีนับจากการใช้งานครั้งแรก เลือกสวิตช์ Radix และความจุของกระดูกสันหลังที่ช่วยให้สามารถขยายได้โดยไม่-รบกวน การดึงสายเคเบิลในศูนย์ข้อมูล AI แบบสดนั้นมีราคาแพง การวางแผนความจุของท่อร้อยสายและแพตช์ ณ เวลาใช้งานนั้นมีราคาถูก

เมื่อใดควรก้าวขึ้นจาก 400G เป็น 800G

มี NIC และสวิตช์ขนาด 800G แต่มีราคาแพงกว่าต่อพอร์ต พิจารณาก้าวขึ้นเมื่อ:

• ต่อ-ความต้องการแบนด์วิดท์ GPU เกินกว่าที่ 400G สามารถให้ได้ - ตัวอย่างเช่น H100 และ GPU รุ่นใหม่กว่าที่มี NVLink 5 คาดหวังแบนด์วิดท์ภายนอกที่สูงขึ้น
• NCCL ทั้งหมด-ลดขนาดเวลาได้ไม่ดีตามขนาดคลัสเตอร์ ซึ่งบ่งบอกถึงความอิ่มตัวของเครือข่าย
• ความหนาแน่นของสายเคเบิลที่ 400G กำลังกลายเป็นสิ่งที่ไม่สามารถจัดการได้ทางกายภาพ - พอร์ต 800G ที่น้อยลงสามารถแทนที่พอร์ต 400G ได้มากขึ้น
• GPU รุ่นถัดไปในแผนการทำงานของคุณคาดว่าจะจำเป็นต้องใช้ภายในกรอบเวลาค่าเสื่อมราคาของคลัสเตอร์
• คุณกำลังสร้างคลัสเตอร์การฝึกอบรมโมเดลขอบเขต- ซึ่งเวลาว่างในการประมวลผลใดๆ ก็ตามมีค่าใช้จ่ายมากกว่าการอัปเกรดออปติกอย่างมาก

สำหรับคลัสเตอร์การผลิตส่วนใหญ่ในปี 2026 นั้น 400G ยังคงเป็นความสมดุลที่เหมาะสมระหว่างต้นทุน ความสมบูรณ์ของระบบนิเวศ และความสามารถ. 800G สมเหตุสมผลในระดับสูงและเป็นการลงทุนล่วงหน้าสำหรับคลัสเตอร์ที่ถูกสร้างขึ้นในปัจจุบันและคาดว่าจะดำเนินการต่อไปอีก 4-5 ปี

บทสรุป

เครือข่ายคลัสเตอร์ AI ที่แข็งแกร่งที่สุดไม่ใช่เครือข่ายที่มีสวิตช์ที่เร็วที่สุด เป็นตัวเลือกที่ตัวเลือก NIC, ขนาดของลีฟ/สไปน์, การสมัครสมาชิกเกิน, การกำหนดค่า RoCE, การแยกการรับส่งข้อมูล และการเดินสายเคเบิลทางกายภาพ ล้วนสนับสนุนซึ่งกันและกันและปริมาณงานที่เลือกไว้

เริ่มจากปริมาณงานและแผนการเติบโต 18- เดือน คำนวณความต้องการแบนด์วิดท์ในแต่ละเลเยอร์โดยใช้ตัวเลขจริง ไม่ใช่แค่หลักเกณฑ์ทั่วไป กำหนดค่าปลาย RoCE- ถึง- และตรวจสอบด้วยเกณฑ์มาตรฐานการสื่อสารโดยรวมที่แท้จริง งบประมาณสำหรับโรงงานวางสายเคเบิล - ที่ 400G และ 800G ชั้นกายภาพไม่ใช่เรื่องเล็กน้อยอีกต่อไป

คลัสเตอร์ที่ทำให้ GPU มีการใช้งาน 95%+ ตลอดทุกขั้นตอนการฝึกอบรมคือคลัสเตอร์ที่ให้ความสนใจกับเลเยอร์เหล่านี้ทั้งหมด คลัสเตอร์ที่มาพร้อมกับสวิตช์ที่เร็วกว่าและแฟบริคที่ช้ากว่าจะใช้เวลาหลายปีในการอธิบายว่าทำไม GPU จึงไม่ได้ใช้งาน

อ่านต่อ

• RFC 7938 - BGP ในศูนย์ข้อมูลขนาดใหญ่-
• สมาคมการค้า InfiniBand - ข้อกำหนด RoCE
• เอกสารประกอบเครือข่าย NVIDIA
• คู่มือการติดตั้งสายไฟเบอร์ออปติก
• อธิบายการสูญเสียการแทรกและการสูญเสียผลตอบแทน