400G กับ 800G NIC: คุณควรเลือกอันไหน

การเลือกระหว่าง 400G NIC และ 800G NIC เป็นการตัดสินใจแบบแฟบริค ไม่ใช่การเปรียบเทียบหน้าชำระเงิน- อะแดปเตอร์ที่เร็วกว่าจะจ่ายผลตอบแทนก็ต่อเมื่อเซิร์ฟเวอร์ สวิตช์ ออปติก และสายเคเบิลสามารถรองรับความเร็วดังกล่าวตั้งแต่ต้นทางถึงปลายทางเท่านั้น คู่มือนี้จะพิจารณาถึงข้อเสีย-จากมุมการปรับใช้และการจัดซื้อ เพื่อให้คุณสามารถตัดสินใจก่อนที่จะกำหนดงบประมาณให้กับอะแดปเตอร์ สวิตช์ ตัวรับส่งสัญญาณ DAC, AOC, AEC หรือไฟเบอร์

เวอร์ชันสั้น: 400G NIC เป็นค่าเริ่มต้นที่คุ้มค่า-และคุ้มค่าสำหรับปริมาณงาน AI, HPC, พื้นที่เก็บข้อมูล และคลาวด์ส่วนใหญ่ในปัจจุบัน และแมปกับโฮสต์ NDR InfiniBand และ PCIe Gen5 ได้อย่างหมดจด 800G NIC จะได้รับความพรีเมียมเมื่อคุณสร้าง AI Fabric ยุคถัดไป-ด้วย GPU ที่หนาแน่นมากขึ้น การจราจรทางตะวันออก-ที่หนักกว่า และแผนงานไปสู่ ​​XDR InfiniBand, 800G Ethernet และในที่สุด 1.6T

400G กับ 800G NIC

เลือก 400G NIC เมื่อเซิร์ฟเวอร์ สวิตช์ และโรงงานออปติคอลของคุณได้รับมาตรฐานบนอีเธอร์เน็ต 400G หรือ NDR InfiniBand แล้ว หรือเมื่อปริมาณงานไม่อิ่มตัวทุกเส้นทางของ GPU- ถึง- นอกจากนี้ยังเป็นการเรียกที่ปลอดภัยยิ่งขึ้นเมื่อความพร้อมใช้งาน งบประมาณ และเวลาในการรับรองมีความสำคัญมากกว่าความเร็วพอร์ตสูงสุด

เลือก 800G NIC เมื่อเครือข่ายกลายเป็นคอขวดสำหรับ-การฝึกอบรมขนาดใหญ่-เซิร์ฟเวอร์ GPU ความหนาแน่นสูง หรือ-ตัวเร่งความเร็วรุ่นต่อไป โดยจะลดจำนวนลิงก์และโมดูลออปติคัลที่จำเป็นสำหรับแบนด์วิธที่กำหนดลงครึ่งหนึ่งโดยประมาณ และเตรียมแฟบริคสำหรับการอัพเกรดครั้งถัดไป

พอร์ต 800G คุ้มค่าที่จะซื้อเมื่อส่วนที่เหลือของระบบสามารถป้อนได้เท่านั้น หากโฮสต์ไม่สามารถเปิดเผยเลน PCIe ไปยังอะแดปเตอร์ได้เพียงพอ 800G NIC จะกลายเป็นพอร์ตที่มีราคาแพงและใช้งานน้อย แทนที่จะเป็นการอัพเกรดประสิทธิภาพ

400G NIC คืออะไร?

400G NIC คืออะแดปเตอร์เครือข่ายที่เคลื่อนที่ได้สูงสุด 400 กิกะบิตต่อวินาทีต่อพอร์ต ในสภาพแวดล้อม AI และ HPC จะจัดการ GPU-เครือข่ายคลัสเตอร์ การฝึกอบรมแบบกระจาย การเข้าถึงพื้นที่เก็บข้อมูล การรับส่งข้อมูล MPI, RoCE Fabric และลิงก์ NDR InfiniBand สำหรับผู้ให้บริการส่วนใหญ่ 400G ได้ก้าวกระโดดอย่างมากจาก 100G หรือ 200G แล้ว และขจัดปัญหาคอขวดที่เห็นได้ชัดเจนโดยไม่ต้องบังคับให้ออกแบบเซิร์ฟเวอร์ใหม่และเปลี่ยนระดับ

NIC ขนาด 400G เหมาะกับปัจจุบันนี้

อะแดปเตอร์ 400G เป็นค่าเริ่มต้นการทำงานทั่วทั้งคลัสเตอร์การฝึกอบรม AI บน-GPU รุ่นปัจจุบัน, HPC และแฟบริคการประมวลผลทางวิทยาศาสตร์-, เครือข่ายการจัดเก็บข้อมูลประสิทธิภาพสูง-, อีเทอร์เน็ต RoCEv2 และแฟบริค InfiniBand, ฟลีตเซิร์ฟเวอร์คลาวด์ทั่วไป และการอัปเกรด 100G/200G- ถึง- 400G ในห้องรุ่นผสม ในการตั้งค่าเหล่านี้ 400G แทบจะไม่มีการประนีประนอม มันเป็นเพียงคลาสความเร็วที่เหมาะสมเมื่อขนาดคลัสเตอร์ จำนวน GPU และงบประมาณไม่ได้ปรับความซับซ้อนที่เพิ่มเข้ามาของ 800G

ทำไม 400G ถึงยังสมเหตุสมผล

การเลือก NIC เป็นปัญหาของระบบ-เกี่ยวกับความสมดุล หากโฮสต์ไม่สามารถป้อนอะแดปเตอร์ 800G ได้ หากปริมาณงานถูกประมวลผล- หรือพื้นที่เก็บข้อมูล- หรือหากสไปน์ยังคงเป็น 400G การลดลงใน 800G NIC จะทำให้ต้นทุนเพิ่มขึ้นโดยไม่ย้ายประสิทธิภาพของแอปพลิเคชัน โครงสร้าง 400G ที่สร้างขึ้นอย่างดี- พร้อมด้วยการสมัครสมาชิกต่ำ โทโพโลยีที่สะอาด RDMA ระบบออปติกคุณภาพ และการควบคุมความแออัดที่ได้รับการปรับแต่ง ยังคงดำเนินงานด้าน AI และ HPC ที่มีความต้องการสูงได้อย่างสะดวกสบาย

800G NIC คืออะไร?

800G NIC ให้ความเร็วสูงสุด 800 กิกะบิตต่อวินาทีต่อพอร์ต โดยกำหนดเป้าหมายไปที่ศูนย์ข้อมูล AI ยุคถัดไป, คลัสเตอร์ GPU ขนาดใหญ่ และแฟบริคที่มีสเกลสูง ซึ่งความต้องการในการสื่อสารมีมากกว่าเครือข่ายเซิร์ฟเวอร์ทั่วไป ขณะนี้รุ่น 800G ได้รับมาตรฐานแล้ว:มาตรฐาน IEEE 802.3df ซึ่งให้สัตยาบันในปี 2024กำหนด 800 กิกะบิตอีเธอร์เน็ต และรองรับอัตราย่อย- เช่น 1x800G, 2x400G และ 8x100G ซึ่งทำให้การย้ายข้อมูลด้วยความเร็วแบบผสม-ทำได้จริง

ค่านี้ไม่ได้เป็นเพียงอัตราพาดหัวข่าวสองเท่า. 800G ช่วยให้สถาปนิกเพิ่มความหนาแน่นของแบนด์วิดท์ ตัดลิงก์และจำนวนโมดูล และสนับสนุนแฟบริคการฝึกอบรมที่ใหญ่ขึ้นด้วยการรับส่งข้อมูลทั้งหมด-ไปยัง-ทั้งหมดเชิงรุกมากขึ้น

เหตุใดคลัสเตอร์ AI จึงย้ายไปที่ 800G

การฝึกโมเดล-ขนาดใหญ่สร้างปริมาณการใช้งาน GPU- ถึง -GPU และเซิร์ฟเวอร์-ต่อ- จำนวนมหาศาล การแลกเปลี่ยนไล่ระดับ -ท่อลดทั้งหมด-ของ-ผู้เชี่ยวชาญในการกำหนดเส้นทาง จุดตรวจสอบ และการจัดเก็บ-ท่อส่งหนักล้วนตอกย้ำโครงสร้าง เมื่อตัวเร่งความเร็วทำงานเร็วขึ้น เครือข่ายจะต้องตามให้ทัน มิฉะนั้น GPU ราคาแพงจะไม่ได้ใช้งานเพื่อรอการซิงโครไนซ์. 800G NIC ตอบคำถามนั้นด้วยการเพิ่มแบนด์วิดท์ต่อโหนด ต่อตัวเร่งความเร็ว หรือต่อรางเครือข่าย

800G คือการตัดสินใจด้านแฟบริค ไม่ใช่แค่อะแดปเตอร์

การเปลี่ยนไปใช้ 800G จะปรับเปลี่ยนการเลือกสวิตช์ ออพติก การวางแผนการเข้าถึง การออกแบบการระบายความร้อน การไหลเวียนของอากาศ และโครงร่างชั้นวาง ตัวเลือกออปติคอลและทองแดงมีความเข้มงวดมากขึ้น: พอร์ต 800G อาจใช้โมดูล OSFP หรือ QSFP-DD และโมดูลด้านข้างสวิตช์-และ NIC- อาจแตกต่างกันในการออกแบบการระบายความร้อนและกลไกแม้ในอัตราเดียวกัน หากโรงงานของคุณใช้ไฟเบอร์ที่มีโครงสร้าง ให้ยืนยันประเภทโมดูลและตัวเชื่อมต่อตั้งแต่เนิ่นๆ ของเราภาพรวมของฟอร์มแฟคเตอร์ QSFP-DDครอบคลุมตำแหน่งที่เหมาะสมซึ่งสัมพันธ์กับ OSFP ถือว่า 800G เป็นโปรแกรมระดับ Fabric- ไม่ใช่การสลับรายการ-บรรทัดเดียว

400G NIC กับ 800G NIC

เมื่อใดจึงควรเลือก 400G NIC

เลือก 400G NIC เมื่อเป้าหมายคือเครือข่ายประสิทธิภาพสูง-พร้อมฮาร์ดแวร์ที่ครบถ้วน การใช้งานที่คาดการณ์ได้ และต้นทุนที่ควบคุมได้

คุณกำลังต่อยอดจากโครงสร้างพื้นฐาน 400G ที่มีอยู่

หากสวิตช์ สายเคเบิล ออปติก และแพลตฟอร์มเซิร์ฟเวอร์ของคุณได้รับมาตรฐานบน 400G แล้ว การใช้ 400G NIC ต่อไปจะเป็นการลบการตรวจสอบความเข้ากันได้ออก และช่วยให้คุณนำระบบนิเวศปัจจุบันส่วนใหญ่กลับมาใช้ใหม่ได้ โดยเฉพาะอย่างยิ่งเมื่ออัปเกรดจาก 100G หรือ 200G ซึ่งประสิทธิภาพเพิ่มขึ้นอย่างมาก และระบบนิเวศมีความสมบูรณ์มากกว่า 800G มาก

ปริมาณงาน AI ของคุณไม่ทำให้ผ้าอิ่มตัว

ไม่ใช่งาน AI ทุกงานที่ต้องการ 800G ต่อเซิร์ฟเวอร์ หลายๆ อย่างถูกผูกมัดกับการประมวลผล-การผูกมัดกับพื้นที่เก็บข้อมูล - การผูกมัดหน่วยความจำ- หรือถูกจำกัดด้วยประสิทธิภาพของซอฟต์แวร์มากกว่าแบนด์วิธของเครือข่าย หากการทำโปรไฟล์แสดงว่าเครือข่ายไม่ใช่จุดคอขวดหลัก โดยปกติแล้ว 400G NIC จะให้ผลตอบแทนที่ดีกว่า

คุณต้องการต้นทุน-HPC ที่มีประสิทธิผล

ปริมาณงาน HPC จำนวนมากมีความอ่อนไหวต่อเวลาแฝง -พฤติกรรมการส่งผ่านข้อความ และความแออัดของแฟบริค มากกว่าแบนด์วิดท์ดิบ ผ้า 400G ที่ได้รับการปรับแต่งอย่างดี-มักจะเหนือกว่าผ้า 800G ที่บูรณาการไม่ดี คำถามที่มีประโยชน์ไม่ใช่ว่า NIC ใดเร็วกว่า แต่เป็นการออกแบบเครือข่ายใดที่ให้ประสิทธิภาพของแอปพลิเคชันที่ดีที่สุดต่อดอลลาร์

คุณต้องการการจัดซื้อจัดจ้างที่เร็วขึ้น -ที่มีความเสี่ยงน้อยลง

อะแดปเตอร์ ออปติก และสายเคเบิล 400G นั้นง่ายต่อการจัดหาและผ่านคุณสมบัติจากเซิร์ฟเวอร์และแพลตฟอร์มสวิตช์ที่หลากหลาย เมื่อทีมมีเวลาจำกัดในการตรวจสอบ 400G คือตัวเลือกที่มีความเสี่ยงต่ำกว่า-ซึ่งยังคงช่วยแก้ปัญหาคอขวดส่วนใหญ่ได้

เมื่อใดควรเลือก 800G NIC

เลือก 800G NIC เมื่อแอปพลิเคชัน แพลตฟอร์ม GPU และ Fabric สามารถใช้แบนด์วิดท์เพิ่มเติมได้จริง

คุณกำลังออกแบบโครงสร้างการฝึกอบรม AI ยุคถัดไป-

กลุ่มการฝึกอบรมขนาดใหญ่ทำให้เกิดการสื่อสารอย่างหนัก{0}}ถึง-ทั้งหมดและตะวันออก-ทางตะวันตก เมื่อขนาดของโมเดล จำนวน GPU และความเท่าเทียมเพิ่มมากขึ้น เครือข่ายจะกลายเป็นตัวจำกัด ที่นี่ 800G NIC เพิ่มแบนด์วิดท์ต่อ-โหนดและลดความเสี่ยงที่แฟบริคจะควบคุมปริมาณ GPU

คุณต้องการความหนาแน่นของแบนด์วิธที่สูงขึ้น

800G ลดจำนวนพอร์ต ลิงก์ และโมดูลที่จำเป็นในการส่งมอบแบนด์วิธตามจำนวนที่กำหนด สิ่งนี้มีความสำคัญในคลัสเตอร์ที่หนาแน่น โดยที่พื้นที่แร็ค -จำนวนพอร์ตที่แผงด้านหน้า การจัดการสายเคเบิล และฐานสวิตช์ล้วนถูกจำกัด การเชื่อมต่อที่น้อยลงและเร็วขึ้นสามารถทำให้การสร้างง่ายขึ้น โดยมีเงื่อนไขว่าสวิตช์แฟบริคและแผนผังการเดินสายได้รับการออกแบบมาให้

คุณกำลังวางแผนสำหรับ-แพลตฟอร์ม GPU รุ่นถัดไป

หากแผนงานรวมถึงเซิร์ฟเวอร์ GPU รุ่นถัดไป- ความหนาแน่นของพลังงานแร็คที่สูงขึ้น การระบายความร้อนด้วยของเหลว และคลัสเตอร์ที่ใหญ่ขึ้น 800G ถือเป็นการเรียกเชิงกลยุทธ์ที่แข็งแกร่งกว่า การซื้อ 400G ในปัจจุบันยังคงสมเหตุสมผล แต่แฟบริคควรได้รับการออกแบบให้มีเส้นทางการโยกย้ายไปจนถึง 800G หรือสูงกว่านั้น

คุณต้องการลด-การหยุดชะงักในการอัปเกรดในระยะยาว

กลยุทธ์ 800G แบบแบ่งเป็นระยะจะช่วยลดความเจ็บปวดในการโยกย้ายในอนาคต ปรับใช้สวิตช์ที่รองรับ 800G- ก่อน เชื่อมต่อ 400G NIC ที่มีอยู่ผ่านการออกแบบความเร็วแยกหรือผสม- จากนั้นอัปเกรดเซิร์ฟเวอร์เป็น 800G ในภายหลัง สิ่งนี้ช่วยปกป้องการลงทุนในปัจจุบันในขณะเดียวกันก็เตรียมโครงสร้างสำหรับรุ่นต่อไป

เมื่อใดที่ไม่ควรเลือก 800G NIC

คำถามนี้มักจะเป็นคำถามที่มีประโยชน์มากกว่า และจะกรองการซื้อที่เสียใจที่สุดออกไป ระงับ 800G เมื่อข้อใดข้อหนึ่งต่อไปนี้เป็นจริง:

• โฮสต์ไม่สามารถเปิดเผยพาธ PCIe Gen6-คลาส x16 แบบเต็มไปยังอะแด็ปเตอร์ได้ พอร์ตจะทำงานอย่างอดอยาก และคุณจะต้องจ่ายค่าแบนด์วิธที่บัสเซิร์ฟเวอร์ไม่สามารถส่งมอบได้
• กระดูกสันหลังมีสมาชิกมากเกินไปหรือยังคงเป็น 400G NIC ที่เร็วกว่าไม่สามารถแก้ไขแฟบริคที่มีข้อจำกัดได้ มันแค่ขยับคอขวดออกไปหนึ่งก้าว
• ปริมาณงานคือเวลาแฝง- หรือ MPI-ที่ถูกผูกไว้ มากกว่าที่จะผูกกับแบนด์วิดท์- ปริมาณงานที่เพิ่มขึ้นจะมีผลเพียงเล็กน้อยสำหรับงานที่มีการซิงโครไนซ์หรือพฤติกรรมข้อความขนาดเล็ก-
• ออพติค การเดินสายเคเบิล หรือการระบายความร้อนสำหรับ 800G ไม่สามารถจัดหาและตรวจสอบบนไทม์ไลน์ของคุณได้ โมดูลที่ไม่เข้าเกณฑ์ซึ่งกระพือปีกขณะโหลดจะแย่กว่าลิงก์ที่ช้ากว่าซึ่งยังคงอยู่
• ไม่มีแผนงานการเติบโตที่เป็นรูปธรรมที่พิสูจน์ให้เห็นถึงความพรีเมียมในปัจจุบัน

หากมีตั้งแต่สองข้อขึ้นไป 400G เกือบจะเป็นคำตอบที่ถูกต้องสำหรับรุ่นนี้ โดยที่ 800G จะถูกสงวนไว้สำหรับการรีเฟรชครั้งถัดไป

400G กับ 800G NIC สำหรับศูนย์ข้อมูลระบบคลาวด์

Cloud Fabric ไม่ค่อยทำงานด้วยความเร็วเดียวในทุกที่ โดยจะแบ่งกลุ่มตามคลาสการรับส่งข้อมูล และตัวเลือก NIC จะเป็นไปตามกลุ่มมากกว่าศูนย์ข้อมูลโดยรวม

• การจราจรส่วนหน้า/ทิศเหนือ-ทิศใต้:โดยปกติแล้ว 400G จะเพียงพอสำหรับผู้ใช้-ที่เผชิญหน้ากันและระดับ API โดยที่แบนด์วิดท์ต่อ-โฟลว์นั้นพอประมาณและมีจำนวนการเชื่อมต่อเป็นสำคัญ
• พื้นที่เก็บข้อมูลและการจราจรทางตะวันออก-ตะวันตก:คำตอบขึ้นอยู่กับว่าสถาปัตยกรรมมีการแบ่งแยกอย่างไร. 400G ครอบคลุมกลุ่มทั่วไปส่วนใหญ่ 800G ช่วยในกรณีที่ไดรฟ์จัดเก็บข้อมูลขนาดใหญ่แบบกระจายรองรับโหลดทางตะวันออก-ทางตะวันตก
• การอนุมาน AI:400G นั้นเพียงพอสำหรับคลาวด์การอนุมานจำนวนมาก ในขณะที่ 800G เหมาะกับการผสมผสาน-ของ-ผู้เชี่ยวชาญที่หนาแน่นในการกำหนดเส้นทางหรือการให้บริการแบบแยกส่วน โดยที่โทเค็นจะเคลื่อนที่ข้ามหลายโหนด
• โครงสร้างผู้เช่าหลาย-:ที่นี่ อัตราส่วนการสมัครสมาชิกเกินและประสิทธิภาพการแยกผู้เช่ามากกว่าอัตรา NIC สูงสุดมาก ผ้า 400G ที่สมดุลซึ่งมีการแยกส่วนอย่างแน่นหนามักจะเอาชนะผ้าที่เร็วกว่าแต่แน่นหนา

เนื่องจากเมฆตะวันออก-เติบโตบนไฟเบอร์ที่มีโครงสร้าง จึงควรวางสายเคเบิลหลักควบคู่ไปกับ NIC ของเราคำแนะนำเกี่ยวกับสายเคเบิลลำตัว MPO/MTPครอบคลุมการวิ่งที่มีความหนาแน่นสูง- ตามหลักการทั่วไป ให้ใช้ 400G สำหรับส่วนหน้า-ส่วนใหญ่และระดับคลาวด์ทั่วไป และสำรอง 800G สำหรับกลุ่มที่การให้บริการ AI หนาแน่นหรือกลุ่มตะวันออก-ตะวันตกขนาดใหญ่ครอบงำ

ปัจจัยในการเลือกที่สำคัญนอกเหนือจากความเร็วของพอร์ต

NIC ที่เร็วขึ้นไม่ได้รับประกันปริมาณงานที่เร็วขึ้น เว้นแต่ว่าทั้งแพลตฟอร์มจะรองรับ ปัจจัยห้าประการเป็นตัวตัดสินว่าพอร์ต 800G จะส่งมอบหรือไม่ได้ใช้งาน

การสร้าง PCIe และแบนด์วิธของโฮสต์

NIC เข้าถึงโฮสต์ผ่าน PCIe และลิงก์นั้นเป็นเพดานแข็ง พอร์ต 400 Gb/s ต้องการประมาณ 50 GB/s ต่อทิศทาง ซึ่งสล็อต PCIe Gen5 x16 ที่ประมาณ 63 GB/s ใช้งานได้ต่อทิศทางสามารถพกพาได้ พอร์ต 800 Gb/s ต้องการความเร็วประมาณ 100 GB/s ต่อทิศทาง ซึ่งเกินกว่าสล็อต Gen5 x16 ซึ่งเป็นสาเหตุที่โดยทั่วไปแล้วอะแดปเตอร์ 800G คาดหวังข้อกำหนด PCIe 6.0 จาก PCI-SIG(64 GT/s สูงสุด 256 GB/s แบบสองทิศทางบน x16) หรือดีไซน์ x32 ที่ไม่ธรรมดา ก่อนที่จะตัดสินใจใช้ 800G โปรดยืนยัน:

• การสร้าง PCIe
• การนับเลนและการเดินสายไฟของช่อง
• ตำแหน่ง NUMA และเส้นทาง GPU- ไปยัง- NIC
• การตรวจสอบผู้ให้บริการเซิร์ฟเวอร์-สำหรับอะแดปเตอร์
• รองรับ BIOS และเฟิร์มแวร์

ในเซิร์ฟเวอร์ GPU การวางตำแหน่ง NIC ที่สัมพันธ์กับ CPU และ GPU จะเป็นตัวกำหนดว่าข้อมูลจะเคลื่อนย้ายได้ชัดเจนเพียงใด NIC คลาส Gen6- ที่ถูกทิ้งลงในสล็อต Gen5 x8 ถือเป็นปัญหาคอขวดที่เกิดจากตัวเองบ่อยที่สุดในภาคสนาม

สลับ Fabric และ Oversubscription

ความเร็วของ NIC จะต้องตรงกับอะแดปเตอร์ Fabric. 800G ที่ไม่ทำอะไรเลยหาก leaf-spine มีการสมัครรับข้อมูลมากเกินไปหรืออัปลิงก์มีขนาดเล็ก ตรวจสอบความเร็วของพอร์ตลีฟและสไปน์ อัตราส่วนการสมัครใช้งานเกิน จำนวนรางเครือข่าย รูปแบบตะวันออก-ตะวันตก การออกแบบโดเมนที่ล้มเหลว- และแบนด์วิดท์การแบ่งส่วนที่ต้องการ สำหรับการฝึก อัตราส่วนการสมัครเกินที่ต่ำกว่ามักจะให้ประสิทธิภาพมากกว่า NIC ที่เร็วกว่า

RoCE, InfiniBand และอัลตร้าอีเธอร์เน็ต

แฟบริค AI และ HPC ใช้ RDMA เพื่อลดโอเวอร์เฮดของ CPU และโปรโตคอลจะกำหนดรูปร่างของ NIC, สวิตช์, การควบคุมความแออัด และการดำเนินการ ปัจจุบัน NDR InfiniBand ทำงานที่ 400 Gb/s ต่อพอร์ตและXDR InfiniBand สูงถึง 800 Gb/s ต่อพอร์ตซึ่งเรียงโดยตรงกับระดับ 400G และ 800G NIC ทางฝั่งอีเธอร์เน็ต

ข้อมูลจำเพาะ 1.0 ของ Ultra Ethernet Consortiumกำหนด RDMA-โอเวอร์-สแต็กอีเธอร์เน็ตซึ่งครอบคลุม NIC, สวิตช์, ออปติก และสายเคเบิล โดยมุ่งเป้าไปที่ขนาด AI และ HPC- อย่างเต็มที่

เลือก InfiniBand สำหรับ HPC หรือ AI Fabric ที่มีความหน่วงต่ำ- เมื่อทีมของคุณรู้จักระบบนิเวศนั้น เลือกอีเธอร์เน็ตหรือ RoCE เพื่อตัวเลือกผู้จำหน่ายที่กว้างขึ้นและการบูรณาการระบบคลาวด์ พิจารณา Ultra Ethernet เมื่อคุณต้องการเส้นทางเปิดที่เป็นมาตรฐานสำหรับอีเทอร์เน็ต-ประสิทธิภาพสูงรุ่นถัดไป-

ออพติค ฟอร์มแฟกเตอร์ และการเดินสาย

ที่ 400G และ 800G ความเข้ากันได้ทางกายภาพมีความสำคัญพอๆ กับอัตรา สองโมดูลสามารถแบ่งปันความเร็วได้ แต่จะแตกต่างกันในเรื่องของฟอร์มแฟคเตอร์ การออกแบบการระบายความร้อน และข้อกำหนดของโฮสต์ ตรวจสอบ OSFP กับ QSFP112 กับ QSFP-DD, -บนสุดเทียบกับครีบ- OSFP บนสุด, สลับ-ข้อกำหนดด้านโมดูลด้านข้างกับ NIC-, DAC, AEC, AOC หรือการเข้าถึงแบบออปติคัล, การสนับสนุนแยกส่วน และการเข้ารหัสและเฟิร์มแวร์ของผู้จำหน่าย อย่าถือว่า OSFP 800G ที่ทำงานในสวิตช์จะวางและระบายความร้อนอย่างถูกต้องใน NIC โมดูลสวิตช์และ NIC จำนวนมากใช้การออกแบบด้านความร้อนและกลไกที่แตกต่างกัน

การตรวจสอบกำลัง การไหลของอากาศ และความร้อน

ส่วนประกอบ 800G ดึงพลังงานมากขึ้นและทำงานได้ร้อนยิ่งขึ้น ตรวจสอบ NIC, เลนส์, พอร์ตสวิตช์ และเส้นทางการไหลของอากาศภายใต้ภาระที่ต่อเนื่อง ไม่ใช่ไม่ได้ใช้งาน ยืนยันกำลังไฟของโมดูล NIC และออปติคอล- ทิศทางการไหลของอากาศและพื้นที่ด้านบนในการทำความเย็น อุณหภูมิขาเข้าสูงสุด ความหนาแน่นของสายเคเบิลและการอุดตันของการไหลของอากาศ และสมมติฐานการทำความเย็นของอากาศ- กับของเหลว- ความไม่เสถียรทางความร้อนจะแสดงขึ้นเป็นช่องเชื่อมต่อและอัตราข้อผิดพลาดที่เพิ่มขึ้น ซึ่งเป็นข้อผิดพลาดที่เกิดขึ้นเป็นระยะๆ ซึ่งดำเนินการช้าและมีราคาแพงในการผลิต

ข้อผิดพลาดทั่วไปที่ควรหลีกเลี่ยง

การซื้อ 800G เพียงเพราะมันเร็วกว่า

800G ไม่ได้ดีขึ้นโดยอัตโนมัติ หากเวิร์กโหลด เซิร์ฟเวอร์ หรือแฟบริคไม่สามารถใช้แบนด์วิธได้ ค่าใช้จ่ายเพิ่มเติมจะไม่เปลี่ยนเป็นประสิทธิภาพของแอปพลิเคชัน จับคู่พอร์ตกับคอขวดที่คุณมีอยู่จริง

ละเว้นแบนด์วิดท์ PCIe

NIC สามารถย้ายข้อมูลได้เร็วเท่าที่โฮสต์บัสอนุญาตเท่านั้น ตรวจสอบการสร้าง PCIe จำนวนเลน และโทโพโลยีเซิร์ฟเวอร์ก่อนที่คุณจะเลือกคลาสความเร็ว ไม่ใช่หลังจากที่ฮาร์ดแวร์มาถึง

การเลือกโมดูลออปติคัลผิด

ในอัตราเหล่านี้ ฟอร์มแฟคเตอร์ของโมดูลและการออกแบบระบบระบายความร้อนถือเป็นสิ่งสำคัญ ตัวแปร OSFP ที่ไม่ถูกต้องอาจไม่พอดีกับกรงที่กำหนด หรืออาจพอดีแต่เกิดความร้อนมากเกินไปภายใต้การรับส่งข้อมูลที่ยั่งยืน ทำให้เกิดข้อผิดพลาดที่ดูเหมือนปัญหาเกี่ยวกับโครงสร้าง

ลืมการเข้าถึงสายเคเบิล

DAC, AEC, AOC, ออปติกแบบมัลติโหมด และออปติกโหมดเดี่ยว- แต่ละประเภทให้บริการในช่วงระยะทางที่แตกต่างกัน และเกรดไฟเบอร์ที่ต่างกันก็มีระยะทางที่แตกต่างกัน ของเรารายละเอียดขีดจำกัดการเข้าถึง OM1 ถึง OM5แสดงให้เห็นว่าแต่ละเกรดมีคะแนนสูงสุดแค่ไหน การเลือกการเชื่อมต่อถึงกันที่ไม่ถูกต้องจะเพิ่มเวลาแฝง ต้นทุน หรือการทำงานซ้ำ

การปฏิบัติต่อ NIC สวิตช์ และออปติกเป็นการซื้อแยกต่างหาก

สั่งซื้ออะแดปเตอร์ สวิตช์ เลนส์ และสายเคเบิลเป็นรายการวัสดุที่ได้รับการตรวจสอบความถูกต้องรายการเดียว ความไม่ตรงกันที่ค้นพบหลังจากการปรับใช้หมายถึงพอร์ตที่เชื่อมโยงแต่แฟล็ก หรือฮาร์ดแวร์ที่ต้องส่งคืนในช่วงกลาง-บิลด์ ซึ่งจะรบกวนมากกว่าการตรวจจับในระหว่างการตรวจสอบคุณสมบัติ

คำแนะนำขั้นสุดท้าย

เลือก 400G NIC สำหรับอะแดปเตอร์ที่พิสูจน์แล้วและคุ้มค่า-ซึ่งเหมาะกับ AI, HPC, พื้นที่เก็บข้อมูล และแฟบริคคลาวด์ในปัจจุบัน เป็นตัวเลือกที่ใช้งานได้จริงสำหรับคลัสเตอร์ GPU ที่มีอยู่ส่วนใหญ่และ-ห้องรุ่นผสม เลือก 800G NIC เมื่อความหนาแน่นของแบนด์วิดท์ การสื่อสาร GPU ขนาดใหญ่- และความพร้อมในการอัปเกรดมีมากกว่าค่าใช้จ่ายล่วงหน้า และเมื่อเส้นทางทั้งหมดถูกสร้างขึ้น

การตัดสินใจไม่เคยรวดเร็วเพียงอย่างเดียว อยู่ที่ว่าเซิร์ฟเวอร์ สวิตช์ ออพติค การเดินสายเคเบิล กำลังไฟ และการระบายความร้อนของคุณสามารถเปลี่ยนความเร็วดังกล่าวให้เป็นประสิทธิภาพของแอปพลิเคชันได้หรือไม่ ระเบียบวินัยในการปกป้องงบประมาณนั้นเรียบง่าย: ตรวจสอบ NIC, สวิตช์, ออปติก และสายเคเบิลให้เป็นระบบเดียวก่อนที่คุณจะสั่งซื้อ