InfiniBand กับ RoCE สำหรับเครือข่ายอนุมาน AI

เลือกอินฟินิแบนด์เมื่อปริมาณงานการอนุมานของคุณคงอยู่หรือตายตามค่าหน่วงเวลาหางที่คาดการณ์ได้ และเลือกโรซีอี(RDMA บนอีเทอร์เน็ตแบบรวม) เมื่อคุณต้องการประสิทธิภาพระดับ RDMA- บนอีเธอร์เน็ตแฟบริค คุณสามารถปรับขนาด แบ่งปัน และดำเนินการกับทีมที่คุณมีอยู่แล้วได้ ไม่มีทางเลือกใดที่จะชนะได้ทุกที่ การเรียกที่ถูกต้องนั้นขึ้นอยู่กับรูปแบบการอนุมานของคุณ เป้าหมายเวลาแฝง p99 และ p999 ระดับ GPU งบประมาณ และความเชี่ยวชาญในการปรับแต่งอีเทอร์เน็ตที่ไม่มีการสูญเสีย-อยู่ในทีมของคุณจริงๆ

เหตุใดเครือข่ายจึงมีความสำคัญมากกว่าที่ทีมอนุมานคาดหวัง

เป็นเวลาหลายปีมาแล้วที่การอนุมานถือเป็นครึ่งเรื่องง่ายๆ ของ GPU นั่นคือโมเดลที่โหลดบนโหนดเดียว คำขอทำหน้าที่อย่างเป็นอิสระ มีการรับส่งข้อมูลทางตะวันออก-น้อยมาก ภาพนั้นล้าสมัยแล้ว การอนุมานสมัยใหม่มีการกระจายมากขึ้น และหลายรูปแบบสร้างแรงกดดันให้กับแฟบริค

• ความเท่าเทียมของเทนเซอร์แยกเลเยอร์เดียวระหว่าง GPU ดังนั้นแต่ละขั้นตอนโทเค็นจะทริกเกอร์การดำเนินการ-ลดหรือทั้งหมด-ทั้งหมดระหว่างขั้นตอนเหล่านั้น นั่นคือการรับส่งข้อมูล GPU ข้าม-ที่มีความละเอียดอ่อนและละเอียดอ่อนบ่อยครั้ง ซึ่ง GPU บล็อกไว้ขณะรอ
• ความเท่าเทียมของท่อการเปิดใช้งานมือจากขั้นตอนหนึ่งไปยังอีกขั้นตอนหนึ่ง ซึ่งมักจะข้ามโหนด เพิ่มการพึ่งพาข้าม-โหนดในการส่งต่อทุกครั้ง
• การแยกส่วนล่วงหน้าและถอดรหัสแยก-ระยะการกรอกข้อมูลล่วงหน้าที่หนักมากออกจากระยะการถอดรหัสที่มีความละเอียดอ่อน- จากนั้นจึงย้ายแคช KV ระหว่างกัน การถ่ายโอนเหล่านั้นมีขนาดใหญ่และต่อเนื่อง และความล่าช้าใดๆ ก็ตามจะแสดงโดยตรงเป็นเวลาที่ช้าลง-ถึง-โทเค็นแรก-และความล่าช้าระหว่างโทเค็น-
• การเรียกค้น-การสร้างเสริม (RAG)เพิ่มการจราจรทางทิศตะวันออก-ไปยังเวกเตอร์และการค้นหา โดยปกติแล้ว เวลาแฝงจะน้อยกว่า-สำคัญกว่าการดำเนินการโดยรวม แต่ยังคงโหลดแฟบริค โดยเฉพาะอย่างยิ่งเมื่อมีปริมาณการสืบค้นสูง
• การให้บริการผู้เช่าหลาย-ทำให้โมเดลและผู้ใช้จำนวนมากอยู่ในโครงสร้างเดียวกัน โดยที่ไมโครเบิร์สต์และเอฟเฟ็กต์ข้างเคียงที่มีเสียงดัง-กลายเป็นความเสี่ยงหลัก

เมื่อเครือข่ายอยู่ในช่วงคอขวด อาการต่างๆ จะมีราคาแพง: เวลาสูงขึ้น-ถึง-โทเค็นแรก- GPU หยุดทำงานขณะรอข้อมูล ปริมาณการประมวลผลที่พังลงเมื่อเกิดการระเบิด และ p95 และ p99 ที่ไม่เสถียร และนี่คือส่วนที่ทำให้การวัดประสิทธิภาพสะดุดลง: เวลาแฝงโดยเฉลี่ยจะซ่อนไว้ทั้งหมด การอนุมานการผลิตจะตัดสินที่หาง ไม่ใช่ค่าเฉลี่ย

InfiniBand กับ RoCE: ตารางสรุปสำหรับการอนุมาน AI

InfiniBand คืออะไร?

InfiniBand เป็นโครงสร้างเครือข่ายที่สร้างขึ้นตามวัตถุประสงค์-ซึ่งออกแบบตั้งแต่เริ่มต้นเพื่อให้มีเวลาแฝงต่ำ ปริมาณงานสูง และการสื่อสารที่ไม่สูญเสียข้อมูล มันไม่ใช่รสชาติที่เร็วกว่าของอีเธอร์เน็ต มาพร้อมกับอะแดปเตอร์ช่องโฮสต์ สวิตช์ ตัวจัดการเครือข่ายย่อย ระบบนิเวศของสายเคเบิล และโมเดลการควบคุมความแออัด- ค่าที่กำหนดคือพฤติกรรมที่กำหนดได้: GPU จำนวนมากสามารถสื่อสารด้วยข้อกำหนดด้านเวลาที่จำกัด และโครงสร้างจะยังคงทำงานอย่างสม่ำเสมอแม้ว่าการรับส่งข้อมูลโดยรวมจะหนาแน่นก็ตาม

แพลตฟอร์ม InfiniBand ที่เน้น AI สมัยใหม่-ขยายฐานนั้นด้วยความสามารถที่มุ่งเป้าไปที่คลัสเตอร์ GPU ขนาดใหญ่โดยตรง ตัวอย่างเช่นกลุ่มผลิตภัณฑ์ Quantum InfiniBand ของ NVIDIA กล่าวเสริมการกำหนดเส้นทางแบบปรับได้ ใน-การประมวลผลเครือข่าย และการวัดและส่งข้อมูลทางไกล- การควบคุมความแออัดซึ่งช่วยให้แฟบริคกระจายการรับส่งข้อมูลอย่างชาญฉลาด และแยกภาระงานของผู้เช่ารายหนึ่งออกจากผู้เช่ารายอื่น สำหรับการอนุมาน InfiniBand จะเข้ามาแทนที่เมื่อปริมาณงานไม่สามารถทนต่อการกระวนกระวายใจได้ หรือเมื่อโหนด GPU หลายตัวต้องแลกเปลี่ยนข้อมูลอย่างรวดเร็วและสม่ำเสมอ

ข้อเสีย-ได้แก่ต้นทุน การกระจุกตัวของระบบนิเวศ และความเชี่ยวชาญในการปฏิบัติงาน โครงสร้าง InfiniBand เฉพาะหมายถึงสวิตช์ อะแดปเตอร์ สายเคเบิล หรือโมดูลออปติคัลโดยเฉพาะ และวิศวกรที่พอใจกับการจัดการแฟบริค InfiniBand สำหรับองค์กรที่ใช้งานระบบอีเทอร์เน็ตขนาดใหญ่อยู่แล้ว การยึดแฟบริคที่แยกจากกันจะเพิ่มความซับซ้อนในการจัดซื้อ -การวางแผนอะไหล่ และการตรวจสอบค่าใช้จ่าย

RoCE (RDMA บน Converged Ethernet) คืออะไร?

RoCE นำ RDMA ซึ่งเป็นการเคลื่อนย้ายข้อมูลหน่วยความจำโดยตรง-ไปยัง-หน่วยความจำโดยมีค่าใช้จ่าย CPU ต่ำไปยังเครือข่ายอีเธอร์เน็ต RoCEv2 ซึ่งเป็นเวอร์ชันที่ใช้ในศูนย์ข้อมูลสมัยใหม่ สามารถกำหนดเส้นทางได้ทั่วทั้งเครือข่าย IP เลเยอร์ 3 และได้รับมาตรฐานโดยสมาคมการค้า InfiniBand. ความสามารถในการกำหนดเส้นทางนั้นคือสิ่งที่ทำให้ RoCE เข้ากับการออกแบบสไปน์ของอีเธอร์เน็ต-ได้อย่างเป็นธรรมชาติ ในขณะที่นำ NIC, สวิตช์, ออปติก และเครื่องมือตรวจสอบที่คุ้นเคยกลับมาใช้ใหม่

สิ่งที่จับได้ก็คือการขนส่ง RDMA ถือว่ามีเครือข่ายที่เกือบ-สูญเสีย วางแพ็กเก็ตแล้วการขนส่งจะกลับไปเป็นพฤติกรรมการส่งสัญญาณซ้ำซึ่งจะทำลายความล่าช้าหาง ดังนั้น RoCE ต้องการอีเธอร์เน็ตที่อยู่ด้านล่างเพื่อให้ทำงานเหมือนกับแฟบริคที่ไม่มีการสูญเสีย และนั่นขึ้นอยู่กับการกำหนดค่าอย่างระมัดระวังของกลไกทั้งสองโดยเฉพาะ:การควบคุมลำดับลำดับความสำคัญ (IEEE 802.1Qbb)ซึ่งจะหยุดคลาสการรับส่งข้อมูลเดียวเพื่อป้องกันการตก และการแจ้งเตือนความแออัดอย่างชัดเจน (ECN)ซึ่งส่งสัญญาณความแออัดตั้งแต่เนิ่นๆ ดังนั้นผู้ส่งจึงช้าลงก่อนที่บัฟเฟอร์จะล้น เพิ่มการจัดการคิว การจัดสรรบัฟเฟอร์ และการแมป QoS เข้าไปด้วย และจะเห็นได้ชัดว่า RoCE ประสิทธิภาพสูง-ไม่ใช่อีเทอร์เน็ตธรรมดา

ทำได้ดี RoCE มอบเวลาแฝงและปริมาณงานเพียงพอสำหรับบริการการอนุมานการผลิตที่หลากหลาย และปริมาณงานการอนุมานจำนวนมากมีการซิงโครไนซ์กันอย่างแน่นหนาน้อยกว่าการฝึกอบรมแบบกระจาย ซึ่งทำงานเพื่อประโยชน์ของ RoCE ทำได้ไม่ดีนัก จะทำให้เกิดการสูญเสียแพ็กเก็ต การบล็อกส่วนหัว-ของ-บรรทัด การแพร่กระจายความแออัด และส่วนท้ายที่ไม่เสถียร ซึ่งทั้งหมดนี้แปลไปสู่คุณภาพการบริการที่ลดลงโดยตรง

InfiniBand กับ RoCE Latency: ไหนดีกว่าสำหรับการอนุมาน p99

แฟบริคทั้งสองสามารถส่งมอบเครือข่าย-แบนด์วิดท์สูง และ- เวลาแฝงต่ำ พวกเขาต่างกันตรงที่ไปถึงที่นั่น InfiniBand ถูกกำหนดโดยการก่อสร้าง ดังนั้นความกระวนกระวายใจจึงยังคงอยู่ต่ำแม้ภายใต้โหลดแบบผสม RoCE สามารถจับคู่กับปริมาณงานจำนวนมากได้ แต่ผลลัพธ์จะขึ้นอยู่กับอีเทอร์เน็ตแฟบริคและการปรับแต่งที่ดีเพียงใด

จากมุมมองของการปรับใช้ ปัญหาที่แท้จริงในการผลิตมักไม่ค่อยมีแบนด์วิดท์ถึงจุดสูงสุด เกิดความกระวนกระวายใจภายใต้การรับส่งข้อมูลของผู้เช่าที่หลากหลายและต่อเนื่อง- โครงสร้าง RoCE ที่ใช้การทดสอบทรูพุตแบบ iperf- ที่สะอาดตายังคงพลาดเป้าหมาย p99 ทันทีที่เกิดไมโครเบิร์สต์และการโต้แย้งเข้ามาในภาพ ช่องว่างระหว่างเกณฑ์มาตรฐานของห้องปฏิบัติการและ SLA การผลิตคือจุดที่น่าประหลาดใจที่สุด

InfiniBand มีแนวโน้มที่จะได้เปรียบเมื่อ:

• บริการนี้มีเป้าหมายเวลาแฝง p99 หรือ p999 ที่เข้มงวด
• การอนุมานขยายโหนด GPU หลายโหนดด้วยเทนเซอร์หรือไปป์ไลน์ที่ขนานกัน หรือใช้การเติมและถอดรหัสแบบแยกส่วน
• การใช้งาน GPU มีความไวสูงต่อความล่าช้าของเครือข่าย ดังนั้นแผงลอยจึงมีราคาแพง
• คลัสเตอร์จะรันปริมาณงานที่มีลำดับความสำคัญสูง-จำนวนเล็กน้อย โดยที่ความสามารถในการคาดการณ์มีมากกว่าความยืดหยุ่น

โดยทั่วไป RoCE จะดีพอเมื่อ:

• คำขอส่วนใหญ่มีความเป็นอิสระ หรือการมีเพศสัมพันธ์หลวม
• งานดำเนินไปภายในโหนดหรือโหนดจำนวนน้อย
• ปริมาณงานแบบแบตช์มีความสำคัญมากกว่า-เวลาแฝงที่ต่ำเป็นพิเศษ
• ทีมงานใช้งานอีเธอร์เน็ตอยู่แล้ว และความยืดหยุ่นด้านต้นทุนหรือผู้จำหน่ายถือเป็นสิ่งสำคัญอันดับแรก
• คลัสเตอร์รองรับผู้เช่าหลายรายหรือปริมาณงานแบบผสม

RoCE กับต้นทุน InfiniBand: อะไรเป็นตัวขับเคลื่อน TCO จริงๆ

RoCE มักถูกเรียกว่าตัวเลือกที่ถูกกว่า แต่ราคาสวิตช์เป็นเพียงส่วนเล็กๆ ของภาพรวม การเปรียบเทียบตามความเป็นจริงจะดูที่สแต็กทั้งหมด: อะแดปเตอร์เครือข่ายหรือ HCA, สวิตช์, โมดูลออปติคัล, DAC, AOC และสายเคเบิลไฟเบอร์, โทโพโลยีแบบแร็ค, พลังงานและความเย็น, ระบบปฏิบัติการเครือข่าย, การตรวจสอบและการวัดและส่งข้อมูลทางไกล, เวลาทางวิศวกรรม, อะไหล่, การสนับสนุนผู้จำหน่าย และเส้นทางสู่ 400G หรือ 800G

โดยปกติแล้ว InfiniBand จะมีค่าใช้จ่ายล่วงหน้าสูงกว่า เนื่องจากต้องใช้แฟบริคเฉพาะและส่วนประกอบพิเศษ ในสภาพแวดล้อมที่พฤติกรรมที่กำหนดเป็นสิ่งสำคัญที่สุด สามารถลดความพยายามในการปรับแต่งและแก้ไขปัญหาที่แฟบริคอีเทอร์เน็ตแบบไม่สูญเสียข้อมูลต้องการได้ RoCE ช่วยลดต้นทุนด้านฮาร์ดแวร์เมื่อสามารถนำอีเธอร์เน็ตที่มีอยู่พร้อมการสนับสนุน Data Center Bridging ที่เหมาะสมมาใช้ซ้ำได้ แต่จะเปลี่ยนความพยายามไปในการออกแบบ ตรวจสอบ ตรวจสอบ และแก้ไขปัญหาแฟบริคที่ไม่สูญเสียข้อมูล การออกแบบ RoCE ต้นทุนต่ำ-จะเปลี่ยนราคาแพงอย่างรวดเร็วหากทำให้เกิดเวลาแฝงที่ไม่เสถียรและเกิดเพลิงไหม้ซ้ำๆ

ต้นทุนและความเสี่ยงจะกระจุกตัวอยู่ที่ชั้นกายภาพเมื่อความเร็วเพิ่มขึ้น ที่ 400G และ 800G เลนส์จะควบคุมทั้งโหมดการเรียกเก็บเงินและความล้มเหลว พอร์ตความเร็วสูง-ส่วนใหญ่จอดอยู่QSFP-DD หรือฟอร์มแฟคเตอร์ที่เทียบเคียงได้และจับคู่ทางขวาเลนส์โหมดเดี่ยว-หรือมัลติโหมดการเข้าถึงตามจริงของคุณเป็นวิธีที่ง่ายที่สุดวิธีหนึ่งในการหลีกเลี่ยงการใช้จ่ายมากเกินไปกับแฟบริคที่ไม่ต้องใช้โมดูลระยะไกล{0}}

พูดตรงๆ: RoCE ไม่ใช่ตัวเลือกที่ถูกกว่าหากทีมของคุณขาด-ความเชี่ยวชาญด้านอีเทอร์เน็ตแบบไม่มีการสูญเสีย การประหยัดค่าฮาร์ดแวร์สามารถเกิดขึ้นได้อย่างรวดเร็วด้วยต้นทุนทางวิศวกรรมในการรักษาความเสถียรของแฟบริค

ความสามารถในการปรับขนาดและการดำเนินงาน

ความสามารถในการขยายมีมากกว่าจำนวนพอร์ต รวมถึงความง่ายดายในการปรับใช้ ตรวจสอบ ขยาย และกู้คืนแฟบริคเมื่อเกิดข้อผิดพลาด

InfiniBand มีความแข็งแกร่งเมื่อคลัสเตอร์ได้รับการออกแบบให้เป็นแฟบริคประสิทธิภาพสูง{0}}โดยเฉพาะตั้งแต่วันแรก ให้พฤติกรรมที่สอดคล้องกันในวงกว้าง แต่คาดหวังเครื่องมือเฉพาะของ InfiniBand- เช่น ผู้จัดการเครือข่ายย่อยและการจัดการแฟบริคแบบครบวงจร และพนักงานที่คุ้นเคยกับแนวคิด InfiniBand นั่นทำให้เข้ากันได้อย่างเป็นธรรมชาติสำหรับคลัสเตอร์ AI แบบรวมศูนย์ที่สร้างขึ้นตามปริมาณงาน GPU

RoCE slot ในการออกแบบศูนย์ข้อมูลอีเธอร์เน็ต: โทโพโลยีลีฟ-สไปน์, การกำหนดเส้นทาง IP, ECMP และแนวทางปฏิบัติในการตรวจสอบที่คุ้นเคย นั่นคือเหตุผลว่าทำไมจึงดึงดูดโครงสร้างพื้นฐาน GPU แบบ-สไตล์คลาวด์และ-ผู้เช่าหลายราย ระเบียบวินัยที่ต้องการคือความสม่ำเสมอ PFC, ECN, QoS, การจัดการบัฟเฟอร์ และการควบคุมความแออัดต้องได้รับการออกแบบให้สอดคล้องกันทั่วทั้งเส้นทาง เนื่องจากการกำหนดค่าผิดพลาดเล็กน้อยในมุมหนึ่งของแฟบริคสามารถแพร่กระจายและลดปริมาณงานจำนวนมากได้ในคราวเดียว ชั้นกายภาพต้องปรับขนาดให้สะอาดด้วย มีความหนาแน่นสูง-MPO และ MTP trunk และสายเคเบิลฝ่าวงล้อมช่วยให้โครงสร้างกระดูกสันหลัง-ที่กำลังเติบโตสามารถจัดการได้ แทนที่จะเปลี่ยนทุกการขยายตัวให้เป็นปริศนาเกี่ยวกับสายเคเบิล

จุดภาพสะท้อน-เป็นสิ่งที่ควรค่าแก่การระบุ: InfiniBand ยากที่จะพิสูจน์ได้ เมื่อการอนุมานส่วนใหญ่อยู่ภายในโหนดเดียวและ Fabric แทบจะไม่ได้ใช้งานเลย

เครือข่ายใดสำหรับแต่ละปริมาณงานการอนุมาน

เมื่อ RoCE ดีพอ และเมื่อใดที่มีความเสี่ยง

RoCE ดีเพียงพอสำหรับคำขออิสระหรือคำขอที่เชื่อมโยงกันอย่างอิสระ งาน-ที่มุ่งเน้นปริมาณงาน และคลัสเตอร์ผู้เช่าหลาย- ซึ่งคุณสามารถปรับแต่งการแยกส่วนได้ โดยเฉพาะอย่างยิ่งเมื่อทีมมีความชำนาญใน Data Center Bridging Ethernet มันมีความเสี่ยงในลักษณะเฉพาะและเป็นที่จดจำได้:

• พายุพีเอฟซีเฟรมหยุดชั่วคราวจะแพร่กระจายต้นน้ำและหยุดการรับส่งข้อมูลที่ไม่เกี่ยวข้องกับความแออัดเดิม
• การบล็อกส่วนหัว-ของ-บรรทัดการทำแผนที่ลำดับความสำคัญแบบหยาบช่วยให้ชั้นเรียนที่แออัดแห่งหนึ่งหยุดไม่ให้ผู้อื่นแชร์คิวได้
• ECN ผิดพลาดทำเครื่องหมายสายเกินไปและคุณจะได้รับหยด ทำเครื่องหมายมากเกินไปและคุณเร่งความเร็วโดยไม่จำเป็น
• ความแออัดของไมโครระเบิดเสี้ยววินาที-จะระเบิดบัฟเฟอร์ล้น แต่จะมองไม่เห็นในการตรวจสอบตัวอย่างนั้นด้วยความละเอียดหนึ่ง- วินาที
• การกำหนดค่าที่ไม่สอดคล้องกันการตั้งค่าที่ไม่ตรงกันระหว่างใบไม้และกระดูกสันหลังทำให้เกิดความแออัดในการแพร่กระจายแทนที่จะคงอยู่ในท้องถิ่น

สิ่งเหล่านี้ไม่ใช่เหตุผลที่ควรหลีกเลี่ยง RoCE สิ่งเหล่านี้เป็นเหตุผลในการออกแบบโครงสร้างที่ไม่สูญเสียคุณภาพและเชื่อมโยงกันตั้งแต่ต้นจนจบ และลงทุนในระบบโทรมาตรที่มีความละเอียด-ละเอียดและไมโครเบิร์สต์-ก่อนที่คุณจะขยายขนาด

เมื่อ InfiniBand คุ้มค่า และเมื่อคุณซื้อมากเกินไป

InfiniBand คุ้มค่ากับระดับพรีเมียมสำหรับเป้าหมาย p99 และ p999 ที่เข้มงวด การให้บริการหลาย-โหนดที่เชื่อมโยงกันอย่างแน่นหนา และภาระงานที่สำคัญ-ในภารกิจซึ่งมีบทลงโทษ SLA สูง โดยเฉพาะอย่างยิ่งบนคลัสเตอร์ GPU เฉพาะที่ออกแบบโดยรอบแฟบริค คุณมีแนวโน้มที่จะซื้อมากเกินไปเมื่อการอนุมานยังคงอยู่ในโหนด เมื่องานเป็นแบทช์ที่มุ่งเน้นปริมาณงาน- เมื่อคุณต้องการแฟบริคเดียวกันเพื่อพกพาพื้นที่เก็บข้อมูล การจัดการ และการรับส่งข้อมูลบนคลาวด์ของผู้เช่าหลาย- หรือเมื่อคุณขาดความสามารถในการดำเนินการเพื่อเรียกใช้ InfiniBand ได้ดี

ค่าใช้จ่ายที่ไม่ปรากฏในใบเสนอราคาสวิตช์นั้นเป็นค่าใช้จ่ายจริง: การกระจุกตัวของระบบนิเวศ ค่าใช้จ่ายในการรันแฟบริคที่สองขนานกับเครือข่ายอีเทอร์เน็ตของคุณ และการวางแผนแยกต่างหากสำหรับอะไหล่ ออปติก และการตรวจสอบ

วิธีทดสอบ InfiniBand กับ RoCE ก่อนที่คุณจะเลือก

อย่าตัดสินใจเกี่ยวกับชื่อเสียงของโปรโตคอลหรือเอกสารข้อมูลจำเพาะ ตัดสินใจเลือกเกณฑ์มาตรฐานที่คล้ายกับการใช้งานจริง ลำดับการปฏิบัติ:

• กำหนด SLA ในส่วนท้ายตั้งค่า p50, p95, p99 และ p999 สำหรับเวลา-เป็น-โทเค็นแรก-และเวลาในการตอบสนองของโทเค็นระหว่าง- ไม่ใช่เพียงค่าเฉลี่ย
• เล่นซ้ำการจราจรที่สมจริงใช้ขนาดโมเดลที่ต่อเนื่องและหลากหลายและ-ผู้เช่าหลายรายพร้อมกัน แทนที่จะใช้สตรีมเดียว
• โหลดจนติดขัดดันแฟบริคจนกระทั่งเกิดการโต้แย้งอย่างแท้จริง จากนั้นจึงวัดการใช้งาน GPU หาก GPU หยุดทำงานบนเครือข่าย Fabric ก็คือคอขวดของคุณ
• ดูเคาน์เตอร์ที่ถูกต้องติดตามเฟรมหยุดชั่วคราว เครื่องหมาย ECN แพ็คเก็ตลดลง การส่งสัญญาณซ้ำ ตัวนับข้อผิดพลาดของพอร์ต และข้อผิดพลาด FEC ที่ 400G และ 800G
• ตรวจสอบชั้นกายภาพทำความสะอาดไฟเบอร์ที่ติดตั้งอย่างถูกต้องการติดตั้งไฟเบอร์อย่างระมัดระวังป้องกันข้อผิดพลาด-ถึง-การวินิจฉัยที่เป็นระยะๆ และยากซึ่ง-ลิงก์ความเร็วสูงมักเกิดขึ้น

หาก RoCE ยึดเป้าหมาย p99 ภายใต้ภาระของผู้เช่าหลาย-ที่สมจริงและโต้แย้งกันพร้อมตัวนับที่เสถียร นี่ถือเป็นตัวเลือกที่แข็งแกร่งและคุ้มค่า- หากผ่านการทดสอบสตรีมเดี่ยว-ที่สะอาด แสดงว่าคุณยังไม่ได้ทดสอบสิ่งที่กำหนด SLA ของคุณ

ข้อผิดพลาดทั่วไปที่ควรหลีกเลี่ยง

• สมมติว่าการอนุมานทั้งหมดเป็นเครือข่ายแบบเบาการอนุมานบางอย่างนั้นง่ายและเป็นอิสระ บางส่วนมีการกระจาย หน่วง-ไวต่อการตอบสนอง และแบนด์วิดท์-สิ้นเปลือง การจัดการทุกอย่างให้เป็นเรื่องง่ายนำไปสู่โครงสร้างพื้นฐานที่ยังไม่สร้าง
• เปรียบเทียบเวลาแฝงเฉลี่ยเท่านั้นการอนุมานการผลิตขึ้นอยู่กับหาง ประเมิน p95, p99 และ p999 ภายใต้การรับส่งข้อมูลที่สมจริงเสมอ
• ปฏิบัติต่อ RoCE เสมือนเป็นอีเทอร์เน็ตแบบเสียบ-และ-เล่นRoCE ที่มีประสิทธิภาพสูง-ต้องการการออกแบบแฟบริคที่ไม่มีการสูญเสีย-โดยเจตนา การควบคุมความแออัด และความสามารถในการสังเกตอย่างต่อเนื่อง
• การเลือก InfiniBand เท่านั้นเพราะมันเร็วกว่าตัวเลือกด้านประสิทธิภาพที่ดีที่สุดไม่ใช่ตัวเลือกทางธุรกิจที่ดีที่สุดเสมอไป หากปริมาณงานไม่ต้องการพฤติกรรมที่กำหนด RoCE อาจให้คุณค่าที่ดีกว่า
• ละเลยชั้นทางกายภาพที่ 400G และ 800G สายเคเบิล ออปติก ตัวเชื่อมต่อ และความสะอาดของไฟเบอร์ทำให้เกิดข้อผิดพลาดเป็นระยะๆ ซึ่งหาได้ยากและมีราคาแพงในการแก้ไข

บรรทัดล่าง

สำหรับการอนุมาน AI ทั้ง InfiniBand และ RoCE นั้นใช้ได้ทั้งคู่ และให้บริการตามลำดับความสำคัญที่แตกต่างกัน เลือก InfiniBand เมื่อคุณต้องการเครือข่าย-เวลาแฝงต่ำที่สม่ำเสมอที่สุดสำหรับ-แบบเรียลไทม์, ละเอียดอ่อน SLA- หรือการอนุมานคู่ขนานที่แน่นแฟ้น เลือก RoCE เมื่อคุณต้องการแฟบริคที่ปรับขนาดได้ ใช้อีเทอร์เน็ต- และคุ้มค่า- สำหรับการอนุมานแบบกลุ่ม บริการ GPU ของผู้เช่าหลาย- ปริมาณงาน RAG และโครงสร้างพื้นฐานที่ยืดหยุ่น

การตัดสินใจควรเริ่มต้นด้วยปริมาณงาน เป้าหมายเวลาในการตอบสนอง ขนาดคลัสเตอร์ ความสามารถในการปฏิบัติงานของคุณ และแผนงานการอัปเกรด ไม่ใช่ด้วยโปรโตคอล หากคลัสเตอร์ของคุณต้องเก็บ p99 ที่เข้มงวดภายใต้ภาระงานหนัก InfiniBand สมควรได้รับการพิจารณาอย่างจริงจัง หากเป้าหมายของคุณคือการขยายการอนุมานอย่างประหยัดทั่วทั้งศูนย์ข้อมูลอีเธอร์เน็ต โดยปกติแล้ว RoCE จะเป็นแนวทางที่ใช้งานได้จริงมากกว่า ไม่ว่าจะด้วยวิธีใด การเปรียบเทียบระหว่างการใช้งานจริง-เช่นโหลดก่อนที่คุณจะคอมมิต