สลับบัฟเฟอร์: ลดการสูญเสียและความหน่วงของเครือข่าย AI

Jun 22, 2026

ฝากข้อความ

AI data center network fabric with switch buffers

บัฟเฟอร์สวิตช์เป็นกลุ่มหน่วยความจำขนาดเล็กภายในสวิตช์เครือข่ายที่เก็บแพ็กเก็ตชั่วครู่เมื่อการรับส่งข้อมูลมาถึงเร็วกว่าที่พอร์ตจะสามารถส่งได้ บน LAN องค์กรแบบเงียบๆ นั่นฟังดูคล้ายกับเชิงอรรถของฮาร์ดแวร์ ภายในคลัสเตอร์การฝึกฝน AI หรือแฟบริคคลาวด์ที่หนาแน่น หน่วยความจำขนาดไม่กี่เมกะไบต์เท่ากันสามารถตัดสินใจได้ว่างานแบบกระจายจะเสร็จสิ้นตรงเวลาหรือแผงกั้นการรอบนลิงก์ที่แออัดเพียงลิงก์เดียว

แนวคิดหลักนั้นเรียบง่าย แต่ก็ทำให้การตัดสินใจซื้อสะดุดลงมาก: บัฟเฟอร์มีคุณค่าเนื่องจากดูดซับการระเบิดได้บัฟเฟอร์มากขึ้นไม่ได้ดีขึ้นโดยอัตโนมัติ. การออกแบบที่เหมาะสมขึ้นอยู่กับรูปแบบการรับส่งข้อมูลของคุณ ความอ่อนไหวของภาระงานต่อเวลาแฝงหรือการสูญเสีย วิธีควบคุมความแออัด-ที่คุณเรียกใช้ และวิธีที่สวิตช์กระจายหน่วยความจำบัฟเฟอร์ข้ามพอร์ตและคิว สวิตช์ที่มีบัฟเฟอร์ขนาดใหญ่มากยังคงสามารถทำงานได้แย่กว่าสวิตช์ที่เล็กกว่า หากหน่วยความจำนั้นซ่อนความแออัดไว้แทนที่จะระบายออก

คู่มือนี้เขียนขึ้นจากรูปแบบที่พบได้ทั่วไปในแฟบริค RoCEv2 และการปรับใช้สไปน์-ความหนาแน่นสูง- โดยจะอธิบายว่าบัฟเฟอร์สวิตช์ทำอะไรจริงๆ เหตุใดการรับส่งข้อมูลของ AI และ GPU จึงเน้นที่แตกต่างกัน ตัวเลือกบัฟเฟอร์ส่งผลต่อเวลาแฝงและการสูญเสียแพ็กเก็ตอย่างไร และสิ่งที่ต้องทดสอบก่อนที่คุณจะตัดสินใจใช้สวิตช์

บัฟเฟอร์สวิตช์คืออะไร?

บัฟเฟอร์สวิตช์คือหน่วยความจำแพ็กเก็ตชั่วคราว เมื่อแพ็กเก็ตหลายแพ็กเก็ตจำเป็นต้องออกจากพอร์ตเดียวกันในทันที สวิตช์จะไม่สามารถส่งแพ็กเก็ตทั้งหมดพร้อมกันได้ ดังนั้นจึงจัดคิวส่วนพิเศษและส่งต่อเมื่อพอร์ตเอาท์พุตว่าง

การเข้าคิวนี้เกิดขึ้นในช่วงเวลาที่สามารถคาดเดาได้:

  • การรับส่งข้อมูลจำนวนมาก-ถึง-เดียว (อินคาสต์) โดยที่ผู้ส่งหลายรายกำหนดเป้าหมายผู้รับหรืออัปลิงก์เดียวกัน
  • Microbursts ซึ่งเป็นการพุ่งขึ้นที่สั้นและรุนแรงซึ่งคงอยู่ระดับไมโครวินาทีจนถึงไม่กี่มิลลิวินาที
  • ความเร็วอินเทอร์เฟซไม่ตรงกัน เช่น พอร์ต 400G ที่ป้อนลิงก์ดาวน์สตรีมที่ช้ากว่า
  • ลิงก์ที่สมัครเป็นสมาชิกมากเกินไปและการซิงโครไนซ์ที่มาจากหลายแหล่งพร้อมกัน
  • ความแออัดในเอาต์พุตคิวหรือคลาสการรับส่งข้อมูลเฉพาะรายการเดียว

หากไม่มีบัฟเฟอร์ที่ใช้งานได้เพียงพอ สวิตช์จะปล่อยแพ็กเก็ต เนื่องจากบัฟเฟอร์ที่ถูกครอบครองมากเกินไป แพ็กเก็ตจึงอยู่ในแถวและเวลาแฝงจะเพิ่มขึ้น การออกแบบบัฟเฟอร์ที่ดีต้องอาศัยความตึงเครียดระหว่างความล้มเหลวทั้งสองครั้ง นั่นคือการดูดซับการระเบิดจริงโดยไม่ต้องเปลี่ยนคิวให้กลายเป็นปากกาจับ

เหตุใดความเครียดจากการรับส่งข้อมูลของ AI และ GPU จึงสลับบัฟเฟอร์ต่างกัน

ปริมาณงาน AI ไม่เหมือนการรับส่งข้อมูลบนเว็บหรือสำนักงาน คลัสเตอร์ GPU สร้างปริมาณข้อมูลมหาศาลทางทิศตะวันออก-ระหว่างเซิร์ฟเวอร์ และในระหว่างการฝึกอบรมแบบกระจาย การสื่อสารมักจะซิงโครไนซ์กัน โดยตัวเร่งความเร็วหลายตัวจะแลกเปลี่ยนข้อมูลในเวลาเดียวกัน ในทิศทางเดียวกัน บนแฟบริคเดียวกัน

การดำเนินการร่วมกันทำให้สิ่งนี้แย่ลง ขั้นตอนการลดทั้งหมด- การซิงโครไนซ์พารามิเตอร์ หรือการแลกเปลี่ยนการไล่ระดับสีสามารถยุบลงในหลาย-ถึง-หนึ่งหรือหลาย-ไปยัง-การระเบิดที่กระทบชุดของคิวขาออกภายในไมโครวินาที เนื่องจากการระเบิดนั้นมีความสัมพันธ์กันในช่วงสั้นๆ และแน่นแฟ้น จึงพลาดได้ง่ายหากใช้การตรวจติดตามแบบคร่าวๆ ตัวอย่างเช่น ลิงก์สามารถอ่านการใช้งานโดยเฉลี่ยได้ประมาณ 40% เท่านั้นในหน้าต่างการโพลหนึ่ง-วินาทีหรือห้า{-นาที ในขณะที่ยังคงเข้าถึงอัตราบรรทัดครั้งละมิลลิวินาที ซึ่งนานพอที่จะเติมคิว ทำเครื่องหมาย ECN หรือทริกเกอร์การหยุด PFC ชั่วคราว

เหตุผลที่สิ่งนี้มีความสำคัญมากใน AI Fabric ก็คือโครงสร้างการพึ่งพาของงาน การฝึกแบบกระจายมีแนวโน้มที่จะเคลื่อนที่ด้วยความเร็วที่ช้าที่สุด เมื่อโหนด GPU ตัวใดตัวหนึ่งรอการรับส่งข้อมูลที่ล่าช้า ส่วนที่เหลือของคลัสเตอร์มักจะไม่ได้ใช้งานด้วย และตัวเร่งความเร็วที่มีราคาแพงจะเผาผลาญเวลาในการรอบนเครือข่ายแทนที่จะคำนวณ เหตุการณ์บัฟเฟอร์ที่จะมองไม่เห็นในระดับเว็บสามารถขยายเวลาการทำงานให้เสร็จสิ้นได้โดยตรงที่นี่

โครงสร้างตะวันออก-ยังเป็นสาเหตุที่ทำให้ตัวเลือกเลเยอร์ทางกายภาพ-ควบคู่กับพฤติกรรมของบัฟเฟอร์ โดยทั่วไปแล้วแบ็กเอนด์ GPU ความหนาแน่นสูง-จะถูกเชื่อมต่อด้วยสายเคเบิลหลัก MTP/MPO ความหนาแน่นสูง-ระหว่างลีฟและสัน และความเร็วในการเชื่อมต่อจะถูกกำหนดโดยออพติคที่คุณเลือกมากขึ้นเรื่อยๆโมดูล 400G และ 800G เช่น QSFP-DD. ยิ่งลิงก์เหล่านั้นเร็วและมีจำนวนสมาชิกมากเกินไป บัฟเฟอร์ของสวิตช์และการตั้งค่าความแออัดของสวิตช์ก็จะยิ่งทำงานมากขึ้นในระหว่างการซิงโครไนซ์เป็นชุด

AI GPU traffic burst filling a switch buffer

บัฟเฟอร์สวิตช์ส่งผลต่อเวลาแฝง การสูญเสียแพ็กเก็ต และปริมาณการประมวลผลอย่างไร

บัฟเฟอร์กำหนดประสิทธิภาพในสามวิธีที่เชื่อมต่อกัน

บัฟเฟอร์น้อยเกินไปทำให้แพ็กเก็ตสูญหาย

เมื่อการระเบิดเกินบัฟเฟอร์ที่มีอยู่ สวิตช์ส่วนท้าย-จะปล่อยแพ็กเก็ต ในการรับส่งข้อมูลตาม TCP- ที่ทริกเกอร์การส่งข้อมูลซ้ำและลดปริมาณงานที่มีประสิทธิภาพ ในการจัดเก็บและการรับส่งข้อมูล AI สามารถเพิ่มเวลาการทำงานให้เสร็จสิ้นและทำให้ประสิทธิภาพไม่แน่นอน กับดักคือแบนด์วิดท์โดยเฉลี่ยมักจะดูดี: ในเหตุการณ์อินคาสต์ ผู้ส่งหลายรายเข้าสู่คิวขาออกเดียวกันในเวลาใกล้เคียงกัน และคิวล้น แม้ว่ากราฟนาที-ต่อ-นาทีจะดูสงบ

การรับส่งข้อมูลที่เข้าคิวมากเกินไปจะเพิ่มเวลาแฝง

บัฟเฟอร์ขนาดใหญ่ไม่ใช่ส่วนเพิ่มด้านความปลอดภัย หากแพ็กเก็ตอยู่ในคิวลึก แพ็กเก็ตจะสะสมความล่าช้าในการเข้าคิว และเครือข่ายจะเลื่อนเข้าไปบัฟเฟอร์บวมโดยที่หยดนั้นหายากแต่ค่าหน่วงเวลาสูงและคาดเดาไม่ได้ โหมดความล้มเหลวนี้คือบันทึกรายละเอียดโดย Gettys และ Nichols ใน ACM Queueและนี่เป็นผลลัพธ์ที่ผิดอย่างแน่นอนสำหรับแบ็กเอนด์ GPU ที่มีความละเอียดอ่อน- โดยที่เวลาแฝงต่ำที่คาดการณ์ได้มีความสำคัญมากกว่าการซ่อนความแออัดภายในหน่วยความจำ

การจัดสรรบัฟเฟอร์ที่ไม่ดีทำให้เกิดความไม่ยุติธรรม

ขนาดบัฟเฟอร์ทั้งหมดซ่อนคำถามที่สำคัญกว่า: สวิตช์แบ่งหน่วยความจำนั้นผ่านพอร์ต คิว และคลาสการรับส่งข้อมูลอย่างไร สวิตช์สามารถบรรทุกบัฟเฟอร์รวมจำนวนมากและยังคงทำงานไม่ดีหากพอร์ตหรือคลาสหนึ่งระบายพูลที่ใช้ร่วมกันและทำให้ส่วนที่เหลือหยุดทำงาน ในสภาพแวดล้อมของ AI และการจัดเก็บ ความไม่ยุติธรรมนั้นจะทำให้งานทั้งหมดช้าลง เนื่องจากการไหลที่ช้าที่สุดเป็นตัวกำหนดเวลาสิ้นสุด

Comparison of shared dedicated and deep switch buffers

บัฟเฟอร์ที่ใช้ร่วมกันกับบัฟเฟอร์เฉพาะกับบัฟเฟอร์ลึก

เมื่อคุณเปรียบเทียบสวิตช์ศูนย์ข้อมูล สถาปัตยกรรมบัฟเฟอร์มีความสำคัญมากกว่าจำนวนความจุพาดหัว

บัฟเฟอร์ที่ใช้ร่วมกัน

บัฟเฟอร์ที่ใช้ร่วมกันคือพูลหน่วยความจำทั่วไปที่พอร์ตและคิวดึงมาตามความต้องการ เนื่องจากหน่วยความจำที่ไม่ได้ใช้ในพื้นที่เงียบสงบสามารถยืมไปใช้ได้ทุกที่ที่มีการจราจรติดขัด บัฟเฟอร์ที่ใช้ร่วมกันจะดูดซับการกระจายข้อมูลในศูนย์ข้อมูลได้ดี โดยที่พอร์ตที่ไม่ได้ใช้งานช่วงหนึ่งอาจใช้งานต่อเนื่องช่วงถัดไป จุดอ่อนของพวกเขาคือพวกเขาอาศัยตรรกะการจัดสรรที่ดีเพื่อหยุดคิวร้อนหนึ่งคิวไม่ให้กินพูล

บัฟเฟอร์เฉพาะ

บัฟเฟอร์เฉพาะถูกสงวนไว้สำหรับพอร์ต คิว หรือคลาสการรับส่งข้อมูลเฉพาะ จะช่วยปรับปรุงการแยกส่วน เนื่องจากคลาสที่แออัดหนึ่งจะบริโภคทุกอย่างได้น้อยกว่า แต่สำรองความจุของเสียไว้มากกว่า- เนื่องจากหน่วยความจำที่ล็อคไว้กับพอร์ตที่เงียบไม่พร้อมใช้งานในกรณีที่การระเบิดเกิดขึ้นจริง

บัฟเฟอร์ลึก

สวิตช์บัฟเฟอร์ระดับลึก-มีการบัฟเฟอร์ที่ใหญ่กว่ามาก ออกแบบมาสำหรับการระเบิดจำนวนมาก - ลิงก์ระยะไกล หรือความเร็วที่ไม่ตรงกันอย่างต่อเนื่อง บัฟเฟอร์ระดับลึกเข้ามาแทนที่บทบาท WAN, การกำหนดเส้นทาง และการรวมกลุ่ม ซึ่งมักจะจับคู่กันไฟเบอร์โหมดเดี่ยว-สำหรับลิงก์ระยะไกล-แต่บ่อยครั้งเป็นค่าเริ่มต้นที่ไม่ถูกต้องสำหรับแบ็กเอนด์ GPU ที่มีความหน่วงต่ำ- ซึ่งมีแนวโน้มที่จะปกปิดความแออัดและเพิ่มความล่าช้า สำหรับแฟบริคที่มีความละเอียดอ่อน- การส่งต่อที่คาดการณ์ได้มักจะเหนือกว่าความลึกของบัฟเฟอร์ดิบ

การเปรียบเทียบอย่างรวดเร็ว

ประเภทบัฟเฟอร์ ความแข็งแกร่ง ความเสี่ยงหลัก พอดีที่สุด
แบ่งปันแล้ว การดูดซับแรงกระแทกที่ยืดหยุ่น ต้องการตรรกะการจัดสรรที่มั่นคง การรับส่งข้อมูลศูนย์ข้อมูลแบบไดนามิก
อุทิศ ความโดดเดี่ยวที่แข็งแกร่งระหว่างชั้นเรียน ความจุที่สูญเปล่าหากมีการสำรองไว้เกิน- คลาสการจราจรที่ต้องได้รับการปกป้อง
ลึก ดูดซับการระเบิดขนาดใหญ่มาก เวลาแฝงในการเข้าคิวที่สูงขึ้น WAN, การกำหนดเส้นทาง, การรวมกลุ่มพิเศษ

สลับบัฟเฟอร์และการควบคุมความแออัดของ RoCEv2: ECN และ PFC

AI Ethernet Fabric ส่วนใหญ่ใช้ RoCEv2 สำหรับ-เวลาแฝงต่ำ และ-ปริมาณงานสูง- RDMA ในเครือข่ายเหล่านี้ บัฟเฟอร์และการควบคุมความแออัดจะแยกจากกันไม่ได้: เกณฑ์บัฟเฟอร์ที่คุณตั้งไว้จะกำหนดว่าเมื่อใดจะทำเครื่องหมาย ECN และเมื่อใดที่ PFC เริ่มทำงาน

ECN ควรส่งสัญญาณความแออัดตั้งแต่เนิ่นๆ

การแจ้งเตือนความแออัดอย่างชัดเจน (ECN) กำหนดไว้ใน RFC 3168อนุญาตให้สวิตช์ทำเครื่องหมายแพ็กเก็ตเมื่อความแออัดสร้างขึ้นแทนที่จะปล่อยทิ้ง เครื่องรับจะสะท้อนสัญญาณนั้นกลับมาเพื่อให้ผู้ส่งช้าลงก่อนที่คิวจะล้น ในแฟบริค RoCEv2 เกณฑ์การมาร์กคือการตัดสินใจในการปรับแต่งที่มีผลกระทบที่แท้จริง: มาร์กช้าเกินไป และคิวอยู่ลึกแล้วเมื่อแหล่งที่มาตอบสนอง ทำเครื่องหมายเร็วเกินไปและคุณเร่งความเร็วโดยคุณไม่จำเป็นต้องยอมแพ้

PFC ควรเป็นตาข่ายนิรภัย ไม่ใช่การตอบสนองครั้งแรก

การควบคุมการไหล (PFC) ตามลำดับความสำคัญ{0}} ซึ่งมีมาตรฐานเป็น IEEE 802.1Qbbหยุดการรับส่งข้อมูลในคลาสที่มีลำดับความสำคัญเพื่อป้องกันการสูญเสียในคิวที่ไม่มีการสูญเสีย มันเป็นสิ่งจำเป็น แต่มันก็เป็นเครื่องมือทื่อ พึ่งพามันบ่อยเกินไปและจะกระจายความแออัดไปทางต้นน้ำ ทำให้เกิดพายุหยุดชั่วคราวและ-แนวหน้าของ-การปิดกั้นแนวที่ลงโทษการไหลที่ไม่เคยเป็นสาเหตุ รูปแบบที่ดีต่อสุขภาพได้รับการกำหนดไว้อย่างดี: ในงาน RDMA ขนาดใหญ่-ของ Microsoft ที่แนะนำ DCQCNการควบคุมความแออัดตามอัตรา-ที่ขับเคลื่อนโดย ECN จะจัดการเหตุการณ์ตามปกติในขณะที่ PFC ยังคงเป็นสำรองเป็นแนวป้องกันสุดท้าย และเอกสารดังกล่าวยังให้คำแนะนำที่เป็นรูปธรรมเกี่ยวกับการปรับแต่งเกณฑ์บัฟเฟอร์ของสวิตช์

เกณฑ์บัฟเฟอร์ต้องตรงกับปริมาณงาน

เกณฑ์ที่คัดลอกมาจากการออกแบบอ้างอิงแทบจะไม่รอดจากการติดต่อกับปริมาณข้อมูลจริง การฝึกอบรม AI การอนุมาน การจัดเก็บ และปริมาณงานบนคลาวด์แบบผสมแตกตัวแตกต่างกัน และการตั้งค่า ECN/PFC ที่เหมาะสมนั้นขึ้นอยู่กับความต่อเนื่อง ความเร็วลิงก์ อัตราส่วนการสมัครใช้งานมากเกินไป การออกแบบคิว และปริมาณงานที่ยอมรับเวลาแฝงเทียบกับการสูญเสีย ถือว่าค่าเริ่มต้นของผู้ขายเป็นจุดเริ่มต้น จากนั้นปรับตามปริมาณการเข้าชมของคุณเอง

การวินิจฉัยบัฟเฟอร์-ปัญหาที่เกี่ยวข้อง: อาการ สาเหตุ และตัวชี้วัด

เมื่อประสิทธิภาพของแอปพลิเคชันลดลงแต่แดชบอร์ดดูเป็นสีเขียว แสดงว่าแรงดันบัฟเฟอร์เป็นสาเหตุที่ซ่อนเร้นอยู่ทั่วไป การดำเนินการขั้นแรกที่มีประโยชน์คือการอ่านการวัดและส่งข้อมูลทางไกลตามลำดับเหตุและผล แทนที่จะดูที่การใช้ลิงก์ ตารางด้านล่างแมปอาการกับปัญหาบัฟเฟอร์ที่อาจเกิดขึ้นและตัววัดที่ยืนยันปัญหาเหล่านั้น

 

อาการ น่าจะเป็นบัฟเฟอร์-สาเหตุที่เกี่ยวข้อง เมตริกที่ต้องตรวจสอบก่อน
การส่งสัญญาณซ้ำด้วยการใช้งานเฉลี่ยปกติ หางไมโครระเบิดตกลงบนคิวทางออก ยอดการเข้าคิว ส่วนท้าย และเอาต์พุตลดลง
เวลาในการตอบสนองเพิ่มขึ้นอย่างรวดเร็วโดยมีหยดเพียงเล็กน้อยหรือไม่มีเลย คิวยาวเกิน-/บัฟเฟอร์บวม เปอร์เซ็นไทล์เวลาในการตอบสนอง (p99) ความลึกของคิว
ปริมาณงานลดลงจากหลาย-ถึง-หนึ่ง Incast ล้นสระน้ำรวม ลดลงระหว่างการสนทนา ต่อ-การเข้าคิว
แผงลอยเป็นระยะทั่วทั้งคลัสเตอร์ PFC หยุดพายุที่แพร่กระจายต้นน้ำ เฟรมหยุดชั่วคราว PFC และระยะเวลาหยุดชั่วคราว
การไหลช้าเพียงครั้งเดียวจะลากงานทั้งหมด การแบ่งปันบัฟเฟอร์ที่ไม่ยุติธรรมระหว่างคลาส ต่อ-การเข้าใช้ลำดับความสำคัญ เคาน์เตอร์คิวยอดนิยม-
GPU ไม่ได้ใช้งานกำลังรออยู่บนเครือข่าย ความแออัดขยายการดำเนินงานโดยรวม อัตราเครื่องหมาย ECN, เวลาที่ไหลเสร็จสิ้น, การใช้งาน GPU

อ่านจากบนลงล่าง ห่วงโซ่การวินิจฉัยตามธรรมชาติคือความลึกของคิว จากนั้นทำเครื่องหมาย ECN จากนั้นลดลงส่วนท้าย จากนั้น PFC หยุดเฟรมชั่วคราว จากนั้นโฟลว์เสร็จสิ้นเวลา จากนั้นใช้งาน GPU หากตัววัดเครือข่ายสะอาด แต่งานยังคงช้า ปัญหาน่าจะอยู่ที่ต้นน้ำของแฟบริค แทนที่จะเป็นภายในบัฟเฟอร์สวิตช์

การทดสอบในห้องปฏิบัติการคุ้มค่าที่จะใช้งาน และ "ผ่าน" มีลักษณะอย่างไร

ก่อนที่จะปรับใช้ใน AI หรือแฟบริคประสิทธิภาพสูง- ให้ทดสอบกับการรับส่งข้อมูลที่คล้ายกับปริมาณงานจริงของคุณ และกำหนดเกณฑ์การผ่านสำหรับการทดสอบแต่ละครั้ง แทนที่จะเฝ้าดูอัตราบรรทัดเพียงอย่างเดียว

  • หลาย-ถึง-อินคาสต์เดียว:ไล่ระดับพัดลม-ตามอัตราส่วน; ผ่านหมายถึงไม่มีการลดทอนและจำกัดเวลาแฝง p99 ที่การสมัครรับข้อมูลเกินเป้าหมายของคุณ
  • มาก-ถึง-มาก ทั้งหมด-ลดรูปแบบ:ขับเคลื่อนการระเบิดแบบซิงโครไนซ์ ผ่าน หมายถึงเวลาที่ใช้ในการดำเนินการให้เสร็จสิ้นอย่างยุติธรรมโดยไม่มีการหลงทางแม้แต่ครั้งเดียว
  • กระแสสั้น- และยาว-ผสมกัน:วิ่งช้างและหนูไหลไปด้วยกัน pass หมายถึงโฟลว์สั้นจะรักษาเวลาแฝงต่ำ ในขณะที่โฟลว์ยาวยังคงเติมเต็มลิงก์
  • ความแออัดของ RoCEv2 พร้อมการตรวจสอบ ECN/PFC:ยืนยันเครื่องหมาย ECN ก่อนที่ PFC จะหยุดชั่วคราว ผ่านหมายความว่า ECN ทำงานได้และ PFC แทบไม่ทริกเกอร์
  • การสมัครสมาชิกมากเกินไปและการบรรจบกันของความล้มเหลว:วางลิงก์กลาง-ระเบิด; pass หมายถึงการเปลี่ยนเส้นทางใหม่อย่างสง่างามโดยไม่มีการตกหล่นหรือหน้าผาแฝง

เป้าหมายไม่ใช่เพื่อพิสูจน์ปริมาณงาน-ของอัตราบรรทัดบนสวิตช์ที่ไม่ได้ใช้งาน คือการดูว่าสวิตช์ทำงานอย่างไรเมื่อการจราจรหนาแน่น ซิงโครไนซ์ และไม่ยุติธรรม ซึ่งเป็นสถานะเดียวที่สำคัญในการใช้งานจริง เมื่อคุณวางแผนสายเคเบิลและตัวเชื่อมต่อเพื่อรองรับการทดสอบเหล่านั้นในวงกว้างการเปรียบเทียบทางวิศวกรรมของตัวเลือก MTP และ MPOเป็นเพื่อนที่มีประโยชน์

สวิตช์เวลาแฝง-ลึกหรือต่ำ-?

ไม่มีสวิตช์ที่ดีที่สุดตัวใดตัวหนึ่ง มีเพียงสวิตช์ที่พอดีที่สุดสำหรับผ้าที่กำหนดเท่านั้น ใช้ตารางด้านล่างเพื่อจำกัดตัวเลือกให้แคบลงอย่างรวดเร็ว จากนั้นตรวจสอบด้วยการทดสอบในห้องปฏิบัติการด้านบน

ถ้าผ้าของคุณเป็น จัดลำดับความสำคัญ บัฟเฟอร์เอียง
แบ็กเอนด์ AI GPU (การซิงโครไนซ์ต่อเนื่อง เวลาแฝง- วิกฤต) เวลาแฝงต่ำ, การวัดระยะไกลที่แข็งแกร่ง, การปรับ ECN/PFC เวลาแฝงต่ำ- แบ่งปันพร้อมการจัดสรรที่ดี
การจัดเก็บ/ไม่สูญเสียข้อมูล ความเป็นธรรม เวลาทำงานให้เสร็จ เวลาแฝงภายใต้ภาระงาน ปานกลาง โดยมีคลาสแยกกัน-อย่างดี
คลาวด์แบบผสม (ความเร็วลิงก์ที่หลากหลาย) การจัดสรรที่ยืดหยุ่น การแยกชั้นเรียน การมองเห็น แบ่งปันและยืดหยุ่น
WAN / การรวมระยะไกล- ดูดซับการระเบิดขนาดใหญ่และความเร็วไม่ตรงกัน บัฟเฟอร์ลึก (ยังคงตรวจสอบกับเป้าหมายแฝง)

คลาวด์แฟบริคแบบผสมเป็นกรณีที่ยุ่งยากที่สุด เนื่องจากมักจะรวมการอัปลิงก์ที่มีความเร็วสูงกว่า{0}}เข้ากับลิงก์ที่เข้าถึงได้ช้ากว่า หากคุณกำลังวางแผนความเร็วในการเข้าถึงเหล่านั้น โปรดทำตามคำแนะนำอินเทอร์เฟซ 10GBASE-T และ SFP+ 10GbEสามารถช่วยคุณวางแผนได้ว่าการเปลี่ยนแปลงความเร็วจะไปถึงจุดใด และแรงกดดันในการบัฟเฟอร์จะลงสู่จุดใด

คำถามที่พบบ่อย

ถาม: บัฟเฟอร์สวิตช์ที่ใหญ่กว่าจะดีกว่าเสมอหรือไม่

ตอบ: ไม่ บัฟเฟอร์ที่ใหญ่ขึ้นจะช่วยลดการลดลงของแพ็กเก็ตระหว่างการระเบิด แต่ยังปล่อยให้แพ็กเก็ตคิวนานขึ้น ซึ่งเพิ่มเวลาแฝงและอาจทำให้เกิดบัฟเฟอร์บวมได้ สำหรับเวลาแฝง-AI และแฟบริคการจัดเก็บข้อมูลที่มีความละเอียดอ่อน บัฟเฟอร์ระดับปานกลาง-ที่มีการจัดการอย่างดีมักจะมีประสิทธิภาพดีกว่าบัฟเฟอร์ระดับลึกมาก บัฟเฟอร์ที่ดีที่สุดคือขนาดเดียวและจัดสรรไว้เพื่อดูดซับการระเบิดจริงของคุณโดยไม่เพิ่มความล่าช้าที่หลีกเลี่ยงได้

ถาม: อะไรคือความแตกต่างระหว่างบัฟเฟอร์ที่ใช้ร่วมกันและบัฟเฟอร์เฉพาะ?

ตอบ: บัฟเฟอร์ที่ใช้ร่วมกันคือพูลทั่วไปที่พอร์ตหรือคิวใดๆ สามารถดึงออกมาได้เมื่อจำเป็น ซึ่งทำให้มีประสิทธิภาพในการดูดซับการระเบิดต่อเนื่องที่คาดเดาไม่ได้ บัฟเฟอร์เฉพาะถูกสงวนไว้สำหรับพอร์ต คิว หรือคลาสเฉพาะ ซึ่งปรับปรุงการแยกส่วน แต่อาจสิ้นเปลืองหน่วยความจำหากพื้นที่ที่สงวนไว้ไม่ได้ใช้งาน สวิตช์ศูนย์ข้อมูลจำนวนมากใช้ทั้งสองแบบผสมกัน

ถาม: เหตุใดไมโครเบิร์สต์จึงทำให้แพ็กเก็ตสูญหายแม้ว่าการใช้งานจะดูต่ำก็ตาม

ตอบ: การตรวจสอบแบบมาตรฐานจะเฉลี่ยการรับส่งข้อมูลในช่วงวินาทีหรือนาที ดังนั้นจึงทำให้การเพิ่มขึ้นอย่างฉับพลันราบรื่นขึ้น ไมโครเบิร์สต์สามารถเข้าถึงอัตราบรรทัดได้เพียงไม่กี่มิลลิวินาที ซึ่งเติมเต็มคิวทางออกและบังคับให้ส่วนท้ายลดลง ในขณะที่กราฟเฉลี่ยยังคงแสดงลิงก์ว่ามีการโหลดเพียงเล็กน้อย คุณต้องมีคิวระดับมิลลิวินาที-และวางการวัดและส่งข้อมูลทางไกลเพื่อดูเหตุการณ์เหล่านี้

ถาม: ศูนย์ข้อมูล AI จำเป็นต้องมีสวิตช์บัฟเฟอร์เชิงลึก-หรือไม่

ตอบ: ปกติแล้วจะไม่อยู่บนแบ็กเอนด์ GPU บัฟเฟอร์ระดับลึกมีแนวโน้มที่จะปกปิดความแออัดและเพิ่มเวลาแฝง ซึ่งทำงานกับการส่งต่อเวลาแฝงต่ำที่คาดการณ์ได้- ซึ่งความต้องการการฝึกอบรมแบบกระจาย บัฟเฟอร์แบบลึกมีความเหมาะสมมากกว่าสำหรับบทบาท WAN, การกำหนดเส้นทาง หรือการรวมกลุ่ม สำหรับคลัสเตอร์ AI การวัดและส่งข้อมูลทางไกล การจัดสรรที่ยุติธรรม และ- ECN/PFC ที่ปรับแต่งมาอย่างดี โดยทั่วไปแล้วจะมีความสำคัญมากกว่าความลึกของบัฟเฟอร์ดิบ

ถาม: บัฟเฟอร์สวิตช์ส่งผลต่อประสิทธิภาพของ RoCEv2 อย่างไร

ตอบ: ใน RoCEv2 เกณฑ์บัฟเฟอร์จะตัดสินว่า ECN ทำเครื่องหมายแพ็กเก็ตเมื่อใด และเมื่อใดที่ PFC จะหยุดลำดับความสำคัญชั่วคราว หากตั้งค่าไว้อย่างดี ECN จะทำให้ผู้ส่งช้าลงก่อนเวลาและทำให้คิวตื้น ตั้งค่าได้ไม่ดี คิวล้นหรือ PFC ทริกเกอร์บ่อยเกินไป และกระจายความแออัด การปรับเกณฑ์บัฟเฟอร์ให้กับปริมาณงานเป็นหนึ่งในขั้นตอนที่สำคัญที่สุดในการทำให้พฤติกรรม RoCEv2 ดี

ถาม: ฉันควรตรวจสอบตัววัดบัฟเฟอร์ใดในการผลิต

ตอบ: ดูการเข้าคิว การลดลงส่วนท้ายและเอาท์พุต อัตราเครื่องหมาย ECN และเฟรมและระยะเวลาหยุดชั่วคราวของ PFC จากนั้นเชื่อมต่อสิ่งเหล่านั้นกับสัญญาณแอปพลิเคชัน เช่น เวลาที่โฟลว์เสร็จสิ้น และสำหรับ AI Fabric นั้น การใช้ GPU หากประสิทธิภาพของแอปพลิเคชันไม่ดีในขณะที่การใช้งานลิงก์โดยเฉลี่ยดูเป็นปกติ อาจเป็นไปได้ว่าอาจมีแรงกดดันบัฟเฟอร์ที่ซ่อนอยู่และไมโครเบิร์สต์

ประเด็นสำคัญ

บัฟเฟอร์สวิตช์มีบทบาทสำคัญในประสิทธิภาพของ AI และเครือข่ายศูนย์ข้อมูล แต่ความจุเพียงอย่างเดียวไม่ได้บอกคุณว่าสวิตช์เป็นตัวเลือกที่เหมาะสมหรือไม่ การออกแบบบัฟเฟอร์ที่ดีจะดูดซับการระเบิดที่สมจริง จำกัดการสูญเสียแพ็กเก็ต สามารถคาดเดาเวลาแฝงได้ รองรับการส่งสัญญาณ ECN และ PFC และเปิดเผยการวัดและส่งข้อมูลทางไกลที่เพียงพอในการแก้ไขปัญหา สำหรับศูนย์ข้อมูล AI ให้ประเมินสถาปัตยกรรมบัฟเฟอร์ร่วมกับการควบคุมความแออัด โหลดบาลานซ์ การจัดการคิว และพฤติกรรมของปริมาณงานจริงของคุณ ไม่ใช่ตัวเลขแยกบนแผ่นข้อมูลจำเพาะ

ก่อนที่คุณจะดำเนินการ ให้ทดสอบสวิตช์ภายใต้สภาวะ incast, microburst และความแออัด และดูว่าสวิตช์แชร์หน่วยความจำอย่างไรเมื่อการรับส่งข้อมูลไม่ยุติธรรม บัฟเฟอร์ที่ดีที่สุดไม่ใช่บัฟเฟอร์ที่ใหญ่ที่สุด เป็นสถาปัตยกรรมที่ช่วยให้แอปพลิเคชันของคุณรวดเร็ว ยุติธรรม และคาดเดาได้ภายใต้การรับส่งข้อมูลจริง

ส่งคำถาม