กระดูกสันหลัง 100G QSFP28-การออกแบบใบไม้: หลีกเลี่ยงข้อผิดพลาดในพอร์ต

โครงสร้างลีฟ 100G สไปน์-เป็นหนึ่งในวิธีที่เชื่อถือได้มากที่สุดในการเชื่อมต่อเซิร์ฟเวอร์ 25G, อัปลิงก์ 100G, คลัสเตอร์พื้นที่เก็บข้อมูล และปริมาณงานหนักทางตะวันออก-ตะวันตก-ในศูนย์ข้อมูลสมัยใหม่ ความน่าดึงดูดของ QSFP28 คือความยืดหยุ่น: พอร์ตเดียวสามารถพกพาลิงก์ 100G ดั้งเดิมหรือแยกออกเป็นการเชื่อมต่อเซิร์ฟเวอร์ 25G สี่การเชื่อมต่อ ดังนั้นสวิตช์ตัวเดียวจึงสามารถรองรับทั้ง access edge และแกนโครงสร้าง

สวิตช์ที่รวดเร็วเป็นส่วนที่ง่าย การออกแบบ 100G จะอยู่หรือตายไปขึ้นอยู่กับการตัดสินใจก่อนสั่งซื้อ: วิธีจัดสรรพอร์ตแต่ละพอร์ต อัตราส่วนการสมัครสมาชิกเกินจะเป็นอย่างไรภายใต้สภาวะปกติและความล้มเหลว ออพติคใดที่ตรงกับการเดินสายเคเบิลจริง ปริมาณความร้อนที่ออพติกเหล่านั้นเพิ่ม และแฟบริคสามารถเติบโตไปสู่ ​​400G โดยไม่ต้องอัพเกรดรถยกได้หรือไม่

คู่มือนี้เป็นข้อมูลอ้างอิงสำหรับผู้ขาย-การวางแผนที่เป็นกลางสำหรับทีมเครือข่ายและโครงสร้างพื้นฐาน รูปภาพด้านล่างนี้เป็นไปตามข้อกำหนดเฉพาะอีเธอร์เน็ต IEEE 802.3 ปัจจุบันและข้อตกลงออปติคอลหลาย-ที่เกี่ยวข้อง แต่สวิตช์และตัวรับส่งสัญญาณทุกตัวจะมีเอกสารข้อมูลของตัวเอง ดังนั้นโปรดยืนยันตัวเลขที่แน่นอนสำหรับฮาร์ดแวร์ที่คุณซื้อ

วิธีอ่านตัวอย่างในคู่มือนี้เว้นแต่จะระบุไว้เป็นอย่างอื่น พวกเขาถือว่า-เซิร์ฟเวอร์ตามบ้านเดี่ยวที่มี 25G NIC หนึ่งตัวต่อหนึ่งพอร์ตโฮสต์ 48 พอร์ตต่อลีฟ ลีฟ 100G- ไปยัง-อัปลิงก์สไปน์ เป็นเมชแบบเต็มที่ทุกลีฟเชื่อมต่อกับทุกสไปน์ และเปิดใช้งานการแก้ไขข้อผิดพลาดส่งต่อในกรณีที่ออปติกต้องการ การโฮมคู่- NIC ที่เร็วขึ้น หรือจำนวนพอร์ตที่แตกต่างกันจะเปลี่ยนทุกหมายเลขที่ตามมา

100G Spine-Leaf Network คืออะไร

สไปน์-ลีฟเป็นสถาปัตยกรรมศูนย์ข้อมูลสอง-ระดับที่สร้างขึ้นจากสวิตช์ลีฟและสวิตช์สไปน์ สวิตช์ Leaf จะอยู่ที่ด้านบนของแต่ละชั้นวางและมีพอร์ตที่หันไปทางเซิร์ฟเวอร์-พร้อมอัปลิงก์ไปยังสไปน์ สวิตช์แบบสไปน์เป็นแบ็คโบนความเร็วสูง- แต่ละใบไม้เชื่อมต่อกับทุกกระดูกสันหลัง ดังนั้นการจราจรระหว่างชั้นวางจะย้ายใบไม้หนึ่งไปยังอีกกระดูกสันหลังหนึ่งไปยังอีกใบไม้หนึ่งตามเส้นทางที่มีความยาวเท่ากัน-

การออกแบบนี้ได้รับความนิยมเนื่องจากมี:

• ความยาวเส้นทางที่คาดการณ์ได้และเท่ากันระหว่างสองชั้นวางใดๆ
• รองรับการจราจรหนาแน่นฝั่งตะวันออก-ฝั่งตะวันตก
• อัปลิงก์ทั้งหมดทำงานผ่าน ECMP แทนที่จะถูกบล็อกโดยการขยายแผนผัง
• มาตราส่วนแนวนอนอย่างง่าย - เพิ่มใบสำหรับพอร์ต เพิ่มสันสำหรับความจุ

ในแฟบริค 100G ลิงก์ลีฟ-ถึง-สันสันจะทำงานที่ 100G ในขณะที่พอร์ตที่หันเข้าหาเซิร์ฟเวอร์-จะทำงานที่ 10G, 25G, 50G หรือ 100G ขึ้นอยู่กับปริมาณงาน ปัจจุบัน การเข้าถึง 25G พร้อมอัปลิงก์ 100G เป็นการผสมผสานกันทั่วไปขององค์กร

การออกแบบทางกายภาพและการออกแบบเชิงตรรกะ

"การออกแบบเครือข่าย" ครอบคลุมสองชั้นที่ง่ายต่อการรวมเข้าด้วยกัน คู่มือนี้เน้นที่พอร์ตทางกายภาพและเลเยอร์ความจุ - ออพติก การสมัครสมาชิกเกิน การเดินสายเคเบิล - เพราะนั่นคือสิ่งที่คุณต้องทำเมื่อคุณซื้อฮาร์ดแวร์ แต่เลเยอร์ลอจิคัลจะตัดสินใจว่าแฟบริคส่งต่อการรับส่งข้อมูลอย่างไร และจะกำหนดทางเลือกทางกายภาพหลายประการ

ที่สวิตช์นั่งด้านข้างทางกายภาพและการเลือกพอร์ต ความเร็ว NIC การสมัครสมาชิกเกิน ระบบออปติก การเดินสายเคเบิล พลังงาน และการระบายความร้อน ในด้านลอจิคัล โหลด ECMP- ที่สมดุลระหว่างอัปลิงก์ การซ้อนทับ เช่น VXLAN พร้อมระนาบควบคุม BGP EVPN สำหรับเลเยอร์ 2 และเลเยอร์ 3 ของผู้เช่าหลาย- บนเลเยอร์ด้านล่างที่กำหนดเส้นทาง การกลับบ้านแบบคู่-ด้วย MLAG หรือ MC-LAG และ LACP ที่ขอบการเข้าถึง และความล้มเหลว-การกำหนดขนาดโดเมน สำหรับแฟบริค RDMA คุณยังต้องสร้างเครือข่ายที่เกือบ-สูญเสียข้อมูล ดังที่อธิบายไว้ด้านล่างนี้ ชำระโมเดลลอจิคัลตั้งแต่เนิ่นๆ เนื่องจากจะส่งผลต่อจำนวนอัปลิงก์ จำนวนสไปน์ที่คุณต้องการสำหรับความกว้าง ECMP และพิจารณาว่าใบไม้จะถูกปรับใช้เป็นคู่ MLAG หรือไม่

ขั้นตอนที่ 1 - กำหนดความเร็วและปริมาณงานของเซิร์ฟเวอร์

เริ่มต้นด้วยภาระงาน ไม่ใช่ด้านทัศนศาสตร์ คลัสเตอร์การจำลองเสมือนทั่วไป โครงสร้างการจัดเก็บข้อมูล และพ็อดการฝึกอบรม AI มีความต้องการที่แตกต่างกันมากและการออกแบบที่เหมาะสมจะเป็นไปตามการรับส่งข้อมูล

เซิร์ฟเวอร์ 25G พร้อมอัปลิงค์ 100G

สำหรับสภาพแวดล้อมระบบคลาวด์ขององค์กรและส่วนตัวส่วนใหญ่- การเข้าถึง 25G พร้อมอัปลิงก์ 100G{3}} ถึง{{4}สไปน์เป็นจุดที่น่าสนใจ: การก้าวกระโดดครั้งใหญ่บน 10G ในขณะที่ยังคงรักษา NIC, สายเคเบิล และสวิตช์ให้มีต้นทุนที่สมเหตุสมผล โครงสร้างทั่วไปจะจับคู่ดาวน์ลิงก์ 25G, อัปลิงก์ 100G และอัตราส่วน 2:1 ถึง 3:1 สำหรับการประมวลผลทั่วไป โดยมีการสมัครใช้งานเกินที่ต่ำกว่าที่สงวนไว้สำหรับพื้นที่เก็บข้อมูลและ-ระดับที่มีความละเอียดอ่อนในการตอบสนอง มันเหมาะกับระบบเสมือนจริง, คลาวด์ส่วนตัว, ระดับเว็บ และศูนย์ข้อมูลองค์กรจำนวนมาก

Native 100G สำหรับพื้นที่จัดเก็บข้อมูล, AI และ HPC

ปริมาณงานบางอย่างต้องใช้ 100G แบบเนทีฟไปยังเซิร์ฟเวอร์: แบบกระจายและพื้นที่เก็บข้อมูล NVMe-, การฝึกอบรม AI และแมชชีนเลิร์นนิง-, HPC, การวิเคราะห์-ขนาดใหญ่ และ-เวลาแฝงต่ำ RDMA การสมัครรับข้อมูลเกินควรอยู่ในระดับต่ำ - มักจะไม่-ปิดกั้นหรือปิด - เนื่องจากรูปแบบการรับส่งข้อมูลเป็นปัญหา ไม่ใช่แค่ปริมาณเท่านั้น

ปริมาณงาน AI, HPC และ RDMA สร้างการรับส่งข้อมูลที่หนาแน่นและซิงโครไนซ์ทั้งหมด-ถึง-ตะวันออกทั้งหมด- ตะวันตก: โหนดจำนวนมากส่งไปยังหลายโหนดในเวลาเดียวกัน ดังนั้นการปรับให้เรียบทางสถิติที่ช่วยคุณประหยัดบนแฟบริคการจำลองเสมือนจึงไม่มีผลอีกต่อไป RDMA บน Converged Ethernet (RoCE) เพิ่มข้อจำกัดที่สอง เนื่องจากคาดว่าจะมีแฟบริคที่เกือบจะ-สูญเสีย ซึ่งในทางปฏิบัติหมายถึง Priority Flow Control (PFC) และการแจ้งเตือนความแออัดอย่างชัดเจน (ECN) ได้รับการปรับแต่งตั้งแต่ต้นจนจบ โครงสร้างที่ทำให้เฟรมตกภายใต้ความแออัดจะดูการล่มสลายของประสิทธิภาพ RoCE ดังนั้นคลัสเตอร์เหล่านี้มักจะสร้างขึ้นที่ 1:1 โดยมีบัฟเฟอร์อย่างระมัดระวังและการกำหนดค่าความแออัด

ขั้นตอนที่ 2 - วิธีคำนวณพอร์ตสวิตช์ Leaf และ Spine สำหรับแฟบริค 100G

การวางแผนท่าเรือเริ่มต้นที่ใบไม้ ไม่ใช่กระดูกสันหลัง ทำงานนอกเซิร์ฟเวอร์:

1. นับเซิร์ฟเวอร์-พอร์ตต่อแร็ค
2. ตัดสินใจว่าแต่ละรายการเป็นแบบเนทิฟ 25G, เนทิฟ 100G หรือช่องทางแยก
3. สำรองพอร์ต QSFP28 สำหรับการอัปลิงก์สไปน์
4. เพิ่มพอร์ตสำรองสำหรับการเติบโต ความซ้ำซ้อน การทดสอบ และการเปลี่ยนทดแทน
5. คำนวณการสมัครรับข้อมูลเกินกำหนดใหม่หลังจากมอบหมายการแบ่งส่วน ไม่ใช่ก่อนหน้า

นับเซิร์ฟเวอร์-พอร์ตที่หันหน้าเข้าหากัน

สำหรับแต่ละแร็ค ให้ปักหมุดจำนวนเซิร์ฟเวอร์ ความเร็ว NIC NIC ต่อเซิร์ฟเวอร์ โฮม- หรือคู่- และอะไหล่ที่จำเป็น แร็คเซิร์ฟเวอร์ 48 เครื่องที่มี 25G NIC หนึ่งเครื่อง แต่ละตัวต้องการพอร์ตโฮสต์ 48 พอร์ต ดูอัล-เซิร์ฟเวอร์เหล่านั้นเป็นคู่ลีฟและจำนวนพอร์ตการเข้าถึงในทั้งคู่จะเพิ่มเป็นสองเท่า

จองพอร์ตอัปลิงก์ และดูจำนวนสองเท่า{0}}

หลังจากพอร์ตโฮสต์ ให้จองพอร์ต QSFP28 สำหรับสไปน์ นี่คือจุดที่ข้อผิดพลาดที่พบบ่อยที่สุดซ่อนอยู่: หากใช้พอร์ต QSFP28 เดียวกันสำหรับการแยกย่อย 4x25G พอร์ตเหล่านั้นจะไม่สามารถใช้เป็นอัปลิงก์ได้อีกต่อไป ข้อผิดพลาดในการวางแผนที่ใหญ่ที่สุดเพียงอย่างเดียวไม่ใช่การนับอัปลิงก์ 100G ผิด แต่เป็นการประเมินค่าพอร์ตอัปลิงก์ที่เหลือสูงเกินไปเมื่อเบรกเอาท์กินเข้าไปในพอร์ตเหล่านั้น กำหนดฝ่าวงล้อมก่อนคณิตศาสตร์เกินจำนวนหรืออัตราส่วนที่คุณคำนวณเป็นนิยาย

ตัวอย่างการทำงานช่วยได้ ใช้ลีฟ 1U ทั่วไปที่มีพอร์ตโฮสต์ SFP28 48 พอร์ตและพอร์ต QSFP28 8 พอร์ต:

ด้วยอัปลิงค์หกตัวที่รองรับการรับส่งข้อมูลการเข้าถึง 1,200G ลีฟจะทำงานที่ 2:1 และพอร์ต QSFP28 สองพอร์ตยังคงสงวนไว้ ให้ทุกพอร์ตมีบทบาทเดียวที่ชัดเจนในสเปรดชีตก่อนที่คุณจะกำหนดขนาดสิ่งอื่นใด

เหลือความจุไว้

อย่าใช้ทุกพอร์ตในวันแรก สำรองพื้นที่ว่างสำหรับเซิร์ฟเวอร์ใหม่ สไปน์พิเศษ ลิงก์ทดสอบชั่วคราว -การสลับพอร์ตที่ล้มเหลว การแตะตรวจสอบ และการย้ายข้อมูล ความจุที่ไม่ได้ใช้เพียงเล็กน้อยมีราคาถูกกว่าการออกแบบใหม่มาก

ขั้นตอนที่ 3 - คำนวณ Oversubscription รวมถึง N-1

Oversubscription จะเปรียบเทียบแบนด์วิดท์ที่เซิร์ฟเวอร์-เผชิญบนลีฟกับแบนด์วิดท์อัปลิงก์ทั้งหมดไปยังสไปน์:

อัตราส่วนการสมัครสมาชิกเกิน=แบนด์วิดธ์ดาวน์ลิงก์ทั้งหมด / แบนด์วิดท์อัปลิงก์ทั้งหมด

สำหรับใบไม้ด้านบน 48 x 25G=1 ลง 200G และ 6 x 100G=600G ขึ้น ให้ 1,200 / 600=2:1 นั่นหมายถึงแบนด์วิดท์การเข้าถึงตามทฤษฎีเป็นสองเท่าของแบนด์วิดท์อัปลิงก์ - ซึ่งปกติแล้วจะใช้ได้ดีสำหรับการประมวลผลทั่วไป โดยที่เซิร์ฟเวอร์แทบจะไม่ส่งทั้งหมดในอัตราสายพร้อมกัน แต่มีข้อจำกัดที่แท้จริงสำหรับพื้นที่เก็บข้อมูล, AI, HPC และ RDMA

ตรวจสอบกรณี N-1 เสมอ

ผ้าอาจดูแข็งแรงในการทำงานตามปกติและอาจทำให้หายใจไม่ออกในระหว่างที่เกิดการขัดข้อง พิจารณาใบไม้ที่มีอัปลิงก์ 100G แปดตัวกระจายเท่าๆ กันทั่วทั้งสี่กระดูกสันหลัง - สองอันต่อกระดูกสันหลัง รวมเป็น 800G ดังนั้นการเข้าถึง 1,200G จะให้ 1.5:1 สูญเสียกระดูกสันหลังไปหนึ่งอันและลีฟจะดรอปอัปลิงก์สองครั้งเป็น 600G โดยดันอัตราส่วนเป็น 2:1 ตลอดระยะเวลาที่ไฟดับ หากเป้าหมายของคุณคือ "ไม่แย่ไปกว่า 2:1 แม้ว่าจะล้มเหลวก็ตาม" คุณต้องเริ่มที่ใกล้ 1.5:1 คำนวณทั้งอัตราส่วนปกติและอัตราส่วน N-1 หลังจากสูญเสียกระดูกสันหลังหรืออัปลิงค์ไปหนึ่งอัน เลขตัวที่สองคือตัวที่กัดระหว่างการบำรุงรักษา

ช่วงการวางแผนตามปริมาณงาน

ไม่มีอัตราส่วนสากล ดังนั้นให้ถือว่าสิ่งต่อไปนี้เป็นช่วงการวางแผน ไม่ใช่มาตรฐาน และตรวจสอบกับการรับส่งข้อมูลที่วัดได้ซึ่งคุณทำได้:

ในการอัปเกรด ให้ตรวจสอบการใช้งานอัปลิงก์ในปัจจุบัน รูปแบบจุดสูงสุดและตะวันออก- กระแสพื้นที่เก็บข้อมูล และหน้าต่างการสำรองข้อมูล ก่อนที่จะกำหนดอัตราส่วน

ขั้นตอนที่ 4 - เลือกออปติกและสายเคเบิล QSFP28

QSFP28 100อินเทอร์เฟซ G ได้รับมาตรฐานโดย IEEE 802.3 -การแก้ไข 802.3bmเพิ่ม 100GBASE-SR4 ควบคู่ไปกับโหมดเดี่ยว- LR4 PHY เลือกออปติกตามระยะทาง ประเภทไฟเบอร์ ตัวเชื่อมต่อ กำลังไฟ และความเข้ากันได้ของสวิตช์ และต้านทานการผิดนัดที่ระยะการเข้าถึงที่ยาวที่สุด: ระยะที่คุณไม่จำเป็นต้องมักจะหมายถึงต้นทุนและกำลังไฟที่คุณไม่ต้องการ จับคู่โมดูลกับการรันด้วยระยะขอบที่เหมาะสม

DAC และ AOC สำหรับลิงก์เซิร์ฟเวอร์แบบสั้น

สำหรับการเชื่อมต่อแร็คใน-แร็คและที่อยู่ติดกัน- การต่อสายทองแดง (DAC) โดยตรงของ QSFP28- และสายออปติคัลแบบแอคทีฟ (AOC) นั้นใช้งานได้จริง Passive DAC เหมาะกับการกระโดดที่สั้นที่สุด - สองสามเมตร - ด้วยต้นทุนและพลังงานที่ต่ำที่สุด ในขณะที่ AOC ขยายการเข้าถึงและเบากว่าและยืดหยุ่นมากกว่าในกรณีที่ปริมาณทองแดงกลายเป็นปัญหา สำหรับการเข้าถึง 25G DAC หรือ AOC แบบฝ่าวงล้อม QSFP28 ถึง 4x SFP28 จะเป็นเรื่องปกติเมื่อสวิตช์รองรับการฝ่าวงล้อม

100GBASE-SR4 สำหรับการอัปลิงก์มัลติโหมดแบบสั้น

SR4 บรรทุกได้ 100Gแปดเส้นใยของมัลติโหมดแบบขนานการใช้ตัวเชื่อมต่อ MPO/MTP ซึ่งทำให้เป็นตัวเลือก-ที่คุ้มค่าสำหรับเส้นทางใบสั้น-ถึง-การวิ่งกระดูกสันหลังภายในแถว ระยะการเข้าถึงขึ้นอยู่กับเกรดไฟเบอร์ - ประมาณ 70 ม. บน OM3 และ 100 ม. บน OM4 - ดังนั้นจึงคุ้มค่าที่จะทราบระยะการเข้าถึงที่คุณคาดหวังได้ไฟเบอร์มัลติโหมด OM3, OM4 และ OM5ในชั้นของคุณ ข้อจำกัดในการวางแผนหลักคือการวางสายเคเบิลแบบขนาน: ต้องมีการแก้ไข MPO และขั้วไฟฟ้าล่วงหน้า

CWDM4 หรือ FR สำหรับโหมดเดี่ยว-วิ่งไปประมาณ 2 กม

สำหรับการเชื่อมต่อ-แถว อินเตอร์-ห้อง หรือ-การเชื่อมต่อระหว่างห้องโถง เลนส์โหมดเดี่ยว- เช่น CWDM4 หรือ FR จะเหมาะสมกว่า ที่100G CWDM4 MSAกำหนดระยะการเข้าถึง 2 กม. บนไฟเบอร์โหมดเดี่ยว- คู่เดียวด้วยตัวเชื่อมต่อ LC แบบดูเพล็กซ์และ FEC เนื่องจากพวกมันใช้ไฟเบอร์ดูเพล็กซ์แทน MPO แบบขนาน เลนส์ CWDM4 และ FR จึงมักจะหล่นลงในโรงงานโหมดเดียว-สะอาดกว่า SR4 - และในระยะทางเหล่านั้นจึงมีตัวเลือกระหว่างOS1 และ OS2 ไฟเบอร์โหมดเดี่ยว-เริ่มมีความสำคัญต่องบประมาณการสูญเสียของคุณ โหมดเดี่ยว-ที่สั้นกว่า เช่น DR ครอบคลุมระยะทางประมาณ 500 ม. ตามที่คุณต้องการ

100GBASE-LR4 สำหรับวิทยาเขตและ DCI

LR4 เป็นตัวเลือกการเข้าถึงระยะไกล-โดยรองรับ 100Gสูงสุดประมาณ 10 กม. บนไฟเบอร์โหมดดูเพล็กซ์-เดียวสำหรับวิทยาเขต การสร้าง-ถึง-การสร้าง หรือ-ศูนย์-การเชื่อมโยงระหว่างข้อมูล ใช้มันเฉพาะเมื่อระยะทางเรียกร้องอย่างแท้จริงเท่านั้น เลนส์เข้าถึง-ระยะไกลบน-ข้อมูล-ภายในระยะสั้นเพียงเพิ่มต้นทุน พลังงาน และความร้อนโดยไม่ต้องปรับปรุงโครงสร้าง

QSFP28 100การเปรียบเทียบ G Optics

ตารางสรุปว่าแต่ละตัวเลือกเหมาะสมตรงไหน ถือว่าระยะเอื้อมเป็นตัวเลขในการวางแผนทั่วไป และยืนยันจำนวนที่แน่นอน เกรดไฟเบอร์ และข้อกำหนด FEC ในเอกสารข้อมูลของแต่ละโมดูล

ตัวอย่างการทำงาน: ผ้าขนาดเล็ก กลาง และใหญ่

สิ่งเหล่านี้คือแบบจำลองการวางแผนแบบง่าย ไม่ใช่พิมพ์เขียว โดยปกติแล้วจำนวนกระดูกสันหลังจะถูกเลือกเพื่อแบ่งอัปลิงก์เท่าๆ กันและตั้งค่าความกว้างของ ECMP โดยสองหนามเป็นค่าต่ำสุดที่ใช้งานได้จริงสำหรับความซ้ำซ้อน สี่หนามจะให้รายละเอียด N-1 ที่ละเอียดกว่าและการกระจายโหลดที่ดีกว่า และแปดหนามเหมาะกับผ้าขนาดใหญ่ Leaf count ปรับขนาดด้วยพอร์ตเซิร์ฟเวอร์ที่คุณต้องการ

ผ้าผืนเล็ก

• สวิตช์ใบไม้ 8 อัน
• สวิตช์กระดูกสันหลัง 2 อัน
• พอร์ตเซิร์ฟเวอร์ 48 x 25G ต่อลีฟ
• อัปลิงก์ 4 x 100G ต่อลีฟ
• พอร์ตเซิร์ฟเวอร์ 25G แบบโฮม 384 เดี่ยว-

ต่อใบ: ลดลง 1,200G, ขึ้นไป 400G ดังนั้น 3:1 ใช้งานได้กับการประมวลผลทั่วไป แต่แน่นหนาสำหรับการจัดเก็บข้อมูลหนักหรือ AI เพิ่มอัปลิงค์หรือตัดแต่งการเข้าถึงต่อลีฟ หากคุณต้องการอัตราส่วนที่ต่ำกว่า

ผ้าขนาดกลาง

• สวิตช์ใบไม้ 16 อัน
• สวิตช์กระดูกสันหลัง 4 อัน
• พอร์ตเซิร์ฟเวอร์ 48 x 25G ต่อลีฟ
• อัปลิงก์ 6 x 100G ต่อลีฟ
• 768 พอร์ตเซิร์ฟเวอร์ 25G แบบโฮม{1}}เดี่ยว

ต่อใบ: ลดลง 1,200G, ขึ้นไป 600G ดังนั้น 2:1 ความสมดุลที่มั่นคงสำหรับการจำลองเสมือนและปริมาณงานขององค์กร และกระดูกสันหลังทั้งสี่กระจาย ECMP ได้ดีกว่าสองกระดูกสันหลัง

ผ้าผืนใหญ่

• สวิตช์ใบไม้ 32 อัน
• สวิตช์กระดูกสันหลัง 8 อัน
• พอร์ตเซิร์ฟเวอร์ 48 x 25G ต่อลีฟ
• อัปลิงก์ 8 x 100G ต่อลีฟ
• พอร์ตเซิร์ฟเวอร์ 25G แบบโฮม{2}} เดี่ยว 1,536 พอร์ต

ต่อใบ: ลง 1,200G, ขึ้นไป 800G ดังนั้น 1.5:1 พื้นที่ส่วนหัวของอัปลิงค์มากขึ้น แต่มีออปติก ไฟเบอร์ ต้นทุน พลังงาน และสายเคเบิลที่ต้องจัดการมากขึ้น ในระดับนี้ เอกสารประกอบเป็นส่วนหนึ่งของการออกแบบ: การติดฉลาก แผนที่พอร์ต ขั้ว เลนส์สำรอง การไหลเวียนของอากาศ และการตรวจสอบ ทั้งหมดจะต้องได้รับการวางแผนก่อนการติดตั้ง

การวางแผนฝ่าวงล้อม QSFP28 (100G ถึง 4x25G)

Breakout เป็นส่วนหนึ่งของการออกแบบ QSFP28 ที่มีประโยชน์ที่สุดและเข้าใจผิดมากที่สุด ในกรณีที่สวิตช์ สายเคเบิล และการกำหนดค่าอนุญาต พอร์ต QSFP28 หนึ่งพอร์ตจะแยกออกเป็นลิงก์ 25G SFP28 สี่ลิงก์ เชื่อมต่อเซิร์ฟเวอร์ 25G สี่เซิร์ฟเวอร์จากพอร์ต 100G เดียว โดยจะมาแทนที่เมื่อคุณต้องการความหนาแน่น 25G สูง มีพอร์ต QSFP28 จำนวนมาก ต้องการลดต้นทุนต่อการเชื่อมต่อเซิร์ฟเวอร์ หรือกำลังสร้างแฟบริค 25G/100G แบบเปลี่ยนผ่าน โดยใช้ QSFP28-to-4x SFP28 DAC, AOC หรือสายเคเบิลแยก MTP/MPOขึ้นอยู่กับระยะทาง

สิ่งที่จับได้ก็คือการฝ่าวงล้อมใช้พอร์ต QSFP28 หากสวิตช์ QSFP28 พอร์ต 32- กำหนดพอร์ต 16 พอร์ตไว้โดยเฉพาะสำหรับการแยก 4x25G พอร์ต 16 พอร์ตเหล่านั้นจะรองรับเซิร์ฟเวอร์ 64 เครื่อง แต่มีเพียงพอร์ต QSFP28 เพียง 16 พอร์ตเท่านั้นที่ยังคงอยู่สำหรับอัปลิงก์ พื้นที่เก็บข้อมูล การเชื่อมต่อระหว่างกัน และอะไหล่ หลักการทั่วไปคือการนับพอร์ตที่แยกออกก่อน จากนั้นจึงนับจำนวนที่เหลือสำหรับการอัปลิงก์

ก่อนที่คุณจะตัดสินใจ ให้ยืนยันบางสิ่ง และตัดสินใจตั้งแต่เนิ่นๆ ว่าการวิ่งแต่ละครั้งควรเป็น a หรือไม่ลำตัวหรือชุดประกอบการฝ่าวงล้อม:

• พอร์ตใดบ้างที่รองรับการแยกย่อย และมีข้อจำกัดกลุ่มพอร์ต-หรือไม่
• การเปิดใช้งานการฝ่าวงล้อมจะปิดใช้งานพอร์ตที่อยู่ติดกันหรือไม่
• ระบบปฏิบัติการสวิตช์รองรับโหมดที่คุณต้องการหรือไม่?
• DAC, AOC หรือเลนส์ฝ่าวงล้อมสำหรับการวิ่งแต่ละครั้ง?
• จำเป็นต้องใช้ทั้งสี่เลนตอนนี้หรือหลังจากนั้นเท่านั้น?
• การฝ่าวงล้อมจะส่งผลต่อการย้ายไปยังเซิร์ฟเวอร์เนทิฟ 100G ในอนาคตอย่างไร

การจัดการพลังงาน การระบายความร้อน และสายเคเบิล

แฟบริค 100G ผลิตมากกว่าแบนด์วิดท์ - ซึ่งสร้างความร้อน ปริมาณการไหลเวียนของอากาศ และความหนาแน่นของสายเคเบิล การกำหนดงบประมาณด้านพลังงานควรครอบคลุมแชสซีสวิตช์และพัดลม โมดูลออปติคัล QSFP28 (และ DAC หรือ AOC ในกรณีที่ใช้) การจ่ายไฟสำรอง ความจุระดับชั้นวาง- และอัตราการเติบโต การระบายความร้อนควรคำนึงถึงรูปแบบทางเดินร้อน- และเย็น-ทางเดินด้านหน้า-ไป-ด้านหลังหรือด้านหลัง-ไปยัง-การไหลเวียนของอากาศด้านหน้า แผงกั้น การอุดตันของสายเคเบิล อุณหภูมิโดยรอบ และ-การตรวจสอบอุณหภูมิของโมดูล เนื่องจากกระดูกสันหลังที่อัดแน่นไปด้วยเลนส์เป็นภาระความร้อนที่แท้จริง

การเดินสายเคเบิลปรับขนาดได้รวดเร็ว: 16 ใบถึง 4 สัน ตอนนี้มีลิงก์ลีฟ-ถึง- 64 ลิงก์แล้ว ซึ่งแต่ละลิงก์ต้องมีป้ายกำกับ กำหนดเส้นทาง ทดสอบ และจัดทำเอกสาร ผ้าตาข่ายแบบเต็ม-นั้นสร้างและบำรุงรักษาได้ง่ายกว่ามากโดยที่ต้องมีการตัด-ล่วงหน้าสายเคเบิลลำตัว MPO/MTPกว่าการใช้ไฟเบอร์แบบปิดภาคสนาม- ทีมควรจัดโครงสร้างตัวเชื่อมต่อและขั้วไว้ล่วงหน้า ที่ความแตกต่างในทางปฏิบัติระหว่าง MTP และ MPOคุ้มค่าที่จะยืนยันก่อนสั่งซื้อ เอกสารที่เลอะเทอะไม่มีค่าใช้จ่ายในวันแรกและมีค่าใช้จ่ายมากมายในระหว่างการหยุดทำงานครั้งแรก

การออกแบบสำหรับการอัพเกรด 400G

ออกแบบผ้าด้วยเส้นทางการอัพเกรดที่สมจริง คุณไม่จำเป็นต้องมี 400G ทุกที่ในวันแรก แต่คุณควรหลีกเลี่ยงตัวเลือกที่ทำให้การเคลื่อนไหวเจ็บปวดในภายหลัง เริ่มคิดถึงความพร้อมของ 400G เมื่อสไปน์อัปลิงก์ถูกโหลดอย่างหนักอยู่แล้ว เมื่อการเพิ่มสไปน์ 100G เข้าไปนั้นเริ่มจะอึดอัด เมื่อจำนวนเส้นทาง ECMP ใกล้ถึงขีดจำกัดของแพลตฟอร์ม หรือเมื่อ AI พื้นที่เก็บข้อมูล หรือการเติบโต-ตะวันตกตะวันออกกำลังเร่งตัวขึ้น

กลยุทธ์ปกติคือการอัพเกรดสไปน์ก่อน: ปล่อยให้อัปลิงก์ 100G ของมันไว้ในขณะที่สไปน์ที่มีความจุสูงกว่า- - โดยใช้พอร์ตเช่นQSFP-DD- เพิ่มพื้นที่ว่าง โดยมักจะมีพอร์ต 400G ที่แยกออกเป็น 4x100G กลับไปทางใบไม้ที่มีอยู่ วิถีที่กว้างขึ้นถูกกำหนดโดยอุตสาหกรรม:แผนงานของพันธมิตรอีเธอร์เน็ตปัจจุบันทำงานผ่าน 400G, 800G และอื่นๆ อีกมากมาย ซึ่งส่วนใหญ่ขับเคลื่อนโดย AI เมื่อคุณประเมินสวิตช์ ให้ตรวจสอบว่าแพลตฟอร์มรองรับความเร็ว ออพติก โหมดแยก และคุณสมบัติของซอฟต์แวร์ที่จำเป็นต้องมีการอัปเกรดแบบเป็นขั้นตอน

เมื่อสัน 100G-แบบใบไม้ไม่ใช่ตัวเลือกที่เหมาะสม

การออกแบบนี้ไม่เป็นสากล และบางกรณีจำเป็นต้องมีอย่างอื่น เซิร์ฟเวอร์จำนวนไม่มากในแร็คหนึ่งหรือสองแร็คแทบจะไม่สามารถจัดวางโครงสร้างลีฟแบบเต็ม-ได้ โดยที่สวิตช์สำรองคู่หนึ่งจะง่ายกว่าและราคาถูกกว่า กลุ่มการฝึกอบรม AI ที่มีขนาดใหญ่มากอาจก้าวข้ามสิ่งที่การเข้าถึง 100G และโครงสร้างกระดูกสันหลัง 100G ได้ดี โดยลงจอดบนแฟบริค 400G หรือ 800G - หรือแม้แต่เครือข่าย InfiniBand เฉพาะ - ตั้งแต่เริ่มต้น และหากการรับส่งข้อมูลเกือบทั้งหมดอยู่ทางเหนือ-ทางใต้ไปยังเกตเวย์แทนที่จะเป็นตะวันออก-ทางตะวันตกระหว่างชั้นวาง ทิศตะวันออก-ข้อได้เปรียบทางทิศตะวันตกของกระดูกสันหลัง-มีความสำคัญน้อยกว่า ดังนั้นโทโพโลยีจึงควรได้รับการพิสูจน์โดยการเติบโตและพื้นฐานการดำเนินงานมากกว่าที่คิดไว้ จับคู่สถาปัตยกรรมกับการจราจรและขนาด ไม่ใช่อย่างอื่น

กระดูกสันหลัง 100G ทั่วไป-ข้อผิดพลาดในการออกแบบใบไม้

• การนับพอร์ต QSFP28 สองครั้งพอร์ตเป็นแบบแยก 4x25G หรืออัปลิงก์ 100G ไม่ใช่ทั้งสองอย่าง ให้ทุกพอร์ตมีบทบาทเดียว
• การเลือกเลนส์ตามระยะการเข้าถึงสูงสุดการเข้าถึงที่ยาวขึ้นจะเพิ่มต้นทุนและพลังงาน จับคู่เลนส์กับระยะและประเภทของไฟเบอร์จริง
• ไม่สนใจ N-1ตรวจสอบอัตราส่วนระหว่างการทำงานปกติและหลังการสูญเสียกระดูกสันหลัง
• ลืมพลังงานแสงและความร้อนไปได้เลยกระดูกสันหลังที่เต็มไปด้วยโมดูล QSFP28 เป็นภาระความร้อนที่แท้จริง ดังนั้นให้รวมระบบออพติกไว้ในการคำนวณกำลังและการทำความเย็นด้วย
• การปฏิบัติต่อสายเคเบิลเป็นสิ่งภายหลังการกำหนดเส้นทาง การติดฉลาก ขั้ว และเอกสารประกอบเป็นของการออกแบบ ไม่ใช่การติดตั้ง
• การออกแบบสำหรับความเร็วเซิร์ฟเวอร์ในปัจจุบันเท่านั้นหากการเข้าถึง 25G เปลี่ยนเป็น 100G ให้เหลือที่ว่างสำหรับกระดูกสันหลัง 100G หรือ 400G

บทสรุป

การออกแบบลีฟ 100G ที่ดี-คือผลรวมของการตัดสินใจก่อนที่ฮาร์ดแวร์จะมาถึง: กำหนดปริมาณงาน นับพอร์ตอย่างถูกต้อง คำนวณการสมัครสมาชิกเกินทั้งภายใต้สภาวะปกติและความล้มเหลว เลือกเลนส์ตามระยะทาง จงใจวางแผนแยกย่อย จัดสรรงบประมาณสำหรับพลังงานและความเย็น และเหลือที่ว่างไว้สำหรับ 400G สำหรับศูนย์ข้อมูลองค์กรส่วนใหญ่ การเข้าถึง 25G พร้อมอัปลิงก์ 100G QSFP28 ยังคงมีสมดุลที่แข็งแกร่งระหว่างประสิทธิภาพ ต้นทุน และขนาด ในขณะที่พื้นที่จัดเก็บข้อมูล AI และ HPC ต้องการการสมัครสมาชิกที่ต่ำกว่าและการตรวจสอบที่เข้มงวดยิ่งขึ้น วิธีการที่เชื่อถือได้ไม่เปลี่ยนแปลง: การออกแบบจากเซิร์ฟเวอร์ภายนอก พิสูจน์คณิตศาสตร์ภายใต้เงื่อนไขปกติและ N-1 และจัดทำเอกสารทุกลิงก์ก่อนปรับใช้