Server en switch connecteren over 40GbE - Technical fact
De laatste jaren is er heel wat technologische vooruitgang geboekt. Deze vooruitgang is overweldigend voor sommigen, terwijl het net spannend is voor anderen. We schreven een aantal boeiende en verrassende feitjes uit over technologie en uitdagingen die we tegenkwamen tijdens het werk. Dit in de hoop dat ze jou vooruit helpen. Je zult misschien verrast en verbaasd zijn over wat we ontdekten.
Wat was het probleem?
Draai je nog steeds op trage 10 GbE legacy-netwerken?
Dit lijkt een vreemde vraag, gezien we bestaande klanten nog steeds migreren van 1GbE naar 10GbE-technologie. De 10GbE ethernetstandaard werd echter voor het eerst geïntroduceerd in 2002! (Bijna 20 jaar geleden!)
Dit gezegd zijnde, hadden we onlangs een klant die zijn nieuwe Nutanix-configuratie wilde opzetten met behulp van 40GbE-standaarden in plaats van 10GbE. Niet zo gek, want de investering gebeurde voor 5 jaar. Over 5 jaar wordt 40GbE wellicht ook als standaard beschouwd (wie weet?).
Bij het opzetten van een Nutanix-omgeving, vooral I/O-intensieve omgevingen, valt er iets te zeggen over de keuze voor een netwerk met hoge snelheid (en lage latentie). Dit aangezien het storage verkeer ook over de ethernetkabels wordt verzonden. Omgevingen die afhankelijk zijn van flashopslag vinden soms hun nieuwe knelpunt bij ethernetsnelheden. Het is een eindeloze oefening om knelpunten te omzeilen, wetende dat elke keer dat er een wordt opgelost, er een nieuwe zal opduiken.
Voor mij was het vrij nieuw om deze machines via 40GbE te verbinden. Ik had veel vragen over transceivers, kabels, aansluitingen, etc. Het bleek dan ook best lastig om uit te zoeken hoe je deze apparaten precies met deze standaard kunt verbinden. Vandaar dus deze blog!
Kristof's aanpak: connectie server en switch over 40GbE
Laat ik aan de serverzijde beginnen. De Nutanix nodes (in dit geval, maar je kunt het veralgemenen naar “compute nodes”) hadden 40GbE Mellanox-adapters geconfigureerd. Zoals je op onderstaande afbeelding kunt zien, hebben deze 40GbE-adapters geen gewone SFP+- of SFP28- connectoren. De vormfactor van deze poorten (en transceivers) is QSFP28.
Zoals altijd worden dergelijke adapters niet geleverd met transceiver modules. De reden hierachter is dat je deze transceivers in veel verschillende smaken kan configureren (verschillende connectiviteit, verschillende afstandsondersteuning, enz…). Voor deze specifieke klant was de afstand tussen switch en servers minder dan 100 meter. Kijkend naar de datasheet van de adapter, kwamen we erachter dat voor 40GbE en een afstand tussen server en switch van minder dan 100m slechts 1 type transceiver geschikt was.
Onderstaande tabel bracht zeker enkele vragen met zich mee met betrekking tot de connectiviteit. Wat is deze SR4-standaard precies en wat zijn de MPO connectoren? Het werd duidelijk dat deze adapter geen LC-connectoren zou ondersteunen zoals we allemaal weten (de typische glasvezelkabels), maar we hadden “MPO-kabels” nodig. MPO-kabels (Multi-Fiber Push On) zijn aan beide uiteinden voorzien van MPO-connectoren. Een MPO-connector is een connector voor ribbon kabels met ten minste 8 fibers, die is ontworpen om multi- fiber connectiviteit in één connector te bieden ter ondersteuning van toepassingen met hoge bandbreedte en bekabeling met hoge dichtheid.
Nu we wisten dat we MPO-kabels nodig hadden, was er nog een hindernis te nemen. Er waren namelijk meerdere implementatiemethoden mogelijk, genaamd “polariteit“. De drie methoden voor de juiste polariteit gedefinieerd door de TIA 568 standaard worden genoemd als methode A, methode B en methode C. Om aan deze normen te voldoen, worden drie soorten MTP-fibers met verschillende structuren genaamd Type A, Type B en Type C gebruikt voor de respectievelijk drie verschillende connectiviteitsmethoden.
MTP Trunk-kabel Type A: Type A-kabel, ook wel rechte kabel genoemd, is een rechte kabel met een key-up MTP-connector aan het ene uiteinde en een key-down MTP-connector aan het andere uiteinde. Hierdoor hebben de fibers aan elk uiteinde van de kabel dezelfde positie van fiber. De fiber die zich bijvoorbeeld op positie 1 (P1) van de connector aan de ene kant bevindt, komt aan op P1 bij de andere connector. De volgorde van fiber van een MTP Type A-kabel met 12 fibers wordt als volgt weergegeven:
MTP Trunk-kabel Type B: Type B-kabel (omgekeerde kabel) gebruikt een key-up-connector aan beide uiteinden van de kabel. Dit type array koppeling resulteert in een inversie, wat betekent dat de posities van fibers aan elk uiteinde zijn omgekeerd. De fiber bij P1 aan het ene uiteinde is gepaard met fiber bij P12 aan het andere uiteinde. De volgende afbeelding toont de sequenties van fibers van een 12-vezel Type B-kabel.
MTP-trunkkabel Type C: Type C-kabel (paren omgedraaide kabel) ziet eruit als een type A-kabel met één key-up-connector en één key-down connector aan elke kant. Bij type C wordt elk aangrenzend paar fibers aan het ene uiteinde echter aan het andere uiteinde omgedraaid. Zo wordt de fiber op positie 1 aan het ene uiteinde verschoven naar positie 2 aan het andere uiteinde van de kabel. De fiber op positie 2 aan het ene uiteinde wordt verschoven naar positie 1 aan het andere uiteinde enz. De volgorde van fibers van Type C-kabel wordt gedemonstreerd in de volgende afbeelding.
In deze case moesten we een switch en een server aansluiten, waardoor we polariteit type B moesten implementeren. En raad eens: een juiste adapter, correcte transceivers aan zowel server- als switchzijde en correcte bekabeling met juiste polariteitsmethode gaven ons een stabiele verbinding! Na het nodige opzoekwerk, konden we deze case dus vlot tot een goed einde brengen.
Heb je behoefte aan meer informatie over dit onderwerp of kun je een ander IT-probleem niet zelf oplossen? Neem contact op, wij helpen je graag verder!