▼
Scroll to page 2
of
79
Manuel d'utilisation NetXtreme-E Broadcom® NetXtreme-C et NetXtreme-E MANUEL D'UTILISATION NetXtreme-E-UG100 26 février 2018 Historique des révisions Révision Date Modification de la description NetXtreme-E-UG100 26/02/2018 Version initiale pour 20.6. © 2018 par Broadcom. Tous droits réservés. Broadcom®, le logo Impulsion, Connecting everything®, Avago Technologies et le logo A sont des marques de Broadcom et/ou de ses filiales aux Etats-Unis et dans d'autres pays et/ou dans l'UE. Le terme « Broadcom » fait référence à Broadcom Limited et/ou à ses filiales. Pour plus d'informations, rendez-vous sur www.broadcom.com. Broadcom se réserve le droit de modifier sans préavis ses produits ou les données du présent document en vue d'en améliorer la fiabilité, le fonctionnement ou la conception. Les informations fournies par Broadcom sont censées être précises et fiables. Cependant, Broadcom ne se porte pas garant de l'application et de l'utilisation desdites informations ni de l'application et de l'utilisation de tout produit ou circuit décrit dans les présentes. Broadcom ne cède pas non plus de licence au titre de ses droits de propriété industrielle ni au titre des droits de tout autre tiers. Manuel d’utilisation NetXtreme-E Table des matières Table des matières Autorisations réglementaires et homologations de sécurité................................................................... 7 Réglementation ....................................................................................................................................... 7 Sécurité ................................................................................................................................................... 7 Compatibilité électromagnétique (EMC).................................................................................................. 8 Conformité aux normes relatives aux décharges électrostatiques (ESD) ............................................... 8 Déclaration de la FCC ............................................................................................................................. 8 Description du fonctionnement .................................................................................................................. 9 Indication de liaison au réseau et d'activité du réseau .......................................................................... 14 BCM957402AXXXX/BCM957412AXXXX ............................................................................................. 14 BCM957404AXXXX/BCM957414AXXXX ............................................................................................. 15 BCM957406AXXXX/BCM957416AXXXX ............................................................................................. 16 BCM957414M4140D............................................................................................................................. 17 BCM957412M4120D............................................................................................................................. 18 BCM957416M4160 ............................................................................................................................... 19 Spécifications ............................................................................................................................................. 20 Fonctions logicielles et matérielles........................................................................................................ 20 Fonctions de virtualisation..................................................................................................................... 21 VXLAN................................................................................................................................................... 22 NVGRE/GRE/IP-in-IP/Geneve .............................................................................................................. 22 Déchargements sans état ..................................................................................................................... 22 RSS................................................................................................................................................ 22 TPA ................................................................................................................................................ 22 Répartition En-tête/Charge utile (Header-Payload Split) ............................................................... 23 Déchargement de la fragmentation UDP .............................................................................................. 23 Déchargement du tunnel de transport sans état ................................................................................... 23 Prise en charge de multiples files d'attente pour SE ............................................................................. 23 NDIS VMQ ..................................................................................................................................... 23 VMWare NetQueue........................................................................................................................ 24 KVM/Xen Multiqueue ..................................................................................................................... 24 Matrice de prise en charge des configurations SR-IOV ........................................................................ 24 SR-IOV .................................................................................................................................................. 24 Partitionnement réseau (NPAR)............................................................................................................ 24 RDMA over Converge Ethernet – RoCE ............................................................................................... 25 Combinaisons prises en charge ............................................................................................................ 25 NPAR, SR-IOV et RoCE ................................................................................................................ 25 NPAR, SR-IOV et DPDK................................................................................................................ 26 Combinaisons non prises en charge.............................................................................................. 26 26 février 2018 • NetXtreme-E-UG100 Page 3 Manuel d’utilisation NetXtreme-E Table des matières Installation du matériel .............................................................................................................................. 27 Mesures de sécurité .............................................................................................................................. 27 Configuration système........................................................................................................................... 27 Configuration matérielle requise .................................................................................................... 27 Liste de vérification avant l'installation ........................................................................................... 27 Installation de la carte ........................................................................................................................... 28 Connexion des câbles réseau ............................................................................................................... 28 Câbles et modules pris en charge.................................................................................................. 28 Cuivre............................................................................................................................................. 29 SFP+ .............................................................................................................................................. 29 SFP28 ............................................................................................................................................ 29 Progiciels et installation ............................................................................................................................ 30 Systèmes d'exploitation pris en charge ................................................................................................. 30 Installation des pilotes ........................................................................................................................... 30 Windows......................................................................................................................................... 30 Dell DUP ................................................................................................................................ 30 Installation de l'interface graphique utilisateur ....................................................................... 30 Installation silencieuse ........................................................................................................... 30 Installation des fichiers INF .................................................................................................... 30 Linux............................................................................................................................................... 31 Installation du module ............................................................................................................ 31 Commandes Ethtool de Linux ................................................................................................ 32 VMware .......................................................................................................................................... 33 Mise à jour du micrologiciel ................................................................................................................... 34 Dell Update Package ..................................................................................................................... 34 Windows......................................................................................................................................... 34 Linux............................................................................................................................................... 34 Propriétés avancées du pilote Windows et messages du journal d'événements ................................ 35 Propriétés avancées du pilote ............................................................................................................... 35 Messages du journal des événements.................................................................................................. 36 Regroupement ............................................................................................................................................ 38 Windows................................................................................................................................................ 38 Linux...................................................................................................................................................... 38 Configuration au niveau du système........................................................................................................ 39 Menu UEFI HII....................................................................................................................................... 39 Page de configuration principale.................................................................................................... 39 Propriétés de l'image du microprogramme .................................................................................... 39 Configuration du niveau du périphérique ....................................................................................... 39 Configuration de la carte NIC......................................................................................................... 39 26 février 2018 • NetXtreme-E-UG100 Page 4 Manuel d’utilisation NetXtreme-E Table des matières Configuration iSCSI........................................................................................................................ 40 CCM (Comprehensive Configuration Management) ............................................................................. 40 Configuration matérielle du périphérique ....................................................................................... 40 Menu de configuration MBA........................................................................................................... 40 Menu principal de l’initialisation iSCSI ........................................................................................... 40 Configuration de la négociation automatique ........................................................................................ 41 Vitesse de liaison opérationnelle............................................................................................ 44 Vitesse de liaison du microprogramme .................................................................................. 44 Protocole de négociation automatique................................................................................... 44 Paramètres du pilote Windows .............................................................................................. 44 Paramètres du pilote Linux .................................................................................................... 44 Paramètres du pilote ESXi ..................................................................................................... 45 Négociation automatique FEC .............................................................................................................. 46 Link Training.......................................................................................................................................... 47 Détection automatique des supports..................................................................................................... 48 Initialisation iSCSI ...................................................................................................................................... 50 Systèmes d'exploitation pris en charge pour l'initialisation iSCSI ......................................................... 50 Configuration de l'initialisation iSCSI..................................................................................................... 50 Configuration de la cible iSCSI ...................................................................................................... 50 Configuration des paramètres d'initialisation iSCSI ....................................................................... 51 Configuration du protocole de démarrage MBA............................................................................. 52 Configuration de l'initialisation iSCSI ............................................................................................. 52 Configuration de l'initialisation iSCSI statique ........................................................................ 52 Configuration de l'initialisation iSCSI dynamique ................................................................... 53 Activation de l'authentification CHAP............................................................................................. 55 Configuration du serveur DHCP pour la prise en charge de l'initialisation iSCSI.................................. 55 Configurations DHCP pour l'initialisation iSCSI pour IPv4 ............................................................. 55 Option DHCP 17, chemin d'accès.......................................................................................... 55 Option DHCP 43, informations concernant le fournisseur ..................................................... 56 Configuration du serveur DHCP............................................................................................. 56 Configurations DHCP pour l'initialisation iSCSI pour IPv6 ............................................................. 57 Option DHCPv6 16, option de classe fournisseur.................................................................. 57 Option DHCPv6 17, informations concernant le fournisseur.................................................. 57 Configuration du serveur DHCP............................................................................................. 58 VXLAN : Configuration et exemples d'utilisation .................................................................................... 58 SR-IOV : Configuration et exemples d'utilisation.................................................................................... 59 Cas d'utilisation Linux............................................................................................................................ 59 Cas de Windows ................................................................................................................................... 60 Cas de VMWare SRIOV........................................................................................................................ 61 26 février 2018 • NetXtreme-E-UG100 Page 5 Manuel d’utilisation NetXtreme-E Table des matières NPAR : Configuration et exemples d'utilisation ...................................................................................... 64 Fonctionnalités et configuration requise................................................................................................ 64 Limitations ............................................................................................................................................. 64 Configuration ......................................................................................................................................... 64 Notes sur la réduction de consommation de mémoire de la carte réseau ............................................ 67 RoCE : Configuration et exemples d'utilisation ...................................................................................... 68 Configuration sous Linux....................................................................................................................... 68 Configuration requise ..................................................................................................................... 68 Dépendances du pilote BNXT_RE................................................................................................. 68 Installation ...................................................................................................................................... 69 Limitations ...................................................................................................................................... 70 Problèmes connus ......................................................................................................................... 70 Windows................................................................................................................................................ 70 Mode noyau ................................................................................................................................... 70 Vérification de RDMA..................................................................................................................... 71 Mode utilisateur.............................................................................................................................. 72 VMware ESX ......................................................................................................................................... 72 Limitations ...................................................................................................................................... 72 Configuration requise du pilote RoCE de la carte réseau BNXT ................................................... 72 Installation ...................................................................................................................................... 72 Configuration des cartes réseau PVRDMA.................................................................................... 73 Configuration d'un centre virtuel pour PVRDMA .................................................................... 73 Balisage d’un vmknic pour PVRDMA sur les hôtes ESX ....................................................... 73 Définition de la règle de pare-feu pour PVRDMA .................................................................. 73 Ajout d'un périphérique PVRDMA à la machine virtuelle ....................................................... 73 Configuration de la machine virtuelle sur le système d’exploitation invité Linux.................... 74 DCBX – Data Center Bridging ................................................................................................................... 75 Profil QoS : Profil de file d'attente QoS par défaut ................................................................................ 75 Mode DCBX = Activer (IEEE uniquement)............................................................................................ 76 Bit Willing DCBX.................................................................................................................................... 76 Foire aux questions.................................................................................................................................... 79 26 février 2018 • NetXtreme-E-UG100 Page 6 Manuel d'utilisation NetXtreme-E Autorisations réglementaires et homologations de sécurité Autorisations réglementaires et homologations de sécurité Les sections suivantes fournissent des informations détaillées sur le respect des normes en matière de réglementation, sécurité, compatibilité électromagnétique (EMC) et décharges électrostatiques (ESD) pour la NetXtreme-Ecarte d’interface réseau. Réglementation Tableau 1 : Autorisations réglementaires Elément Normes applicables Autorisation/Certificat CE/Union européenne EN 62368-1:2014 Rapport et certificat CB UL/Etats-Unis IEC 62368-1 édition 2 Rapport et certificat CB CSA/Canada CSA 22.2 N° 950 Rapport et certificat CSA. Taiwan CNS14336 Classe B – Sécurité Tableau 2 : Homologations de sécurité Pays Type de certification/Norme Conformité International Schéma CB ICES 003 - Dispositif numérique UL 1977 (sécurité du connecteur) UL 796 (sécurité du câblage PCB) UL 94 (inflammabilité de pièces) Oui 26 février 2018 • NetXtreme-E-UG100 Page 7 Manuel d'utilisation NetXtreme-E Autorisations réglementaires et homologations de sécurité Compatibilité électromagnétique (EMC) Tableau 3 : Compatibilité électromagnétique Norme/Pays Type de certification Conformité CE/EU Rapport CE et CE DoC FCC/Etats-Unis EN 55032:2012/AC:2013 Classe B EN 55024:2010 EN 61000-3-2:2014 EN 61000-3-3:2013 CFR47, Partie 15 Classe B IC/Canada ICES-003 Classe B ACA/Australie, Nouvelle-Zélande AS/NZS CISPR 22:2009 +A1:2010 / AS/NZS CISPR 32:2015 CNS13438 Classe B CNS15663 KN32 Classe B KN35 V-3/2014/04 (entrée en vigueur le 31/03/2015) BSMI/Taïwan BSMI/Taïwan MIC/S. Corée VCCI/Japon FCC/IC DoC et rapport EMC faisant référence aux normes FCC et IC FCC/IC DoC et rapport faisant référence aux normes FCC et IC Certificat ACA Marquage RCM Certificat BSMI Certificat BSMI Certificat coréen Marquage MSIP Copie du certificat VCCI en ligne Conformité aux normes relatives aux décharges électrostatiques (ESD) Tableau 4 : Synthèse de la conformité ESD Normes Type de certification Conformité EN55024:2010 (EN 61000-4-2) Décharge directe/d'air Oui Déclaration de la FCC L'équipement a été testé et déclaré conforme aux limites des dispositifs numériques de la Classe B définies par l'alinéa 15 du règlement de la FCC. Ces limites permettent d'assurer une protection raisonnable contre les interférences nuisibles dans le cadre d'une installation résidentielle. Cet équipement génère, utilise et dégage une énergie H.F. S'il n'est pas installé et utilisé en conformité avec les instructions, il peut créer une interférence nuisible aux communications radio. Nous ne pouvons cependant pas garantir qu'aucune interférence ne se produira dans le cadre d'une installation particulière. Si cet équipement cause des interférences nuisibles à la réception radio ou télévisuelle, ce qui peut être déterminé en éteignant et rallumant l'équipement, nous vous conseillons d'essayer de corriger ces interférences en prenant les mesures suivantes : • Réorientez l'antenne de réception. • Eloignez davantage l'équipement du récepteur. • Consultez votre revendeur ou un technicien de radio/télévision expérimenté pour obtenir de l'aide. Remarque : Tout changement ou toute modification n'ayant pas été expressément approuvé(e) par le fabricant responsable de la conformité peut annuler l'autorisation accordée à l'utilisateur d'utiliser cet équipement. 26 février 2018 • NetXtreme-E-UG100 Page 8 Manuel d'utilisation NetXtreme-E Description du fonctionnement Description du fonctionnement Dell prend en charge les cartes d'interface réseau (NIC) 10GBase-T, 10G SFP+ et 25G SFP28. Ces cartes NIC sont présentées dans le Tableau 5. Tableau 5 : Description du fonctionnement Carte d'interface réseau Description BCM957402A4020DLPC/BCM957402A4020DC/BCM957412A4120D/BCM957412M4120D Vitesse Deux ports 10 Gbit/s Ethernet PCI-E Gen 3 x8a Interface SFP+ pour 10 Gbit/s Périphérique Contrôleur Broadcom BCM57402/BCM57412 10 Gbit/s MAC avec émetteur/ récepteur SFI bicanal 10 Gbit/s intégré. Nom NDIS Carte Broadcom NetXtreme E-Series double port 10 Gbits SFP+ Ethernet PCIe Nom UEFI SFP double Broadcom 10 Gbits + Ethernet BCM57404A4041DLPC/BCM57404A4041DC/BCM957414A4141D/BCM957414M4140D Vitesse Deux ports 25 Gbit/s ou 10 Gbit/s Ethernet PCI-E Gen 3 x8a Interface SFP28 pour 25 Gbit/s et SFP+ pour 10 Gbit/s Périphérique Contrôleur Broadcom BCM57404/BCM57414 25 Gbit/s MAC avec émetteurrécepteur SFI bicanal 25 Gbit/s intégré. Nom NDIS Carte Broadcom NetXtreme E-Series double port 25 Gbits SFP28 Ethernet PCI-e Nom UEFI SFP double Broadcom 25 Gbits 28 Ethernet BCM957406A4060DLPC/BCM957406A4060DC/BCM957416A4160D/BCM957416M4160 Vitesse Double port 10GBase-T Ethernet PCI-E Gen 3 x8a Interface RJ45 pour 10 Gbit/s et 1 Gbit/s Périphérique Contrôleur Broadcom BCM57406/BCM57416 10 Gbit/s MAC avec émetteurrécepteur 10GBase-T bicanal intégré. Nom NDIS Carte Broadcom NetXtreme E-Series double port 10GBASE-T Ethernet PCIe Nom UEFI Broadcom Double 10GBASE-T Ethernet a. La carte NIC prend en charge les PCI-E Gen 1, Gen 2 et Gen 3. Le PCI-E Gen 3 est toutefois recommandé pour obtenir le débit nominal lorsque deux ports 25G Liens transmettent et reçoivent simultanément le trafic. 26 février 2018 • NetXtreme-E-UG100 Page 9 Manuel d'utilisation NetXtreme-E Description du fonctionnement Figure 1 : Carte d'interface réseau BCM957402A4020DC, BCM957412A4120D 26 février 2018 • NetXtreme-E-UG100 Page 10 Manuel d'utilisation NetXtreme-E Description du fonctionnement Figure 2 : Carte d'interface réseau BCM957404A4041DLPC, BCM957414A4141D 26 février 2018 • NetXtreme-E-UG100 Page 11 Manuel d'utilisation NetXtreme-E Description du fonctionnement Figure 3 : Carte d'interface réseau BCM957406A4060DLPC, BCM957416A4160D Figure 4 : Carte fille réseau (rNDC) BCM957414M4140D 26 février 2018 • NetXtreme-E-UG100 Page 12 Manuel d'utilisation NetXtreme-E Description du fonctionnement Figure 5 : Carte fille réseau (rNDC) BCM957412M4120D Figure 6 : Carte fille réseau (rNDC) BCM957416M4160 26 février 2018 • NetXtreme-E-UG100 Page 13 Manuel d'utilisation NetXtreme-E Indication de liaison au réseau et d'activité du réseau Indication de liaison au réseau et d'activité du réseau BCM957402AXXXX/BCM957412AXXXX Le port SFP+ possède deux voyants pour indiquer le volume du trafic et la vitesse de liaison. Les voyants sont visibles à travers la découpe, sur le support, comme illustré sur la Figure 7. Les fonctions des voyants sont décrites dans le Tableau 6. Figure 7 : Emplacements des voyants de liaison et d'activité des modèles BCM957402AXXXX/BCM957412AXXXX Cage SFP+ port 1 Voyant d'activité port 1 Voyant de liaison port 1 Cage SFP+ port 2 Voyant d'activité port 2 Voyant de liaison port 2 Tableau 6 : Emplacement des voyants de liaison et d'activité des modèles BCM957402AXXXX/BCM957412AXXXX Type de voyant Couleur/Comportement Note Activité Désactivé Vert clignotant Désactivé Vert Aucune activité Activité de flux de trafic Pas de liaison Liaison à 10 Gbit/s Liaison 26 février 2018 • NetXtreme-E-UG100 Page 14 Manuel d'utilisation NetXtreme-E Indication de liaison au réseau et d'activité du réseau BCM957404AXXXX/BCM957414AXXXX Le port SFP28 possède deux voyants pour indiquer le volume du trafic et la vitesse de liaison. Les voyants sont visibles à travers la découpe, sur le support, comme illustré sur la Figure 8. Les fonctions des voyants sont décrites dans le Tableau 7. Figure 8 : Emplacements des voyants de liaison et d'activité BCM957404AXXXX/BCM957414AXXXX Cage SFP28 port 1 Voyant d'activité port 1 Voyant de liaison port 1 Cage SFP28 port 2 Voyant d'activité port 2 Voyant de liaison port 2 Tableau 7 : Emplacement des voyants de liaison et d'activité des modèles BCM957404AXXXX/BCM957414AXXXX Type de voyant Couleur/Comportement Note Activité Désactivé Aucune activité Vert clignotant Activité de flux de trafic Désactivé Pas de liaison Liaison 26 février 2018 • NetXtreme-E-UG100 Vert Liaison à 25 Gbit/s Jaune Liaison à 10 Gbit/s Page 15 Manuel d'utilisation NetXtreme-E Indication de liaison au réseau et d'activité du réseau BCM957406AXXXX/BCM957416AXXXX Le port RJ-45 possède deux voyants pour indiquer le volume du trafic et la vitesse de liaison. Les voyants sont visibles à travers la découpe, sur le support, comme illustré sur la Figure 9. Les fonctions des voyants sont décrites dans le Tableau 8. Figure 9 : Emplacements des voyants de liaison et d'activité BCM957406AXXXX/BCM957416AXXXX Tableau 8 : Emplacement des voyants de liaison et d'activité BCM957406AXXXX/BCM957416AXXXX Type de voyant Activité Liaison 26 février 2018 • NetXtreme-E-UG100 Couleur/Comportement Remarques Désactivé Aucune activité Vert clignotant Activité de flux de trafic Désactivé Pas de liaison Vert Liaison à 10 Gbit/s Orange Liaison à 1 Gbit/s Page 16 Manuel d'utilisation NetXtreme-E Indication de liaison au réseau et d'activité du réseau BCM957414M4140D Le port SFP28 possède deux voyants pour indiquer le volume du trafic et la vitesse de liaison. Les voyants sont visibles à travers la découpe, sur le support, comme illustré sur la Figure 10. Figure 10 : Emplacements des voyants de liaison et d’activité de la carte fille réseau (rNDC) BCM957414M4140D Tableau 9 : Emplacements des voyants de liaison et d’activité de la carte fille réseau (rNDC) BCM957414M4140D Type de voyant Couleur/Comportement Remarques Activité Désactivé Aucune activité Vert clignotant Activité de flux de trafic Liaison 26 février 2018 • NetXtreme-E-UG100 Désactivé Pas de liaison Vert Liaison à 25 Gbit/s Jaune Liaison à 10 Gbit/s Page 17 Manuel d'utilisation NetXtreme-E Indication de liaison au réseau et d'activité du réseau BCM957412M4120D Cette carte fille réseau (rNDC) possède des ports SFP+ et RJ-45, chacun associé à deux voyants indiquant les activités du trafic et la vitesse de liaison. Les voyants sont visibles comme illustré sur la Figure 11. Figure 11 : Emplacements des voyants de liaison et d’activité de la carte fille réseau (rNDC) BCM957412M4120D Tableau 10 : Emplacements des voyants de liaison et d’activité de la carte fille réseau (rNDC) BCM957412M4120D ports SFP+ 1 et 2 Type de voyant Couleur/Comportement Remarques Activité Désactivé Aucune activité Vert clignotant Activité de flux de trafic Liaison Désactivé Pas de liaison Vert Liaison à 10 Gbit/s Tableau 11 : Ports 1000BaseT 3 et 4 Type de voyant Couleur/Comportement Activité Désactivé Aucune activité Vert clignotant Activité de flux de trafic Désactivé Pas de liaison Vert Liaison à 1 Gbit/s Orange Liaison à 10/100 Mbit/s Liaison 26 février 2018 • NetXtreme-E-UG100 Remarques Page 18 Manuel d'utilisation NetXtreme-E Indication de liaison au réseau et d'activité du réseau BCM957416M4160 Cette carte fille réseau (rNDC) possède des ports RJ-45 10GBaseT et 1000BaseT, chacun associé à deux voyants indiquant les activités du trafic et la vitesse de liaison. Les voyants sont visibles comme illustré sur la Figure 12. Figure 12 : Emplacements des voyants de liaison et d’activité de la carte fille réseau (rNDC) BCM957416M4160 Tableau 12 : Emplacements des voyants de liaison et d’activité de la carte fille réseau (rNDC) BCM957416M4160 Ports 10GBaseT 1 et 2 Type de voyant Couleur/Comportement Remarques Activité Désactivé Aucune activité Vert clignotant Activité de flux de trafic Désactivé Pas de liaison Vert Liaison à 10 Gbit/s Orange Liaison à 1 Gbit/s Liaison 26 février 2018 • NetXtreme-E-UG100 Page 19 Manuel d'utilisation NetXtreme-E Spécifications Spécifications Les sections suivantes présentent les fonctions du périphérique. Fonctions logicielles et matérielles Le Tableau 13 fournit la liste des fonctions de l'interface hôte. Tableau 13 : Fonctions de l'interface hôte Fonction Données Interface hôte PCIe v3.0 (Gen 3 : 8 GT/s ; Gen 2 : 5 GT/s ; Gen 1 : 2,5 GT/s). Nombre de voies PCIe Connecteur PCI-E Edge : x8. Données VPD (Vital Product Data) Prise en charge. ID de routage alternatif (ARI, Alternate Routing ID) Prise en charge. Réinitialisation du niveau de fonction (FLR) Prise en charge. Rapport d'erreur avancé Prise en charge. ECN PCIe Prise en charge de TLH (TLP Processing Hint), LTR (Latency Tolerance Reporting) et OBFF (Optimized Buffer Flush/Fill). Vecteur d'interruption MSI-X par file d'attente 1 par file d’attente RSS, 1 par NetQueue, 1 par file d'attente VM (Virtual Machine Queue, VMQ). Déchargement de la somme de contrôle (CO, Checksum Prise en charge pour les côtés transmission/ Offload) IP réception. Déchargement de la somme de contrôle (CO, Checksum Prise en charge pour les côtés transmission/ Offload) TCP réception. Déchargement de la somme de contrôle (CO, Checksum Prise en charge pour les côtés transmission/ Offload) UDP réception. Déchargement important à l'émission (LSO, Large Send Prise en charge pour LSOV1 et LSOV2. Offload) TCP NDIS Réception de la fusion de segment (RSC, Receive Segment Coalescing) NDIS Prise en charge pour les environnements Windows. TSO (Déchargement de la segmentation TCP) Prise en charge pour les environnements Linux et VMware. Déchargement important à la réception (LRO, Large Receive Offload) Prise en charge pour les environnements Linux et VMware. Déchargement générique à la réception (GRO, Generic Receive Offload) Prise en charge pour les environnements Linux et VMware. Mise à l'échelle côté réception (RSS, Receive Side Scaling) Prise en charge pour les environnements Windows, Linux et VMware. Jusqu'à 8 files d'attente/ports pris(es) en charge pour RSS. 26 février 2018 • NetXtreme-E-UG100 Page 20 Manuel d'utilisation NetXtreme-E Spécifications Tableau 13 : Fonctions de l'interface hôte (suite) Fonction Données Répartition En-tête/Charge utile (Header-Payload Split) Permet à la pile logicielle TCP/IP de recevoir des paquets TCP/IP avec un en-tête et des données de charge utile répartis sur plusieurs mémoires tampons distinctes. Prend en charge les environnements Windows, Linux et VMware. Jumbo Frames (Trames Jumbo) Prise en charge. Initialisation iSCSI Prise en charge. Partitionnement de la carte réseau (NPAR) Prend en charge jusqu'à huit fonctions physiques (PF) par port, ou jusqu'à 16 PF par mémoire morte. Cette option est configurable dans NVRAM. RDMA over Converged Ethernet (RoCE) La BCM5741X prend en charge le protocole RoCE v1/v2 pour Windows, Linux et VMware. Data Center Bridging (DCB) La BCM5741X prend en charge les protocoles DCBX (IEEE et spécification CEE), PFC et AVB. NCSI (Network Controller Sideband Interface) Prise en charge. Réseau local de réveil (WOL) Pris en charge sur la rNDC avec interfaces 10GBase-T, SFP+ et SFP28. Initialisation PXE Prise en charge. Démarrage UEFI Prise en charge. Contrôle de flux (Pause) Prise en charge. Négociation automatique Prise en charge. VLAN 802.1q Prise en charge. Modération de l'interruption Prise en charge. Filtres MAC/VLAN Prise en charge. Fonctions de virtualisation Le Tableau 14 répertorie les fonctions de virtualisation du système NetXtreme-E. Tableau 14 : Fonctions de virtualisation Fonction Données Linux KVM Multiqueue Prise en charge. VMware NetQueue Prise en charge. NDIS VMQ (Virtual Machine Queue, File d’attente de machines virtuelles) Prise en charge. VXLAN (Virtual eXtensible LAN) - Conscience des déchargements sans état (déchargements de la somme de contrôle IP/UDP/TCP) Prise en charge. Encapsulation générique de routage (GRE, Generic Routing Encapsulation) - Conscience des déchargements sans état (déchargements de la somme de contrôle IP/UDP/TCP) Prise en charge. 26 février 2018 • NetXtreme-E-UG100 Page 21 Manuel d'utilisation NetXtreme-E Spécifications Tableau 14 : Fonctions de virtualisation (suite) Fonction Données Virtualisation de réseaux via l'encapsulation générique Prise en charge. de routage (NVGRE, Network Virtualization using Generic Routing Encapsulation) - Conscience des déchargements sans état IP-in-IP - Conscience des déchargements sans état (déchargements de la somme de contrôle IP/UDP/ TCP) Prise en charge SR-IOV v1.0 128 fonctions virtuelles (VF) pour les systèmes d'exploitation invités (SE invité) par périphérique. Le vecteur MSI-X par VF est défini sur 16. Port de vecteur MSI-X Valeur par défaut : 74 par port (configuration à deux ports). 16 par VF ; configurable dans HII et CCM. VXLAN Un réseau local virtuel eXtensible (VXLAN), défini dans IETF RFC 7348, est utilisé pour répondre aux besoins en réseaux superposés des centres de données virtualisés hébergeant plusieurs locataires. VXLAN est un schéma de tunnelage ou une superposition de couche 2 via un réseau de couche 3. Seules les machines virtuelles placées dans le même segment VXLAN peuvent communiquer les unes avec les autres. NVGRE/GRE/IP-in-IP/Geneve La virtualisation réseau via GRE (NVGRE), définie dans IETFRFC 7637, est similaire à un réseau VXLAN. Déchargements sans état RSS La mise à l'échelle côté réception (RSS, Receive Side Scaling) utilise un algorithme Toeplitz à 4 correspondances de tuple sur les trames reçues, puis les transmet à une UC déterminée pour le traitement des trames. Cela permet un traitement simplifié des trames et équilibre l'utilisation de l'UC. Une table d'indirection est utilisée pour mapper le flux à une UC. Une mise à l'échelle côté réception (RSS) symétrique permet le mappage des paquets d'un flux TCP ou UDP donné à la même file d'attente de réception. TPA L'agrégation transparente des paquets (TPA, Transparent Packet Aggregation) est une technique où les trames reçues des 4 mêmes trames correspondantes aux tuples sont agrégées, puis indiquées à la pile réseau. Chaque entrée du contexte TPA est identifiée par les 4 tuples : IP source, IP de destination, port TCP source et port TCP de destination. La TPA améliore les performances du système en réduisant les interruptions du trafic réseau et en réduisant la charge du processeur. 26 février 2018 • NetXtreme-E-UG100 Page 22 Manuel d'utilisation NetXtreme-E Spécifications Répartition En-tête/Charge utile (Header-Payload Split) La répartition En-tête/Charge utile est une fonction qui permet à la pile logicielle TCP/IP de recevoir des paquets TCP/IP avec un en-tête et des données de charge utile répartis sur plusieurs mémoires tampons distinctes. Cette fonction est prise en charge dans les environnements Windows et Linux. Cette fonction présente les avantages suivants : • La fonction de répartition En-tête/Charge utile permet une mise en cache compacte et efficace des en-têtes de paquet dans les caches de l'UC hôte. Cela peut entraîner une amélioration des performances TCP/IP côté réception. • La répartition En-tête/Charge permet à la pile TCP/IP hôte d’effectuer des opérations de basculement de pages et zéro copie. Cela peut améliorer encore davantage les performances du chemin de réception. Déchargement de la fragmentation UDP Le déchargement de la fragmentation UDP (UFO) est une fonction qui permet à la pile logicielle de décharger la fragmentation des datagrammes UDP/IP dans des paquets UDP/IP. Cette fonction est uniquement prise en charge dans un environnement Linux. La fonction UFO peut présenter l'avantage suivant : • La fonction UFO permet à la carte NIC de traiter la fragmentation d'un datagramme UDP dans des paquets UDP/IP. Résultat : la durée UC du traitement UDP/IP est réduite côté transmission. Déchargement du tunnel de transport sans état Le déchargement du tunnel de transport sans état (STT, Stateless Transport Tunnel Offload) est une encapsulation de tunnel qui permet d'activer des réseaux superposés dans des centres de données virtualisés. Le déchargement STT utilise une encapsulation IP avec un en-tête de type TCP. Aucun état de connexion TCP n'est associé au tunnel, c’est pourquoi le déchargement STT est sans état. Le commutateur virtuel ouvert (OVS, Open Virtual Switch) utilise le déchargement STT. Une trame STT contient l'en-tête et la charge utile de la trame STT. La charge utile de la trame STT est une trame Ethernet non identifiée. La charge utile encapsulée et l'en-tête de la trame STT sont traités comme la charge utile TCP et un en-tête de type TCP. L'en-tête IP (IPv4 ou iPv6) et l'en-tête Ethernet sont créés pour chaque segment STT transmis. Prise en charge de multiples files d'attente pour SE NDIS VMQ La fonction NDIS VMQ (File d'attente de machines virtuelles) est prise en charge par Microsoft pour améliorer les performances du réseau Hyper-V. La fonction VMQ prend en charge la classification des paquets selon l’adresse MAC de destination afin de renvoyer les paquets reçus vers différentes files d'attente d'exécution. Cette classification des paquets associée à la possibilité d'envoyer des paquets DMA directement vers la mémoire d'une machine virtuelle permet la mise à l'échelle des machines virtuelles sur plusieurs processeurs. Reportez-vous à la section « Propriétés avancées du pilote Windows et messages du journal d'événements » page 35 pour plus d'informations sur la fonction VMQ. 26 février 2018 • NetXtreme-E-UG100 Page 23 Manuel d'utilisation NetXtreme-E Spécifications VMWare NetQueue La fonction VMwareNetQueue est similaire à la fonction Microsoft NDIS VMQ de Microsoft. La fonction NetQueue prend en charge la classification des paquets selon l’adresse MAC de destination et le réseau VLAN afin de renvoyer les paquets reçus vers différentes files NetQueue. Cette classification des paquets associée à la possibilité d'envoyer des paquets DMA directement vers la mémoire d'une machine virtuelle permet la mise à l'échelle des machines virtuelles sur plusieurs processeurs. KVM/Xen Multiqueue La fonction KVM/Multiqueue renvoie les trames vers différentes files d'attente de la pile hôte en classant la trame entrante via le traitement de l’adresse MAC de destination et/ou la balise 802.1Q VLAN du paquet reçu. La classification associée à la possibilité d'envoyer des trames DMA directement vers la mémoire d'une machine virtuelle permet la mise à l'échelle des machines virtuelles sur plusieurs processeurs. Matrice de prise en charge des configurations SR-IOV • VF Windows via l'hyperviseur Windows • Windows VF Windows et VF Linux via l'hyperviseur VMware • VF Linux via Linux KVM SR-IOV PCI-SIG offre une prise en charge optionnelle de la spécification SR-IOV (Single-Root IO Virtualization). SRIOV est conçu pour permettre à la machine virtuelle d'accéder directement au périphérique via les fonctions virtuelles (VF). La fonction physique (PF) de la carte NIC est divisée en plusieurs fonctions virtuelles et chaque VF est présentée comme une PF aux machines virtuelles. SR-IOV utilise la fonctionnalité IOMMU pour convertir les adresses virtuelles PCI-E en adresses physiques à l'aide d'une table de conversion. Les nombres de fonctions physiques (PF) et de fonctions virtuelles (VF) sont gérés via le menu HII UEFI, CCM et les configurations NVRAM. SRIOV peut être pris en charge parallèlement au mode NPAR. Partitionnement réseau (NPAR) La fonction de partitionnement réseau (NPAR) permet à un port d'interface réseau physique de s'afficher pour le système comme plusieurs fonctions de périphérique réseau. Lorsque le mode NPAR est activé, le périphérique NetXtreme-E est énuméré en plusieurs fonctions physiques (PF) PCIE. Chaque PF ou « partition » se voit affecter un ID de fonction PCIe distinct lors de la première mise sous tension. La définition PCIe d'origine autorisait huit PF par périphérique. Pour les systèmes compatibles ARI (Alternative Routing-ID), les cartes Broadcom NetXtreme-E prennent en charge jusqu'à 16 PF par périphérique. Chaque partition dispose de son propre espace de configuration et de ses propres adresses BAR et MAC, ce qui lui permet de fonctionner indépendamment. Les partitions prennent en charge l'affectation directe à des machines virtuelles, à des VLAN, etc., comme toute autre interface physique. 26 février 2018 • NetXtreme-E-UG100 Page 24 Manuel d'utilisation NetXtreme-E Spécifications Remarque : Sur la page Configuration système > Paramètres du périphérique [Périphérique Broadcom 5741x] > Configuration du niveau du périphérique, l'utilisateur peut activer NParEP pour permettre à la carte NXE de prendre en charge jusqu'à 16 PF par périphérique. Pour des périphériques à 2 ports, jusqu'à huit PF peuvent être prises en charge pour chaque port. RDMA over Converge Ethernet – RoCE Le protocole RoCE (Remote Direct Memory Access (RDMA) over Converged Ethernet) est une fonction complète de déchargement matériel de BCM5741X qui permet d’activer la fonction RDMA sur un réseau Ethernet. La fonctionnalité RoCE est disponible sur les applications en mode utilisateur et en mode noyau. Les fonctions physiques (PF) RoCE et les fonctions virtuelles (VF) SRIOV sont disponibles en mode monofonction et en mode multifonction (mode de partitionnement NIC). Broadcom prend en charge le protocole RoCE sous Windows, Linux et VMWare. Veuillez vous reporter à l'un des liens suivants pour connaître la prise en charge du protocole RDMA pour chaque système d'exploitation : Windows https://technet.microsoft.com/en-us/library/jj134210(v=ws.11).aspx Redhat Linux https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Networking_Guide/chConfigure_InfiniBand_and_RDMA_Networks.html VMware https://pubs.vmware.com/vsphere-65/index.jsp?topic=%2Fcom.vmware.vsphere.networking.doc%2FGUID4A5EBD44-FB1E-4A83-BB47-BBC65181E1C2.html Combinaisons prises en charge Les sections suivantes décrivent les combinaisons de fonctionnalités prises en charge pour ce périphérique. NPAR, SR-IOV et RoCE Le Tableau 15 décrit les combinaisons de fonctionnalités prises en charge pour les protocoles NPAR, SR-IOV et RoCE. Tableau 15 : NPAR, SR-IOV et RoCE Fonction logicielle Remarques NPAR Jusqu'à 8 PF ou 16 PF SR-IOV Jusqu'à 128 VF (au total par puce) RoCE sur PF Jusqu'à 4 PF 26 février 2018 • NetXtreme-E-UG100 Page 25 Manuel d'utilisation NetXtreme-E Spécifications Tableau 15 : NPAR, SR-IOV et RoCE (suite) Fonction logicielle Remarques RoCE sur VF Valide pour les VF attachées à des PF compatibles RoCE Système d'exploitation hôte Linux, Windows, ESXi (pas de prise en charge vRDMA) Système d’exploitation invité Linux et Windows DCB Jusqu'à deux COS par port avec mémoire réservée non partagée NPAR, SR-IOV et DPDK Le Tableau 16 décrit les combinaisons de fonctionnalités prises en charge pour les protocoles NPAR, SR-IOV et DPDK. Tableau 16 : NPAR, SR-IOV et DPDK Fonction logicielle Remarques NPAR Jusqu'à 8 PF ou 16 PF SR-IOV Jusqu'à 128 VF (au total par puce) DPDK Uniquement pris en charge en tant que VF Système d'exploitation hôte Linux Système d’exploitation invité DPDK (Linux) Combinaisons non prises en charge La combinaison des protocoles NPAR, SR-IOV, RoCE et DPDK n'est pas prise en charge. 26 février 2018 • NetXtreme-E-UG100 Page 26 Manuel d'utilisation NetXtreme-E Installation du matériel Installation du matériel Mesures de sécurité Attention : La carte est installée dans un système fonctionnant à une tension risquant d'être mortelle. Avant de retirer le capot du système, vous devez prendre les mesures suivantes afin de vous protéger et d'éviter tout risque de destruction des composants du système : • • • • Enlevez les objets métalliques ou les bijoux que vous portez aux mains et aux poignets. Veillez à utiliser uniquement des outils isolés ou non conducteurs. Vérifiez que le système est hors tension et que la prise est débranchée avant de toucher tout composant interne. Installez ou enlevez les cartes dans un environnement exempt d'électricité statique. Le port d'un bracelet antistatique correctement relié à la terre ou de tout autre dispositif antistatique ainsi que l'utilisation d'un tapis antistatique sont vivement conseillés. Configuration système Avant d'installer la carte NetXtreme-E Ethernet de Broadcom, assurez-vous que la configuration du système répond aux conditions requises par votre système d'exploitation. Configuration matérielle requise La liste ci-après répertorie les éléments de la configuration matérielle requise : • Systèmes Dell 13G qui répondent à la configuration requise pour le système d'exploitation. • Systèmes Dell 13G qui prennent en charge des cartes NetXtreme-E Ethernet. • Un logement PCI-E Gen 3 x8 libre ou un logement PCIE Gen3 rNDC libre pour une carte réseau de format rNDC. • 4 Go de mémoire ou plus (32 Go ou plus sont recommandés pour les performances du débit nominal du réseau et des applications de virtualisation). Liste de vérification avant l'installation Reportez-vous à la liste suivante avant d'installer le périphérique NetXtreme-E. 1. Assurez-vous que le serveur répond bien à la configuration matérielle et logicielle requise décrite dans la section « Configuration système ». 2. Vérifiez que le serveur utilise le BIOS le plus récent. 3. Si le système est actif, fermez-le. 4. Une fois le système arrêté, coupez l'alimentation secteur et débranchez la prise de l'ordinateur. 5. En tenant la carte par les bords, enlevez-la de son emballage d'expédition et placez-la sur une surface antistatique. 6. Vérifiez que la carte ne présente aucun signe de détérioration, en particulier sur le connecteur de bord. N'essayez jamais d'installer une carte endommagée. 26 février 2018 • NetXtreme-E-UG100 Page 27 Manuel d'utilisation NetXtreme-E Installation du matériel Installation de la carte Les instructions suivantes concernent l'installation de la carte NetXtreme-E Ethernet de Broadcom (NIC complémentaire) sur la plupart des serveurs. Reportez-vous aux manuels fournis avec le serveur pour toute précision sur la réalisation de ces tâches sur ce serveur spécifique. 1. Consultez les sections « Mesures de sécurité » page 27 et « Liste de vérification avant l'installation » avant d'installer la carte. Assurez-vous que le système est hors tension et débranché. Veillez à ce que les procédures de mise à la terre aient été correctement suivies. 2. Ouvrez le boîtier du système et sélectionnez un logement PCI Express Gen 3 x8 vide. 3. Retirez la lame d'obturation blanche du logement. 4. Alignez le bord du connecteur de la carte sur le logement du connecteur dans le système. 5. Fixez la carte avec son clip ou sa vis. 6. Refermez le boîtier du système et détachez les dispositifs antistatiques. Remarque : Pour les cartes NIC de format rNDC, recherchez un logement RNDC libre ou remplacez le rNDC par défaut existant par le rNDC NetXtreme. Connexion des câbles réseau Les commutateurs Ethernet de Dell sont fournis avec des ports SFP+/SFP28/QSFP28 qui prennent en charge jusqu'à 100 Gbit/s. Ces ports de 100 Gbit/s peuvent être divisés en 4 ports SFP28 de 25 Gbit/s. Les ports QSFP peuvent être connectés à des ports SFP28 avec 4 câbles adaptateurs 25G SFP28. Câbles et modules pris en charge Tableau 17 : Câbles et modules pris en charge Module optique Référence Dell Cartes Description FTLX8571D3BCL-DL 3G84K BCM957404A4041DLPC, BCM957404A4041DC BCM957402A4020DLPC, BCM957402A4020DC Emetteur-récepteur SFP+ 10 Gbit/s 850 nm multimode FCLF-8521-3 8T47V BCM957406A4060DLPC, BCM957406A4060DC Emetteur-récepteur SFP 1000Base-T en cuivre FTLF8536P4BCL P7D7R BCM957404A4041DLPC, BCM957404A4041DC Emetteur-récepteur SFP+ à courte longueur d'onde 25 Gbit/s Méthode DM7051 PGYJT BCM57402X, BCM57404X, Emetteur-récepteur SFP+ vers BCM57412X, BCM57414X 10GBASE-T FTLX1471D3BCL-FC RN84N BCM57402X, BCM57404X, Emetteur-récepteur SFP28 à 25 Gbit/s BCM57412X, BCM57414X FTLX8574D3BNL N8TDR BCM57402X, BCM57404X, Plage de température étendue à 85 °C BCM57412X, BCM57414X Emetteur-récepteur SFP+ à 10 Gbit/s FTLF8536P4BNL-FC HHHHC BCM57402X, BCM57404X, Plage de température étendue à 85 °C BCM57412X, BCM57414X Emetteur-récepteur SFP+ à 10 Gbit/s 26 février 2018 • NetXtreme-E-UG100 Page 28 Manuel d'utilisation NetXtreme-E Installation du matériel Tableau 17 : Câbles et modules pris en charge (suite) Module optique Référence Dell FTLX8574D3BCL-FC WTRD1 ou PLRXPLSCS43811 Cartes Description BCM57402X, BCM57404X, Emetteur-récepteur SFP+ SR à BCM57412X, BCM57414X 10 Gbit/s Remarque : 1. Les câbles d'attache directe (DAC) conformes aux normes IEEE peuvent être connectés à la carte. 2. Les composants Dell HHHHC et N8TDR sont requis pour l'utilisation du modèle BCM957414M4140D. Cuivre Les cartes BCM957406AXXXX, BCM957416AXXXX et BCM957416XXXX disposent de deux connecteurs RJ-45 utilisés pour relier le système à un segment de fil cuivré CAT 6E Ethernet. SFP+ Les cartes BCM957402AXXXX, BCM957412AXXXX et BCM957412MXXXX disposent de deux connecteurs SFP+ utilisés pour relier le système à un commutateur Ethernet 10 Gbit/s. SFP28 Les cartes BCM957404AXXXX, BCM957414XXXX et BCM957414AXXXX disposent de deux connecteurs SFP28 utilisés pour relier le système à un commutateur Ethernet 100 Gbit/s. 26 février 2018 • NetXtreme-E-UG100 Page 29 Manuel d'utilisation NetXtreme-E Progiciels et installation Progiciels et installation Reportez-vous aux sections suivantes pour plus d'informations sur les progiciels et l'installation. Systèmes d'exploitation pris en charge Le Tableau 18 présente la liste des systèmes d'exploitation pris en charge. Tableau 18 : Liste des systèmes d'exploitation pris en charge SE type Distribution Windows Windows 2012 R2 ou supérieur Linux Redhat 6.9, Redhat 7.1 ou supérieur SLES 11 SP 4, SLES 12 SP 2 ou supérieur VMWare ESXi 6.0 U3 ou supérieur Installation des pilotes Les sections suivantes présentent l'installation des pilotes. Windows Dell DUP Les pilotes du contrôleur NetXtreme E-Series de Broadcom peuvent être installés à l'aide du progiciel DUP de pilote. Le programme d'installation est fourni au format exécutable x64. Installation de l'interface graphique utilisateur Lorsque le fichier est exécuté, une boîte de dialogue s'affiche, invitant l'utilisateur à saisir des données. Le programme d'installation prend en charge l'option Pilote seul. Installation silencieuse L'exécutable peut être lancé en mode silencieux via la commande indiquée ci-dessous. Exemples : Network_Driver_<version>.EXE /s /driveronly Installation des fichiers INF Dell DUP est utilisé pour installer les pilotes des contrôleurs Broadcom NetXtreme-E Ethernet. Utilisez la commande suivante pour extraire les fichiers INF du pilote à partir du progiciel Dell DUP : Network_Driver_<version>.EXE /s /v"EXTRACTDRIVERS=c:\dell\drivers\network" 26 février 2018 • NetXtreme-E-UG100 Page 30 Manuel d'utilisation NetXtreme-E Progiciels et installation Une fois les fichiers extraits, l'installation INF est exécutée via la fonction de « pilote de mise à niveau » à l'aide du Gestionnaire de périphériques (devmgmt.msc). Ouvrez le Gestionnaire de périphériques, sélectionnez la carte NIC souhaitée, cliquez avec le bouton droit de la souris et sélectionnez le pilote de mise à niveau pour la mettre à jour. Linux Les pilotes Linux sont fournis aux formats RPM, KMP et de code source. Pour générer le pilote de périphérique à partir du code source via Linux, reportez-vous à l'exemple suivant : 1. Connectez-vous au système Linux en tant qu'utilisateur racine. 2. Exécutez une commande scp ou cp sur le fichier tar du pilote, sur le système Linux. Exemple type : cp /var/run/media/usb/bnxt_en-<version>.tar.gz /root/ 3. Exécutez la commande suivante : tar –zxvf /root/bnxt_en-<version>.tar.gz 4. Exécutez la commande suivante : cd bnxt_en-<version> 5. Exécutez la commande suivante : make; make install; modprobe -r bnxt_en; modprobe bnxt_en Pour la fonctionnalité RDMA, installez les pilotes bnxt_en et bnxt_re. Utilisez netxtreme-bnxt_en<version>.tar.gz au lieu de bnxt_en-<version>.tar.gz. Installation du module RHEL L'image du pilote peut être installée à l'aide de l'une des options suivantes : • Montez l'image bnxt_en-x.x.x-rhelYuZ-x86_64-dd.iso à l’aide de la console virtuelle iDRAC de Dell. • Montez l'image bnxt_en-x.x.x-rhelYuZ-x86_64-dd.iso à partir d'un CD/DVD. • Copiez l'image bnxt_en-x.x.x-rhelYuZ-x86_64-dd.iso sur un périphérique USB et montez le périphérique. Démarrez l'installation du SE, puis appuyez sur la touche de tabulation et entrez « Linux dd ». Continuez l'installation jusqu'à ce que le disque du pilote soit demandé, puis sélectionnez le pilote bnxt_en. SLES L'image du pilote peut être installée à l'aide de l'une des options suivantes : • Montez l'image bnxt_en-x.x.x-rhelYuZ-x86_64-dd.iso à l’aide de la console virtuelle iDRAC de Dell. • Montez l'image bnxt_en-x.x.x-rhelYuZ-x86_64-dd.iso à partir d'un CD/DVD. • Extrayez l'image bnxt_en-x.x.x-rhelYuZ-x86_64-dd.iso, copiez le contenu sur un périphérique USB et montez ce périphérique USB. 26 février 2018 • NetXtreme-E-UG100 Page 31 Manuel d'utilisation NetXtreme-E Progiciels et installation Commandes Ethtool de Linux Remarque : Dans le Tableau 19, ethX doit être remplacé par le véritable nom de l'interface. Tableau 19 : Commandes Ethtool de Linux Commande Description ethtool -s ethX speed 25000 autoneg off Définit la vitesse. Si la liaison est active sur un port, le pilote ne permettra pas que l'autre port soit défini sur une vitesse incompatible. La sortie inclut la version du progiciel, la version du BIOS de la carte NIC (code d'amorçage). Affiche les fonctions de déchargement. Désactive TSO. Désactivez GRO/LRO. Affiche les tailles d'anneau. Définit les tailles d’anneau. Affiche les statistiques. Affiche le nombre d’anneaux. Définit le nombre d'anneaux. Définit la fusion de l'interruption. Les autres paramètres pris en charge sont les suivants : rx-usecs, rx-frames, rx-usecs-irq, rx-frames-irq, tx-usecs, tx-frames, txusecs-irq, tx-frames-irq. Affiche la table d'indirection de hachage du flux RSS et la clé RSS. Activez la négociation automatique (voir « Configuration de la négociation automatique » page 41 pour plus de détails) Affiche l'état EEE. Désactive EEE. Active EEE, mais désactiver LPI. Désactive RSS. Définissez les canaux combinés sur 1. Désactive le RFS accéléré en désactivant les filtres ntuple. Active le RFS accéléré. Effectue divers autotests de diagnostic. Active le RFS pour l'anneau X. ethtool -i ethX ethtool -k ethX ethtool -K ethX tso off ethtool -K ethX gro off lro off ethtool -g ethX ethtool -G ethX rx N ethtool -S ethX ethtool -l ethX ethtool -L ethX rx 0 tx 0 combined M ethtool -C ethX rx-frames N ethtool -x ethX ethtool -s ethX autoneg on speed 10000 duplex full ethtool --show-eee ethX ethtool --set-eee ethX eee off ethtool --set-eee ethX eee on tx-lpi off ethtool -L ethX combined 1 rx 0 tx 0 ethtool -K ethX ntuple off ethtool -K ethX ntuple on Ethtool -t ethX echo 32768 > /proc/sys/net/core/ rps_sock_flow_entries echo 2048 > /sys/class/net/ethX/queues/rx-X/ rps_flow_cnt sysctl -w net.core.busy_read=50 26 février 2018 • NetXtreme-E-UG100 Cette commande définit la durée accordée au périphérique pour lire l'anneau de réception sur 50 usec. Pour les applications de socket en attente de données, l'utilisation de cette méthode peut généralement réduire la latence de 2 ou 3 usecs, au détriment d'une meilleure utilisation de l'UC. Page 32 Manuel d'utilisation NetXtreme-E Progiciels et installation Tableau 19 : Commandes Ethtool de Linux (suite) Commande Description echo 4 > /sys/bus/pci/devices/0000:82:00.0/ sriov_numvfs ip link set ethX vf 0 mac 00:12:34:56:78:9a ip link set ethX vf 0 state enable ip link set ethX vf 0 vlan 100 Active SR-IOV avec quatre VF sur le bus 82, périphérique 0 et fonction 0. Définit l'adresse MAC de la VF. Définit l'état de la liaison VF pour VF 0. Définit VF 0 avec ID VLAN 100. VMware Les pilotes ESX sont fournis au format VIB standard VMware. 1. Pour installer les pilotes Ethernet et RDMA, exécutez les commandes suivantes : $ esxcli software vib install --no-sig-check -v <bnxtnet>-<driver version>.vib $ esxcli software vib install --no-sig-check -v <bnxtroce>-<driver version>.vib 2. Le système doit être redémarré pour que le nouveau pilote prenne effet. Le Tableau 20 présente d'autres commandes VMware utiles. Remarque : Dans le Tableau 20, vmnicX doit être remplacé par le véritable nom de l'interface. Remarque : $ kill -HUP $(cat /var/run/vmware/vmkdevmgr.pid) Cette commande doit être utilisée après la commande vmkload_mod bnxtnet pour que le module puisse s’afficher. Tableau 20 : Commandes VMware Commande Description esxcli software vib list |grep bnx Répertorie les VIB installés pour savoir si le pilote bnxt a été correctement installé. esxcfg-module –I bnxtnet Imprime les informations de module qui s’affichent à l'écran. esxcli network get –n vmnicX Affiche les propriétés vmnicX. esxcfg-module –g bnxtnet Imprime les paramètres du module. esxcfg-module –s ‘multi_rx_filters=2 disable_tap=0 Définit les paramètres du module. max_vfs=0,0 RSS=0’ vmkload_mod –u bnxtnet Décharge le module bnxtnet. vmkload_mod bnxtnet Charge le module bnxtnet. esxcli network nic set –n vmnicX –D full –S 25000 Définit la vitesse et le mode duplex de vmnicx. esxcli network nic down –n vmnicX Désactive vmnicx. esxcli network nic up –n vmnic6 Activer vmnicx. bnxtnetcli –s –n vmnic6 –S “25000” Définit la vitesse de liaison. La commande bnxtnetcli est nécessaire pour les anciennes versions ESX afin de permettre la prise en charge du paramètre de débit 25G. 26 février 2018 • NetXtreme-E-UG100 Page 33 Manuel d'utilisation NetXtreme-E Progiciels et installation Mise à jour du micrologiciel Le micrologiciel de la carte NIC peut être mis à jour via l'une des méthodes suivantes : • Via le progiciel de mise à jour Dell (DUP) lorsque le système est à l'état SE démarré. Cette méthode s'applique uniquement aux systèmes d'exploitation Windows et Linux. • Via Dell iDRAC - Lifecycle Controller. Cette méthode peut être utilisée quel que soit le système d'exploitation. Si le système exécute VMware, utilisez Lifecycle Controller pour mettre à jour le micrologiciel. Reportez-vous à la page de support produit, à l'adresse http://www.dell.com/support Dell Update Package Les sections suivantes abordent l'utilisation du progiciel Dell Update Package (DUP) : Windows Le micrologiciel du contrôleur Broadcom NetXtreme E-Series peut être mis à niveau à l'aide du progiciel Dell DUP. L'exécutable est fourni au format exécutable Windows X64 standard. Double-cliquez sur le fichier pour l'exécuter. Les progiciels DUP peuvent être téléchargés à partir du site http://support.dell.com Linux Le progiciel Dell Linux DUP est fourni au format exécutable x86_64. Utilisez la commande Linux chmod standard pour mettre à jour l'autorisation d'exécution et lancez l'exécutable. Reportez-vous à l'exemple suivant : 1. Connectez-vous à Linux. 2. Exécutez une commande scp ou cp sur l'exécutable du progiciel DUP sur le système de fichiers. Exemple type : cp /var/run/media/usb/Network_Firmware_<version>.BIN /root/ 3. Exécutez la commande suivante : chmod 755 Network_Firmware_<version>.BIN 4. Exécutez la commande suivante : ./Network_Firmware_<version>.BIN Un redémarrage est nécessaire pour activer le nouveau micrologiciel. 26 février 2018 • NetXtreme-E-UG100 Page 34 Manuel d'utilisation NetXtreme-E Propriétés avancées du pilote Windows et messages du journal d'événements Propriétés avancées du pilote Windows et messages du journal d'événements Propriétés avancées du pilote Les propriétés avancées du pilote Windows sont affichées dans le Tableau 21. . Tableau 21 : Propriétés avancées du pilote Windows Clé pilote Paramètres Description Déchargement de tâches encapsulées Activer ou Désactiver Utilisé pour la configuration du déchargement de tâches encapsulées NVGRE. Energy Efficient Ethernet Activer ou Désactiver La fonction EEE est activée pour les ports en cuivre et désactivée pour les ports SFP+ ou SFP28. Elle est uniquement activée pour la carte BCM957406A4060. Contrôle de flux TX ou RX ou TX/RX activé Configure le contrôle de flux sur RX ou Tx ou sur les deux côtés. Modération de l'interruption Activer ou Désactiver La valeur par défaut est Activé. Permet le traitement par lots des trames en réduisant le temps UC. Paquet Jumbo 1514 ou 4088 ou 9014 Taille de paquet Jumbo. Déchargement important à l'émission V2 (IPV4) Activer ou Désactiver LSO pour IPV4. Déchargement important à l'émission V2 (IPV6) Activer ou Désactiver LSO pour IPV6. Adresse administrée localement Adresse MAC saisie par l'utilisateur. Remplace l'adresse matérielle MAC par défaut après le redémarrage du SE. Nombre maximal de files d'attente RSS 2, 4 ou 8. La valeur par défaut est 8. Permet à l'utilisateur de configurer des files d’attente RSS. Priorité et VLAN Priorité et VLAN désactives, Priorité activée, VLAN activé, Priorité et VLAN activés. La valeur par défaut est Activé. Utilisée pour configurer 802.1Q et 802.1P. Tampons de réception (0=Auto) Incrément de 500. Auto est le paramètre par défaut. Mise à l'échelle côté réception (RSS) Activer ou Désactiver. La valeur par défaut est Activé. Réception de la fusion de segment (IPV4) Activer ou Désactiver. La valeur par défaut est Activé. Réception de la fusion de segment (IPV6) Activer ou Désactiver. La valeur par défaut est Activé. 26 février 2018 • NetXtreme-E-UG100 Page 35 Manuel d'utilisation NetXtreme-E Propriétés avancées du pilote Windows et messages du journal d'événements Tableau 21 : Propriétés avancées du pilote Windows (suite) Clé pilote Paramètres Description Profil d'équilibrage de charge RSS Mise à l'échelle statique NUMA, Processeur le plus proche, Processeur statique le plus proche, Mise à l'échelle conservatrice, Mise à l'échelle NUMA. La valeur par défaut est Mise à l'échelle statique NUMA. Vitesse et Mode duplex 1 Gbit/s, 10 Gbit/s, 25 Gbit/s ou Négociation automatique. Les ports en cuivre 10 Gbit/s peuvent négocier automatiquement des vitesses, tandis que les ports 25 Gbit/s sont définis sur des vitesses imposées. SR-IOV Activer ou Désactiver. La valeur par défaut est Activé. Ce paramètre fonctionne conjointement au paramètre HW configuré SR-IOV et BIOS configuré SR-IOV. Déchargement de la somme de contrôle TX/RX activé, TX activé ou TCP/UDP IPV4 RX activé ou déchargement désactivé. La valeur par défaut est RX/ TX activé. Déchargement de la somme de contrôle TX/RX activé, TX activé ou TCP/UDP IPV6 RX activé ou déchargement désactivé. La valeur par défaut est RX/ TX activé. Transmit Buffers (0=Auto) (Tampons de Incrément de 50. transmission) La valeur par défaut est Auto. File d'attente de machines virtuelles (VMQ) Activer ou Désactiver. La valeur par défaut est Activé. ID VLAN Nombre configurable par l'utilisateur. La valeur par défaut est 0. Messages du journal des événements Le Tableau 22 présente les messages consignés par le pilote Windows NDIS dans le journal des événements. Tableau 22 : Messages du journal des événements sous Windows ID de message Commentaire 0x0001 Echec de l'allocation de mémoire. 0x0002 Liaison inactive détectée. 0x0003 Liaison active détectée. 0x0009 Liaison 1000 complète. 0x000A Liaison 2500 complète. 0x000b Initialisation réussie. 0x000c Réinitialisation du miniport. 0x000d Echec de l'initialisation. 0x000E Liaison 10 Gbits réussie. 26 février 2018 • NetXtreme-E-UG100 Page 36 Manuel d'utilisation NetXtreme-E Propriétés avancées du pilote Windows et messages du journal d'événements Tableau 22 : Messages du journal des événements sous Windows (suite) ID de message Commentaire 0x000F Echec de la liaison de la couche du pilote. 0x0011 Echec de la définition des attributs. 0x0012 Echec du DMA par ventilation-regroupement. 0x0013 Echec de l'initialisation de la file d'attente par défaut. 0x0014 Version de micrologiciel incompatible. 0x0015 Interruption unique. Tableau 23 : Messages du journal des événements 0x0016 Le micrologiciel n’a pas répondu dans le temps alloué. 0x0017 Le micrologiciel a renvoyé un état d’échec. 0x0018 Le micrologiciel se trouve dans un état inconnu. 0x0019 Le module optique n'est pas pris en charge. 0x001A Sélection d’un débit incompatible entre le port 1 et le port 2. Les débits de liaison indiqués sont corrects mais ne correspondent peut-être pas au paramétrage de la vitesse et du mode duplex. 0x001B Sélection d’un débit incompatible entre le port 1 et le port 2. La configuration de la liaison est interdite. 0x001C Network controller configured for 25Gb full-duplex link. (Le contrôleur réseau est configuré pour une liaison duplex intégral de 10 Gbit.) 0x0020 L’initialisation de la prise en charge du protocole RDMA a échoué. 0x0021 Le micrologiciel RDMA du périphérique est incompatible avec ce pilote. 0x0022 La taille Doorbell BAR est insuffisante pour RDMA. 0x0023 Echec du redémarrage RDMA lors de réinitialisation du périphérique. 0x0024 Echec du redémarrage RDMA lors de la mise sous tension du système. 0x0025 Echec du redémarrage RDMA. Ressources insuffisantes. 0x0026 RDMA n'est pas activé dans le micrologiciel. 0x0027 Echec du démarrage, aucune adresse MAC n'est définie. 0x0028 Arrêt de transmission détecté. Le contrôle de flux TX est maintenant désactivé. 26 février 2018 • NetXtreme-E-UG100 Page 37 Manuel d'utilisation NetXtreme-E Regroupement Regroupement Windows Les périphériques Broadcom NetXtreme-E installés sur les plates-formes Dell peuvent participer à la fonction de regroupement des cartes réseau via la solution d'association de Microsoft. Reportez-vous à la documentation mise à disposition par Microsoft sur la page Web suivante : https://www.microsoft.com/en-us/download/details.aspx?id=40319 Microsoft LBFO est un pilote d'association natif qui peut être utilisé dans le SE Windows. Le pilote d’association fournit également des fonctions de balisage VLAN. Linux La fonction de création de liaisons Linux est utilisée pour le regroupement sous Linux. Le principe est de charger le pilote de liaison, puis d'ajouter des membres d'équipe à la liaison responsable du chargement/de l'équilibrage du trafic. Pour configurer la fonction de création de liaisons Linux, procédez comme suit : 1. Exécutez la commande suivante : modprobe bonding mode=”balance-alb”. Une interface de liaison est créée. 2. Ajoutez des clients de liaison à l'interface de liaison. Exemple : ifenslave bond0 ethX; ifenslave bond0 ethY 3. Affectez une adresse IPV4 pour lier l'interface via ifconfig bond0 IPV4Address netmask NetMask up. IPV4Address et NetMask représentent une adresse IPV4 et le masque de réseau associé. Remarque : IPV4Address doit être remplacé par la véritable adresse IPV4 du réseau. NetMask doit être remplacé par le véritable masque de réseau IPV4. 4. Affectez une adresse IPV6 pour lier l'interface via ifconfig bond0 IPV6Address netmask NetMask up. IPV6Address et NetMask représentent une adresse IPV6 et le masque de réseau associé. Remarque : IPV6Address doit être remplacé par la véritable adresse IPV6 du réseau. NetMask doit être remplacé par le véritable masque de réseau IPV6. Reportez-vous à la documentation Linux relative à la création de liaisons pour les configurations avancées. 26 février 2018 • NetXtreme-E-UG100 Page 38 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Configuration au niveau du système Reportez-vous aux sections suivantes pour plus d'informations sur la configuration des cartes réseau au niveau du système. Menu UEFI HII Les contrôleurs Broadcom NetXtreme E-Series peuvent être définis pour une configuration de pré-amorçage, iSCSI et avancée telle que SR-IOV via le menu HII (Human Interface, Interface humaine). Pour configurer les paramètres, sélectionnez F2 -> Configuration système -> Paramètres du périphérique pendant le démarrage du système. Sélectionnez la carte réseau souhaitée pour afficher et modifier la configuration. Page de configuration principale Cette page affiche l'état de la liaison réseau en cours, PCI-E Bus:Device:Function, l'adresse MAC de la carte et du périphérique Ethernet. Une carte 10GBaseT permet à l'utilisateur d'activer ou de désactiver la fonction EEE (Energy Efficient Ethernet). Propriétés de l'image du microprogramme Page de configuration principale -> Les propriétés de l'image du micrologiciel affichent la version du micrologiciel qui se compose des numéros de version du contrôleur BIOS, de l’agent MBA (Multi Boot Agent), de l'interface UEFI, de la norme iSCSI et de l'utilitaire CCM (Comprehensive Configuration Management). Configuration du niveau du périphérique Page de configuration principale -> La configuration du niveau du périphérique permet à l'utilisateur d'activer le mode SR-IOV, le nombre de fonctions virtuelles par fonction physique, les vecteurs MSI-X par fonction virtuelle et le nombre maximum de vecteurs MSI-X par fonction physique. Configuration de la carte NIC Configuration de la carte réseau -> Le protocole d'amorçage hérité est utilisé pour sélectionner et configurer PXE, iSCSI ou désactiver le mode d'amorçage hérité. Le type d'amorçage peut être Auto, int18h (interruption 18h), int19h (interruption 19h) ou BBS. MBA et iSCSI peuvent également être configurés via CCM. Le mode BIOS hérité utilise CCM pour la configuration. L'invite de définition du masquage peut être utilisée pour activer ou désactiver l'affichage de la bannière. VLAN pour PXE peut être activé ou désactivé et l'ID VLAN peut être configuré par l'utilisateur. Reportez-vous à la section « Configuration de la négociation automatique » page 41 pour plus d’informations sur les options de configuration de la vitesse de liaison. 26 février 2018 • NetXtreme-E-UG100 Page 39 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Configuration iSCSI La configuration de l'amorçage iSCSI peut être définie via la Page de configuration principale -> Configuration iSCSI. Les paramètres tels que IPV4 ou IPV6, initiateur iSCSI ou cible iSCSI peuvent être définis sur cette page. Reportez-vous à la section « Initialisation iSCSI » page 50 pour obtenir des informations détaillées sur cette configuration. CCM (Comprehensive Configuration Management) La configuration de pré-amorçage peut être définie à l'aide de l'option de menu Comprehensive Configuration Management (CCM). Lors du POST du BIOS du système, le message de la bannière Broadcom s'affiche avec une option pour modifier les paramètres à l'aide des touches Ctrl+S. Lorsque les touches Ctrl+S sont enfoncées, une liste de périphériques est renseignée avec toutes les cartes réseau Broadcom trouvées sur le système. Sélectionnez la carte réseau de votre choix pour la configuration. Configuration matérielle du périphérique Les paramètres pouvant être configurés dans cette section sont les mêmes que ceux configurés via l'option « Configuration du niveau du périphérique » du menu HII. Menu de configuration MBA Les paramètres pouvant être configurés dans cette section sont les mêmes que ceux configurés via l'option « Configuration de la carte NIC » du menu HII. Menu principal de l’initialisation iSCSI Les paramètres pouvant être configurés dans cette section sont les mêmes que ceux configurés via l'option « Configuration iSCSI » du menu HII. 26 février 2018 • NetXtreme-E-UG100 Page 40 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Configuration de la négociation automatique Remarque : Dans les périphériques NPAR (partitionnement de la carte réseau) où un port est partagé par plusieurs fonctions PCI, la vitesse du port est préconfigurée et ne peut pas être modifiée par le pilote. Le contrôleur Broadcom NetXtreme-E prend en charge les fonctions de négociation automatique suivantes : • Négociation automatique de la vitesse de liaison • Négociation automatique de la mise en pause/du contrôle de flux • Négociation automatique FEC (Forward Error Correction, correction d'erreurs sans voie de retour) Remarque : En ce qui concerne la négociation automatique de la vitesse de liaison, utilisez des émetteurs-récepteurs DAC ou optiques multimodes capables de prendre en charge la négociation automatique si vous utilisez des connecteurs SFP+ ou SFP28. Vérifiez que le port partenaire de liaison a été défini sur le protocole de négociation automatique correspondant. Par exemple, si le port Broadcom local est défini sur le protocole de négociation automatique IEEE 802.3by, le partenaire de liaison doit prendre en charge la négociation automatique et doit être défini sur le protocole de négociation automatique IEEE 802.3by. Remarque : Pour les contrôleurs réseau NetXtreme-E double port, la combinaison de vitesses de liaison 10 Gbit/s et 25 Gbit/s n’est pas prise en charge. Les combinaisons de vitesse de liaison prises en charge pour le contrôle NetXtreme-E à deux ports sont présentées sur le Tableau 24 page 42. 26 février 2018 • NetXtreme-E-UG100 Page 41 Configuration au niveau du système Manuel d'utilisation NetXtreme-E Tableau 24 : Combinaisons de vitesses de liaison prises en charge Port 2 Link Setting Port1 Link Speed Setting Forced 1G Forced 10G Forced 25G Forced 1G Forced 10G Forced 25G AN Enabled AN Enabled {1G} {10G} AN Enabled {25G} AN Enabled {1/ 10G} AN Enabled {1/ 25G} AN Enabled {10/ 25G} AN Enabled {1/10/ 25G} P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P2: no AN P2: no AN P2: no AN P2: {1G} P2: AN {10G} P2: AN {25G} P2: AN {1/10G} P2: AN {1/25G} P2: AN {10/25G} P2: AN {1/10/25G} P1: no AN P1: no AN Not supported P1: no AN P1: no AN Not supported P1: no AN P1: no AN P1: no AN P1: no AN P2: no AN P2: no AN P1: no AN Not supported P2: no AN P2: {1G} P2: {10G} P2: AN {1/10G} P2: AN {1G} P2: AN {10G} P2: AN {1/10G} P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P2: AN {1/25G} P2: no AN P2: no AN P2: no AN P2: no AN P2: AN {1G} P2: AN {1/25G} P2: AN {25G} AN Enabled {1G} P1: {1G} P1: {1G} P1: {1G} P1: AN {1G} P1: AN {1G} P1: AN {1G} P1: AN {1G} P1: AN {1G} P1: AN {1G} P1: AN {1G} P2: no AN P2: no AN P2: no AN P2: AN {1G} P2: AN {10G} P2: AN {25G} P2: AN {1/10G} P2: AN {1/25G} P2: AN {10/25G} P2: AN {1/10/25G} AN Enabled {10G} P1: AN {10G} P1: AN {25G} Not supported Not supported P1: AN {10G} P2: no AN P2: no AN AN Enabled {25G} P1: AN {25G} Not supported AN Enabled {1/10G} P1: AN {1/10G} P1: AN {1/10G} P1: AN {1G} P1: AN {1/10G} P1: AN {1/10G} P2: no AN P2: AN {1G} P2: AN {10G} AN Enabled {1/25G} P1: AN {1/25G} P1: {1G} P1: AN {1/25G} P1: AN {1/25G} P1: AN {1G} P1: AN {1/25G} P1: AN {10/25G} P2: no AN P2: no AN P2: no AN P2: AN {1G} P2: AN {10G} P2: AN {25G} P2: AN {1/10G} AN Enabled {10/25G} P1: AN {10/ 25G} P1: {10G} P1: AN {25G} P1: AN {10/25G} P1: AN {10G} P1: AN {25G} P1: AN {1/10/25G} P1: AN {25G} P2: no AN P2: no AN P2: no AN P2: AN {1G} P2: AN {10G} P2: AN {25G} P2: AN {1/10G} P1: AN {1/10/ 25G} P1: {1/10G} P1: AN {1/25G} P1: AN {1/10/ 25G} P1: AN {1/10G} P1: AN {1/25G} P1: AN {1/10/25G} P2: no AN P2: no AN P2: no AN P2: AN {10G} P2: AN {25G} P2: AN {1/10G} AN Enabled {1/10/25G} P2: no AN P2: no AN P1: AN {10G} P1: AN {10G} P2: AN {1G} P2: AN {10G} P1: AN {25G} P1: AN {25G} Not supported P2: no AN P2: AN {1G} P2: no AN P2: AN {1G} P1: AN {25G} P1: AN {10G} P1: AN {10G} P2: AN {1G} P2: AN {1G} P2: AN {10G} P2: AN {1/10G} P1: AN {25G} P1: AN {1/10G} P1: AN {25G} P1: AN {25G} P1: AN {25G} P2: AN {25G} P2: AN {1/10G} P2: AN {1/25G} P2: AN {25G} P2: AN {1/25G} P1: AN {1/10G} P1: AN {1/25G} P1: AN {1G} P1: AN {1/10G} P1: AN {1/10G} P2: AN {25G} P2: AN {1/10G} P2: AN {1G} P2: AN {10G} P2: AN {1/10G} P1: AN {1/25G} P1: AN {1/25G} P1: AN {1/25G} P2: AN {1/25G} P2: AN {25G} P2: AN {1/25G} P1: AN {10/25G} P1: AN {10/25G} P2: AN {25G} P2: AN {10/25G} P2: AN {1/10/25G} P1: AN {1/25G} P1: AN {1/10/25G} P1: AN {1/10/25G} P2: AN {1/25G} P2: AN {10/25G} P2: AN {1/10/25G} Remarque : Utilisez un émetteur-récepteur optique pris en charge ou un câble en cuivre d'attache directe pour atteindre la vitesse de liaison 1 Gbit/s. • P1 : configuration port 1 • P2 : configuration port 2 • AN : négociation automatique • No AN : vitesse forcée 26 février 2018 • NetXtreme-E-UG100 Page 42 Configuration au niveau du système Manuel d'utilisation NetXtreme-E • {vitesse de liaison} : vitesse de liaison attendue • AN {vitesses de liaison} : vitesses de liaison annoncées avec prise en charge de la négociation automatique. Les vitesses de liaison attendues sur les paramètres locaux et du partenaire de liaison sont indiquées sur le Tableau 25. Tableau 25 : Vitesses de liaison attendues Link Partner Speed Settings Local Speed Settings Forced Forced 1G 10G Forced 25G AN AN Enabled Enabled {10G} {1G} AN Enabled {25G} AN Enabled {1/10G} AN Enabled {1/ AN Enabled AN Enabled 25G} {10/25G} {1/10/25G} Forced 1G Forced 10G Forced 25G AN {1G} AN {10G} AN {25G} AN {1/10G} AN {1/25G} AN {10/25G} AN {1/10/25G} 1G No link No link No link No link No link No link No link No link No link No link No link 25G No link No link No link No link No link No link No link No link No link No link 1G No link No link 1G 1G No link 1G No link No link No link No link No link 25G No link 25G 25G 25G No link No link No link 1G 10G No link 10G 1G 10G 10G No link No link No link 1G No link 25G 1G 25G 25G 25G No link 10G No link No link No link No link No link No link No link No link No link No link No link No link 10G No link 10G No link 10G 10G No link No link No link No link 10G 25G 10G 25G 25G 25G No link No link No link 1G 10G 25G 10G 25G 25G 25G Remarque : La vitesse de liaison 1 Gbit/s pour SFP+/SFP28 n'est actuellement pas prise en charge dans cette version. Pour activer la négociation automatique de la vitesse de liaison, les options suivantes peuvent être activées dans le BIOS du système, dans le menu HII ou dans le CCM : Remarque : La détection automatique des supports doit être activée lors de l'activation de la négociation automatique de la vitesse de liaison en cas de connexion via un module/câble d'émetteurrécepteur optique. BIOS système-> Paramètres du périphérique -> NetXtreme-E-> Configuration du niveau du périphérique 26 février 2018 • NetXtreme-E-UG100 Page 43 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Vitesse de liaison opérationnelle Cette option configure la vitesse de liaison utilisée par les pilotes de pré-démarrage (MBA et UEFI) (Linux, ESX), le pilote du système d'exploitation et le micrologiciel. Ce paramètre est remplacé par le paramètre de pilote dans l’état actuel du système d'exploitation. Le pilote Windows (bnxtnd_.sys) utilise les paramètres de vitesse de liaison du fichier driver .inf. Vitesse de liaison du microprogramme Cette option permet de configurer la vitesse de liaison utilisée par le micrologiciel lorsque le périphérique est en D3. Protocole de négociation automatique Il s'agit du protocole de négociation automatique pris en charge utilisé pour négocier la vitesse de liaison avec le partenaire de liaison. Cette option doit correspondre au paramètre du protocole de négociation automatique dans le port du partenaire de liaison. La carte réseau Broadcom NetXtreme-E prend en charge les protocoles de négociation automatique suivants : IEEE 802.3by, consortiums 25G/50G et BAM 25G/50G. Par défaut, cette option est définie sur IEEE 802.3by et se rapporte aux consortiums 25G/50G. Les paramètres de vitesse de liaison et de contrôle de flux/pause doivent être configurés dans le pilote du système d'exploitation hôte. Paramètres du pilote Windows Pour accéder aux paramètres du pilote Windows : Ouvrez le menu Gestionnaire de périphériques Windows -> Carte Broadcom NetXtreme E Series -> Propriétés avancées -> onglet Avancé. Contrôle de flux = négociation automatique Cette fonction permet d’activer la négociation automatique des trames de contrôle de flux/pause. Vitesse et duplex = négociation automatique Cette fonction permet d’activer la négociation automatique de la vitesse de liaison. Paramètres du pilote Linux Remarque : Pour les cartes réseau NetXtreme-E 10GBase-T, la négociation automatique doit être activée. La vitesse 25G annoncée correspond à une norme plus récente, d'abord définie dans l'interface ethtool du noyau 4.7. Pour prendre intégralement en charge ces nouvelles vitesses annoncées pour la négociation automatique, vous devez utiliser un noyau 4.7 (ou plus récent) et une version plus récente de l'utilitaire ethtool (version 4.8). 26 février 2018 • NetXtreme-E-UG100 Page 44 Manuel d'utilisation NetXtreme-E Configuration au niveau du système ethtool -s eth0 speed 25000 autoneg off Cette commande désactive la négociation automatique et impose la vitesse de liaison de 25 Gbit/s. ethtool -s eth0 autoneg on advertise 0x0 Cette commande active la négociation automatique et annonce que le périphérique prend en charge toutes les vitesses : 1G, 10G, 25G. Les vitesses annoncées ci-dessous sont prises en charge. • 0x020 – 1000baseT Full • 0x1000 – 10000baseT Full • 0x80000000 – 25000baseCR Full ethtool -A eth0 autoneg on|off Utilisez cette commande pour activer/désactiver la négociation automatique des trames Pause. ethtool -a eth0 Utilisez cette commande pour afficher le paramètre actuel de négociation automatique du contrôle de flux. Paramètres du pilote ESXi Remarque : Pour les cartes réseau NetXtreme-E 10GBase-T, la négociation automatique doit être activée. L’utilisation d'une vitesse forcée sur une carte 10GBase-T entraîne l’échec de la commande esxcli. Remarque : VMWare ne prend pas en charge les vitesses 25G dans ESX6.0. Dans ce cas, utilisez le second utilitaire (BNXTNETCLI) pour définir la vitesse 25G. Pour ESX6.0U2, la vitesse 25G est prise en charge. $ esxcli network nic get -n <iface> Cette commande affiche la vitesse actuelle, le mode duplex, la version du pilote, la version du micrologiciel et l'état de la liaison. $ esxcli network nic set -S 10000 -D full -n <iface> Cette commande définit la vitesse imposée sur 10 Gbit/s. $ esxcli network nic set -a -n <iface> Cette commande permet d'activer la négociation automatique de la vitesse de liaison sur l’interface <iface>. $ esxcli network nic pauseParams list Utilisez cette commande pour obtenir la liste des paramètres de pause. 26 février 2018 • NetXtreme-E-UG100 Page 45 Manuel d'utilisation NetXtreme-E Configuration au niveau du système $ esxcli network nic pauseParams set --auto <1/0> --rx <1/0> --tx <1/0> -n <iface> Utilisez cette commande pour définir les paramètres de pause. Remarque : La négociation automatique du contrôle de flux/pause peut être définie uniquement lorsque l'interface est configurée en mode de négociation automatique de la vitesse de liaison. Négociation automatique FEC Pour activer/désactiver la négociation automatique de liaison FEC, les options suivantes peuvent être activées dans le BIOS du système, dans le menu HII ou dans le CCM : • BIOS système-> Paramètres du périphérique -> NetXtreme-E-> Configuration du niveau du périphérique La négociation automatique FEC utilise deux paramètres pendant l'échange : FEC capable et FEC request. Si la carte réseau annonce la compatibilité avec la négociation automatique FEC, les paramètres FEC sont contrôlés par le commutateur. Elle peut alors s'associer à un commutateur qui active ou désactive FEC. Exemples: – switch – capable=1, request = 1 then, the link is a FEC link. – switch – capable= N/A, request= 0 = then the FEC is disabled. Pour les contrôleurs NetXtreme-E Ethernet, seul Base-R FEC (CL74) est pris en charge. Le Tableau 26 affiche toutes les configurations prises en charge avec un partenaire de liaison. Tableau 26 : Configurations FEC prises en charge pour le modèle BCM5730X/BCM5740X Paramètre FEC du partenaire de liaison Paramètre SFEC local Force Speed No FEC Force Speed BaseAN (None) R FEC CL74 Liaison avec/sans Pas de liaison FEC Force Speed Base-R FEC CL74 Pas de liaison Base-R FEC CL74 AN (None) Pas de liaison Pas de liaison AN (None, Base-R) Force Speed No FEC Pas de liaison Pas de liaison Pas de liaison Base-R FEC CL74 AN (None, Base-R) Pas de liaison Liaison avec/sans FEC Base-R FEC CL74 Pas de liaison Pas de liaison Base-R FEC CL74 Remarque : Pour imposer la vitesse, le paramètre de vitesse doit être identique des deux côtés. Remarque : AN {None} signifie qu'AN annonce le bit compatible Base-R. Définissez le bit F0 sur IEEE802.3by et le bit F2 sur Consortium. Remarque : AN {None, Base-R} signifie qu'AN annonce le bit compatible et le bit requis Base-R. Définissez les bits F0 et F1 sur IEEE802.3by, et les bits F2 et F4 sur Consortium. 26 février 2018 • NetXtreme-E-UG100 Page 46 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Pour le contrôleur NetXtreme-E Ethernet, FEC prend en charge Base-R FEC (CL74) et RS-FEC (CL91/CL108). Le Tableau 27 affiche toutes les configurations prises en charge avec un partenaire de liaison. Tableau 27 : Configurations FEC prises en charge pour le modèle BCM5741X Paramètre FEC du partenaire de liaison Force Speed No FEC Force Speed Base-R FEC CL74 Force Speed RS-FEC CL91/ CL108 AN (None) Imposer sans Liaison FEC avec/sans FEC Pas de liaison Pas de liaison Pas de liaison Pas de liaison Pas de liaison Force Speed Pas de Base-R FEC liaison CL74 Base-R FEC CL74 Pas de liaison Pas de liaison Pas de liaison Pas de liaison Imposer RSFEC CL91/ CL108 Pas de liaison Pas de liaison RS-FEC CL91/ CL108 Pas de liaison Pas de liaison Pas de liaison AN (None) Pas de liaison Pas de liaison Pas de liaison Liaison avec/ sans FEC Base-R FEC CL74 RS-FEC CL91/CL108 AN (None, Base-R) Pas de liaison Pas de liaison Pas de liaison Base-R FEC CL74 Base-R FEC CL74 RS-FEC CL91/CL108 AN (None, Base-R, RS) Pas de liaison Pas de liaison Pas de liaison RS-FEC CL91/CL108 RS-FEC CL91/ CL108 RS-FEC CL91/CL108 Paramètre FEC local An (None, Base- AN (None, Base-R, R) RS) Remarque : Pour imposer la vitesse, le paramètre de vitesse doit être identique des deux côtés. Remarque : AN {None} signifie qu'AN annonce le bit compatible Base-R. Définissez le bit F0 sur IEEE802.3by et le bit F2 sur Consortium. Remarque : AN {None, Base-R} signifie qu'AN annonce le bit compatible et le bit requis Base-R. Définissez les bits F0 et F1 sur IEEE802.3by, et les bits F2 et F4 sur Consortium. Link Training Link Training permet aux deux points de terminaison, à savoir la carte Broadcom et l'autre côté, d'ajuster les paramètres de puissance et autres paramètres de réglage afin d'optimiser la fiabilité et l'efficacité du canal de communication entre les deux périphériques. L'objectif consiste à ne plus avoir besoin de réglage spécifique au canal entre les différents types et longueurs de câbles. Link Training est exécuté pour les vitesses CR/KR et s'effectue avant la négociation automatique. Link Training est opérationnel lorsque la négociation automatique est activée. La politique de liaison désactive automatiquement l'option Link Training si cette dernière n'aboutit à aucune liaison avec le partenaire de liaison. Cette politique garantit la compatibilité avec un partenaire de liaison ne prenant pas en charge Link Training. 26 février 2018 • NetXtreme-E-UG100 Page 47 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Le Tableau 28 affiche la relation entre le type de support et la vitesse pour les contrôleurs Ethernet BCM5730X, BCM5740X et BCM5741X. Tableau 28 : Relation Link Training entre le type de support et la vitesse Paramètre Link Training du partenaire de liaison Type de câble local et du support Force Speed Link Training Disabled Force Speed Link Training Enabled AN (Link Training automatique) Force Speed DAC (SFP+/SFP28/ QSFP28) Liaison sans Link Training Liaison avec Link Training Liaison avec Link Training Force Speed optical (Transceiver/AOC) Liaison sans Link Training Liaison sans Link Training S/O AN DAC (SFP+SFP28/QSFP28) Pas de liaison Pas de liaison Liaison avec Link Training Détection automatique des supports Puisque la détection parallèle n'est pas prise en charge dans SerDes, le micrologiciel a mis en œuvre une méthode pour améliorer la détection des liaisons, appelée détection automatique des supports. Cette fonctionnalité est contrôlée par CCM/HII, comme indiqué dans la Figure 13. Lorsque la détection automatique des supports est activée, la politique de liaison suit l'ordinateur contrôlant les états (voir la Figure 13) pour établir une liaison avec un partenaire de liaison. Ce comportement dépend du type de support. Pour les câbles DAC, la méthode renvoie à différents modes d'imposition et s'interrompt en cas de liaison. REMARQUE: La détection parallèle n'est pas prise en charge en cas de négociation automatique à 25G ou 10GbE. Cela signifie que si seul un côté effectue une négociation automatique, la liaison ne pourra pas s'établir. Figure 13 : Ordinateur contrôlant les états pour la fonction de détection automatique des supports 26 février 2018 • NetXtreme-E-UG100 Page 48 Manuel d'utilisation NetXtreme-E Configuration au niveau du système Le Tableau 29 et le Tableau 30 affichent les résultats de la liaison avec la fonction Détection automatique des supports activée. Tableau 29 : Détection automatique des supports pour les modèles BCM5730X et le BCM5740X Paramètre Link Training du partenaire de liaison Paramètres du partenaire de liaison Vitesse 10G 25G AN Détection automatique des supports FEC Sans FEC Base-R FEC Sans FEC Liaison Liaison avec Base-R Base-R Pas de liaison Liaison avec Base-R Sans FEC Liaison Liaison Base-R Pas de liaison Liaison avec Base-R Désactivé Liaison Liaison FEC automatique Liaison Liaison avec Base-R Base-R Liaison avec Base-R Liaison avec Base-R Tableau 30 : Détection automatique des supports pour le modèle BCM5741X Paramètre Link Training du partenaire de liaison Paramètres du partenaire de liaison Vitesse 10G 25G AN FEC Détection automatique des supports Sans FEC Base-R FEC RS-FEC Sans FEC Liaison Liaison avec Base-R Pas de liaison Base-R Pas de liaison Liaison avec Base-R Pas de liaison RS Pas de liaison Pas de liaison Liaison avec RS-FEC Sans FEC Liaison Pas de liaison Pas de liaison Base-R Pas de liaison Liaison avec Base-R Pas de liaison RS Pas de liaison Pas de liaison Liaison avec RS-FEC Liaison Désactivé Liaison Liaison FEC automatique Liaison Liaison avec Base-R Liaison avec RS-FEC Base-R Liaison avec Base-R Liaison avec Base-R Liaison avec RS-FEC RS Liaison avec RS 26 février 2018 • NetXtreme-E-UG100 Liaison avec RS-FEC Liaison avec RS-FEC Page 49 Manuel d'utilisation NetXtreme-E Initialisation iSCSI Initialisation iSCSI Les cartes NetXtreme-E Ethernet de Broadcom prennent en charge l'initialisation iSCSI afin de permettre le démarrage réseau de systèmes d'exploitation sur des systèmes sans disque. L'initialisation iSCSI permet le démarrage d'un système d'exploitation Windows, Linux ou VMware à partir d'un ordinateur cible iSCSI se trouvant sur un réseau IP standard distant. Systèmes d'exploitation pris en charge pour l'initialisation iSCSI Les cartes NetXtreme-E Gigabit Ethernet de Broadcom prennent en charge l'initialisation iSCSI sur les systèmes d'exploitation suivants : • Windows Server 2012 et versions ultérieures 64 bits • Linux RHEL 7.1 et versions ultérieures, SLES11 SP4 et versions ultérieures • VMware 6.0 U2 Configuration de l'initialisation iSCSI Reportez-vous aux sections suivantes pour plus d'informations sur la configuration de l'initialisation iSCSI. Configuration de la cible iSCSI Remarque : Windows 2016 (ou version antérieure) peut disposer d'un pilote intégré obsolète qui prend uniquement en charge les vitesses de liaison imposées. Pour éviter tout problème d'installation tel qu'une incapacité à établir une liaison avec un partenaire de liaison incompatible, les utilisateurs sont fortement invités à personnaliser l'image/le support d'installation Windows avec le dernier pilote NIC disponible qui prend en charge la négociation automatique des vitesses de liaison. La configuration de la cible iSCSI varie en fonction des fournisseurs cibles. Pour plus d'informations sur la configuration de la cible iSCSI, reportez-vous à la documentation du fournisseur. Les étapes générales sont les suivantes : 1. Créez une cible iSCSI. 2. Créez un disque virtuel. 3. Mappez le disque virtuel à la cible iSCSI créée à l’Etape 1 page 50. 4. Associez un initiateur iSCSI à la cible iSCSI. 5. Enregistrez le nom de la cible iSCSI, le numéro du port TCP, le numéro d'unité logique (LUN) iSCSI, le nom IQN de l'initiateur et les détails d'authentification CHAP. 6. Une fois la cible iSCSI configurée, notez les éléments suivants : • Nom IQN de la cible • Adresse IP cible • Numéro de port TCP de la cible 26 février 2018 • NetXtreme-E-UG100 Page 50 Manuel d'utilisation NetXtreme-E Initialisation iSCSI • Numéro d'unité logique (LUN) de la cible • Nom IQN de l'initiateur • Réf. et clé secrète CHAP Configuration des paramètres d'initialisation iSCSI Configurez le logiciel d'initialisation iSCSI de Broadcom de manière statique ou dynamique. Reportez-vous au Tableau 31 pour connaître les options de configuration disponibles depuis le menu Paramètres généraux. Le Tableau 31 répertorie les paramètres pour IPv4 et IPv6. Les paramètres spécifiques à IPv4 ou IPv6 sont notés. Tableau 31 : Options de configuration Option Description Paramètres TCP/IP via DHCP Cette option est spécifique à IPv4. Contrôle si le logiciel hôte d'initialisation iSCSI obtient les informations d'adresse IP via DHCP (Activé) ou par le biais d'une configuration IP statique (Désactivé). Configuration auto de l'IP Cette option est spécifique à IPv6. Contrôle si le logiciel hôte d'initialisation iSCSI configure une adresse lien-local sans état et/ou une adresse avec état si DHCPv6 est présent et utilisé (Activé). Des paquets de sollicitation du routeur sont envoyés jusqu'à trois fois à un intervalle de 4 secondes entre chaque tentative. Vous pouvez aussi utiliser une configuration IP statique (Désactivé). Paramètres iSCSI via DHCP Contrôle si le logiciel hôte d'initialisation iSCSI obtient ses paramètres cibles iSCSI via DHCP (Activé) ou par le biais d'une configuration statique (Désactivé). Les informations statiques sont à indiquer dans l'écran Configuration des paramètres de l'initiateur iSCSI. Authentification CHAP Contrôle si le logiciel hôte d'initialisation iSCSI utilise une authentification CHAP lors de sa connexion à la cible iSCSI. Si l'authentification CHAP est activée, la réf. CHAP et la clé secrète CHAP sont à indiquer dans l'écran Configuration des paramètres de l'initiateur iSCSI. Réf. fournisseur DHCP Contrôle de quelle façon le logiciel hôte d'initialisation iSCSI interprète le champ ID de la classe du fournisseur utilisé avec DHCP. Si le champ ID de la classe du fournisseur du paquet de l'Offre DHCP correspond à la valeur du champ, le logiciel hôte d'initialisation iSCSI recherche les extensions d'initialisation iSCSI requises dans le champ Option DHCP 43. Si DHCP est désactivé, il n'est pas nécessaire de désactiver cette valeur. Durée d'établissement de la liaison Contrôle la durée d'attente du logiciel hôte d'initialisation iSCSI, en secondes, une fois la liaison Ethernet établie, avant de transmettre des données sur le réseau. Les valeurs valides sont comprises entre 0 et 255. Par exemple, un utilisateur devra définir une valeur pour cette option si un protocole réseau, tel que STP, est activé sur l'interface de commutateur du système client. Utiliser l'horodatage TCP Contrôle si l'option d'horodatage TCP est activée ou désactivée. Cibler comme premier disque dur Permet de définir le lecteur cible iSCSI comme premier lecteur de disque dur du système. Nombre d'essais de connexion à une Contrôle le nombre de tentatives de reconnexion effectué par l'initiateur unité logique occupée de démarrage iSCSI lorsque le numéro d’unité logique de la cible iSCSI est occupé. Version IP Cette option est spécifique à IPv6. Permet de passer du protocole IPv4 au protocole IPv6, et inversement. Tous les paramètres IP sont perdus lorsque vous basculez d'une version de protocole à une autre. 26 février 2018 • NetXtreme-E-UG100 Page 51 Manuel d'utilisation NetXtreme-E Initialisation iSCSI Configuration du protocole de démarrage MBA Pour configurer le protocole de démarrage, procédez comme suit : 1. Redémarrez le système. 2. A partir de la bannière PXE, sélectionnez CTRL+S. Le menu de configuration MBA s'affiche. 3. Dans le menu de configuration MBA, utilisez les flèches de direction HAUT et BAS pour sélectionner l'option Protocole de démarrage. Utilisez les flèches de direction GAUCHE et DROITE pour définir l'option Protocole de démarrage sur iSCSI. 4. Sélectionnez Configuration de l'initialisation iSCSI dans le menu principal. Configuration de l'initialisation iSCSI Il existe deux façons de configurer l'initialisation iSCSI : • Configuration de l'initialisation iSCSI statique • Configuration de l'initialisation iSCSI dynamique Configuration de l'initialisation iSCSI statique Dans le cadre d'une configuration statique, vous devez indiquer l'adresse IP du système, le nom IQN de l'initiateur du système et les paramètres cibles obtenus dans la section « Configuration de la cible iSCSI » page 50. Pour plus d'informations sur la configuration des options, reportez-vous au Tableau 31 page 51. Pour configurer les paramètres d'initialisation iSCSI par le biais d'une configuration statique, procédez comme suit : 1. Dans le menu Paramètres généraux, définissez les éléments suivants : • Paramètres TCP/IP via DHCP : Désactivé. (Pour IPv4.) • Configuration auto de l'IP : Désactivé. (Pour IPv6, sans déchargement.) • Paramètres iSCSI via DHCP : Désactivé • Authentification CHAP : Désactivé • ID du fournisseur DHCP : BRCM ISAN • Délai de liaison active : 0 • Utiliser l'horodateur TCP : Activé (pour certaines cibles telles que Dell/EMC AX100i, il est nécessaire d'activer Utiliser l'horodateur TCP) • Cibler comme premier lecteur de disque dur : Désactivé. • Nombre de tentatives si le numéro d’unité logique est occupé : 0 • Version IP : IPv6. (Pour IPv6, sans déchargement.) 2. Appuyez sur ECHAP pour revenir au menu principal. 3. Dans le menu principal, sélectionnez Paramètres de l'initiateur. 26 février 2018 • NetXtreme-E-UG100 Page 52 Manuel d'utilisation NetXtreme-E Initialisation iSCSI 4. Dans l'écran Paramètres de l'initiateur, entrez des valeurs pour les éléments suivants : • Adresse IP (les adresses IPv4 et IPv6 non spécifiées doivent être « 0.0.0.0 » et « :: », respectivement) • Préfixe de masque de sous-réseau • Passerelle par défaut • DNS principal • DNS secondaire • Nom iSCSI (correspond au nom de l'initiateur iSCSI devant être utilisé par le système client) Remarque : Entrez l'adresse IP. L'adresse IP ne fait l'objet d'aucune vérification en matière de duplication ou de segment/d'attribution réseau incorrects. 5. Appuyez sur ECHAP pour revenir au menu principal. 6. Dans le menu principal, sélectionnez Paramètres de la 1re cible. Remarque : Lors de la configuration initiale, la configuration d'une deuxième cible n'est pas prise en charge. 7. Dans l'écran Paramètres de la 1re cible, activez Connexion pour vous connecter à la cible iSCSI. Pour les éléments suivants, entrez les valeurs utilisées lors de la configuration de la cible iSCSI : • Adresse IP • Port TCP • Numéro d’unité logique d'initialisation • Nom iSCSI 8. Appuyez sur ECHAP pour revenir au menu principal. 9. Appuyez sur ECHAP et sélectionnez Quitter et enregistrer la configuration. 10. Appuyez sur F4 pour enregistrer la configuration MBA. Configuration de l'initialisation iSCSI dynamique Dans le cadre d'une configuration dynamique, spécifiez que l'adresse IP et les informations concernant la cible ou l'initiateur du système sont fournies par un serveur DHCP (voir les configurations IPv4 et IPv6 dans « Configuration du serveur DHCP pour la prise en charge de l'initialisation iSCSI » page 55). Pour IPv4, à l'exception du nom iSCSI de l'initiateur, tous les paramètres des écrans Paramètres de l'initiateur, Paramètres de la 1re cible ou Paramètres de la 2e cible sont ignorés et il n'est pas nécessaire de les effacer. Pour IPv6, à l'exception de la réf. et de la clé secrète CHAP, tous les paramètres des écrans Paramètres de l'initiateur, Paramètres de la 1re cible ou Paramètres de la 2e cible sont ignorés et il n'est pas nécessaire de les effacer. Pour plus d'informations sur la configuration des options, reportez-vous au Tableau 31 page 51. 26 février 2018 • NetXtreme-E-UG100 Page 53 Manuel d'utilisation NetXtreme-E Initialisation iSCSI Remarque : Lors de l'utilisation d'un serveur DHCP, les entrées du serveur DNS sont écrasées par les valeurs provenant du serveur DHCP. Ce problème se pose même si les valeurs fournies localement sont valides et si le serveur DHCP ne transmet aucune information concernant le serveur DNS. Lorsque le serveur DHCP ne transmet aucune information concernant le serveur DNS, les valeurs des serveurs DNS principal et secondaire sont définies sur 0.0.0.0. Lorsque le système d'exploitation Windows prend le contrôle, l'initiateur iSCSI Microsoft récupère les paramètres de l'initiateur iSCSI et configure les registres appropriés de manière statique. Il écrase alors tout élément configuré. Etant donné que le démon DHCP s'exécute dans l'environnement Windows en tant que processus utilisateur, tous les paramètres TCP/IP doivent être configurés de manière statique avant que la pile apparaisse dans l'environnement d'initialisation iSCSI. • Si l'option DHCP 17 est utilisée, les informations sur la cible sont fournies par le serveur DHCP et le nom iSCSI de l'initiateur est récupéré à partir de la valeur programmée dans l'écran Paramètres de l'initiateur. Si aucune valeur n'a été sélectionnée, le contrôleur utilise le nom par défaut : iqn.1995-05.com.broadcom.<11.22.33.44.55.66>.iscsiboot dans lequel la chaîne 11.22.33.44.55.66 correspond à l'adresse MAC du contrôleur. • Si l'option DHCP 43 (IPv4 uniquement) est utilisée, tous les paramètres des écrans Paramètres de l'initiateur, Paramètres de la 1re cible ou Paramètres de la 2e cible sont ignorés et il n'est pas nécessaire de les effacer. Pour configurer les paramètres d'initialisation iSCSI par le biais d'une configuration dynamique, procédez comme suit : 1. Dans l'écran de menu Paramètres généraux, définissez les paramètres suivants : • Paramètres TCP/IP via DHCP : Activé. (Pour IPv4.) • Configuration auto de l'IP : Activé. (Pour IPv6, sans déchargement.) • Paramètres iSCSI via DHCP : Activé • Authentification CHAP : Désactivé • ID du fournisseur DHCP : BRCM ISAN • Délai de liaison active : 0 • Utiliser l'horodateur TCP : Activé (pour certaines cibles telles que Dell/EMC AX100i, il est nécessaire d'activer Utiliser l'horodateur TCP) • Cibler comme premier lecteur de disque dur : Désactivé. • Nombre de tentatives si le numéro d’unité logique est occupé : 0 • Version IP : IPv6. (Pour IPv6, sans déchargement.) 2. Appuyez sur ECHAP pour revenir au menu principal. Remarque : Les informations des écrans Paramètres de l'initiateur et Paramètres de la 1re cible sont ignorées et il n'est pas nécessaire de les effacer. 3. Sélectionner Quitter et enregistrer la configuration. 26 février 2018 • NetXtreme-E-UG100 Page 54 Manuel d'utilisation NetXtreme-E Initialisation iSCSI Activation de l'authentification CHAP Assurez-vous que l'authentification CHAP est activée sur la cible. Pour activer l'authentification CHAP, procédez comme suit : 1. Dans l'écran Paramètres généraux, définissez l'option Authentification CHAP sur Activé. 2. Dans l'écran Paramètres de l'initiateur, entrez des valeurs pour les paramètres suivants : • Réf. CHAP (jusqu'à 128 octets) • Clé secrète CHAP (si l'authentification est nécessaire ; doit contenir au minimum 12 caractères) 3. Appuyez sur ECHAP pour revenir au menu principal. 4. Dans le menu principal, sélectionnez Paramètres de la 1re cible. 5. Dans l'écran Paramètres de la 1re cible, entrez les valeurs utilisées lors de la configuration de la cible iSCSI pour les éléments suivants : • Réf. CHAP (facultatif si CHAP bidirectionnel) • Clé secrète CHAP (facultatif si CHAP bidirectionnel ; doit contenir au minimum 12 caractères) 6. Appuyez sur ECHAP pour revenir au menu principal. 7. Appuyez sur ECHAP et sélectionnez Quitter et enregistrer la configuration. Configuration du serveur DHCP pour la prise en charge de l'initialisation iSCSI Le serveur DHCP est un composant facultatif. Il est nécessaire uniquement si vous effectuez une configuration dynamique de l'initialisation iSCSI (voir « Configuration de l'initialisation iSCSI dynamique » page 53). La configuration du serveur DHCP pour la prise en charge de l'initialisation iSCSI est différente pour IPv4 et IPv6. Reportez-vous aux sections suivantes : Configurations DHCP pour l'initialisation iSCSI pour IPv4 Le protocole DHCP englobe plusieurs options apportant des informations de configuration au client DHCP. Pour une initialisation iSCSI, les cartes Broadcom prennent en charge les configurations DHCP suivantes : Option DHCP 17, chemin d'accès L'option 17 permet de transmettre les informations concernant la cible iSCSI au client iSCSI. Le format du chemin d'accès défini dans IETC RFC 4173 se présente de la manière suivante : "iscsi:"<nomserveur>":"<protocole>":"<port>":"<LUN>":"<nomcible> 26 février 2018 • NetXtreme-E-UG100 Page 55 Manuel d'utilisation NetXtreme-E Initialisation iSCSI Les paramètres sont définis dans le Tableau 32. Tableau 32 : Définition des paramètres de l'option DHCP 17 Paramètre Définition "iscsi:" Une chaîne littérale. <nomserveur> L'adresse IP ou le nom de domaine complet de la cible iSCSI ":" Séparateur. <protocole> Le protocole IP permettant d'accéder à la cible iSCSI. Seul TCP étant pris en charge actuellement, le protocole est 6. <port> Le numéro de port associé au protocole. Le numéro de port standard pour iSCSI est 3260. <LUN> Le numéro d'unité logique à utiliser sur la cible iSCSI. La valeur du LUN doit être représentée à l'aide de caractères hexadécimaux. Un LUN dont l’identifiant est 64 doit être défini sur 40, dans l'option 17 du serveur DHCP. <nomcible> Le nom de la cible au format IQN ou EUI (voir RFC 3720 pour des détails sur les formats IQN et EUI). Exemple de nom IQN : « iqn.1995-05.com.broadcom:iscsitarget ». Option DHCP 43, informations concernant le fournisseur L'option DHCP 43 (informations concernant le fournisseur) offre davantage d'options de configuration au client iSCSI que l'option DHCP 17. Dans le cadre de cette configuration, trois sous-options supplémentaires permettent d'attribuer le nom IQN de l'initiateur au client d'initialisation iSCSI, ainsi que deux noms IQN de cible iSCSI pouvant être utilisés pour l'initialisation. Le format du nom IQN de la cible iSCSI est identique à celui de l'option DHCP 17, tandis que le nom IQN de l'initiateur iSCSI est tout simplement le nom IQN de l'initiateur. Remarque : L'option DHCP 43 est uniquement prise en charge pour IPv4. Les sous-options sont définies ci-dessous. Tableau 33 : Définition des sous-options de l'option DHCP 43 Sous-option Définition 201 Informations sur la première cible iSCSI sous la forme du chemin d'accès standard "iscsi:"<nomserveur>":"<protocole>":"<port>":"<LUN>":"<nomcible> 203 Nom IQN de l'initiateur iSCSI L'option DHCP 43 requiert une configuration plus importante que l'option DHCP 17, mais elle offre un environnement plus riche et comporte davantage d'options de configuration. Broadcom recommande à ses clients d'utiliser l'option DHCP 43 lors de la réalisation de configurations dynamiques de l'initialisation iSCSI. Configuration du serveur DHCP Configurez le serveur DHCP de sorte qu'il prenne en charge l'option 17 ou l'option 43. 26 février 2018 • NetXtreme-E-UG100 Page 56 Manuel d'utilisation NetXtreme-E Initialisation iSCSI Remarque : Si l'option 43 est utilisée, configurez l'option 60. La valeur de l'option 60 doit correspondre à celle de la Réf. fournisseur DHCP. La valeur de la Réf. fournisseur DHCP est BRCM ISAN, comme indiqué dans les Paramètres généraux du menu de configuration de l'initialisation iSCSI. Configurations DHCP pour l'initialisation iSCSI pour IPv6 Le serveur DHCPv6 peut fournir plusieurs options, y compris la configuration IP sans état ou avec état, ainsi que des informations au client DHCPv6. Pour une initialisation iSCSI, les cartes Broadcom prennent en charge les configurations DHCP suivantes : Remarque : L'option de chemin d'accès standard de DHCPv6 n'est pas encore disponible. Broadcom suggère d'utiliser l'option 16 ou 17 pour la prise en charge dynamique de IPv6 pour l'initialisation iSCSI. Option DHCPv6 16, option de classe fournisseur L'option DHCPv6 16 (option de classe fournisseur) doit être présente et contenir une chaîne correspondant au paramètre configuré pour la Réf. fournisseur DHCP. La valeur de la Réf. fournisseur DHCP est BRCM ISAN, comme indiqué dans les Paramètres généraux du menu de configuration de l'initialisation iSCSI. Le contenu de l'option 16 doit être <longueur de 2 octets> <Réf. fournisseur DHCP>. Option DHCPv6 17, informations concernant le fournisseur L'option DHCPv6 17 (informations concernant le fournisseur) fournit d'autres options de configuration au client iSCSI. Dans le cadre de cette configuration, trois sous-options supplémentaires permettent d'attribuer le nom IQN de l'initiateur au client d'initialisation iSCSI, ainsi que deux noms IQN de cible iSCSI pouvant être utilisés pour l'initialisation. Les sous-options sont répertoriées dans le Tableau 34 page 57. Tableau 34 : Définition des sous-options de l'option DHCP 17 Sous-option Définition 201 Informations sur la première cible iSCSI sous la forme du chemin d'accès standard "iscsi:"[<nomserveur>]":"<protocole>":"<port>" :"<LUN>":"<nomcible>" 203 Nom IQN de l'initiateur iSCSI Remarque : Dans le Tableau 34, les crochets [ ] sont requis pour les adresses IPv6. 26 février 2018 • NetXtreme-E-UG100 Page 57 Manuel d'utilisation NetXtreme-E VXLAN : Configuration et exemples d'utilisation Le contenu de l'option 17 doit être <numéro d'option de 2 octets 201|202|203> <longueur de 2 octets> <données>. Configuration du serveur DHCP Configurez le serveur DHCP de sorte qu'il prenne en charge l'option 16 et l'option 17. Remarque : Le format des options DHCPv6 16 et 17 est entièrement défini dans RFC 3315. VXLAN : Configuration et exemples d'utilisation L'encapsulation VXLAN permet à de nombreux hôtes de couche 3 résidant sur un serveur d'envoyer et de recevoir des trames en les encapsulant en une seule adresse IP associée à la carte NIC installée sur le même serveur. L'exemple suivant présente la connectivité VXLAN de base entre deux serveurs RHEL. Chaque serveur possède une carte réseau physique activée avec une adresse IP définie sur 1.1.1.4 et 1.1.1.2. Une interface VXLAN10 avec ID VXLAN 10 est créée avec un groupe de multidiffusion 239.0.0.10 et est associée à un port réseau physique pxp1 sur chaque serveur. Une adresse IP pour l'hôte est créée sur chaque serveur et associée à l'interface VXLAN. Une fois l'interface VXLAN mise en service, l'hôte présent sur le système 1 peut communiquer avec l'hôte présent sur le système 2. Le format VLXAN est indiqué dans le Tableau 35. Tableau 35 : Format de trame VXLAN En-tête MAC En-tête IP externe avec En-tête UDP avec port En-tête VXLAN proto = UDP de destination = VXLAN (indicateurs, VNI) Trame L2 d'origine FCS Le Tableau 36 fournit des exemples de configuration et de commande VXLAN. Tableau 36 : Exemples de configuration et de commande VXLAN Système 1 Système 2 PxPy: ifconfig PxPy 1.1.1.4/24 PxPy: ifconfig PxPy 1.1.1.2/24 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip addr add 192.168.1.5/24 broadcast 192.168.1.255 dev vxlan10 ip addr add 192.168.1.10/24 broadcast 192.168.1.255 dev vxlan10 ip link set vxlan10 up ip link set vxlan10 up ip –d link show vxlan10 Ping 192.168.1.10 ifconfig vxlan10 (MTU 1450) (SUSE et RHEL) Remarque : x représente le numéro de bus PCIe de la carte physique détectée dans le système. y représente le numéro de port sur la carte physique. 26 février 2018 • NetXtreme-E-UG100 Page 58 Manuel d'utilisation NetXtreme-E SR-IOV : Configuration et exemples d'utilisation SR-IOV : Configuration et exemples d'utilisation SR-IOV peut être configuré, activé et utilisé sur des cartes réseau Broadcom NetExtreme-E de 10 Gbits et 25 Gbits. Cas d'utilisation Linux 1. Activez SR-IOV dans les cartes NIC : a. SR-IOV peut être activé dans la carte réseau à l'aide du menu HII. Lors du démarrage du système, accédez au BIOS système -> Paramètres du périphérique -> Cartes NIC NetXtreme-E -> Configuration du niveau du périphérique. b. Définissez le mode de virtualisation sur SR-IOV. c. Définissez le nombre de fonctions virtuelles par fonction physique. d. Définissez le nombre de vecteurs MSI-X par VF et le nombre maximum de vecteurs MSI-X par fonction physique. Si la VF manque de ressources, équilibrez le nombre de vecteurs MSI-X par machine virtuelle à l'aide de CCM. 2. Activez la virtualisation dans le BIOS : a. Lors du démarrage du système, entrez dans le BIOS système -> Paramètres du processeur -> Technologies de virtualisation, puis configurez-le afin qu’il soit activé. b. Lors du démarrage du système, entrez dans le BIOS système -> Périphériques intégrés -> SR-IOV Global, puis configurez-le afin qu'il soit activé. 3. Installez la version Linux de votre choix avec la virtualisation activée (libvirt et Qemu). 4. Activez le paramètre de noyau iommu. a. Le paramètre de noyau IOMMU est activé en modifiant le fichier /etc/default/grub.cfg et en exécutant grub2-mkconfig -o /boot/grub2/grub.cfg pour le mode hérité. Pour le mode UEFI, modifiez le fichier / etc/default/grub.cfg et exécutez grub2-mkconfig -o /etc/grub2-efi.cfg. Reportez-vous à l'exemple suivant : Linuxefi /vmlinuz-3.10.0-229.el7.x86_64 root=/dev/mapper/rhel-root ro rd.lvm.lv=rhel/swap crashkernel=auto rd.lvm.lv=rhel/root rhgb intel_iommu=on quiet LANG=en_US.UTF.8 5. Installez le pilote bnxt_en : a. Copiez le pilote bnxt_en sur le SE, puis exécutez la commande make; make install; modprobe bnxt_en. Remarque : Utilisez netxtreme-bnxt_en<version>.tar.gz pour installer bnxt_re et bnxt_en pour la fonctionnalité RDMA sur les VF SRIOV. 6. Activez les fonctions virtuelles via les paramètres du noyau : a. Une fois le pilote installé, lspci affiche les cartes NIC NetXtreme-E présentes sur le système. Les bus, périphériques et fonctions sont nécessaires pour activer les fonctions virtuelles. b. Pour activer les fonctions virtuelles, entrez la commande ci-dessous : echo X >/sys/bus/pci/device/0000\:Bus\:Dev.Function/sriov_numvfs 26 février 2018 • NetXtreme-E-UG100 Page 59 Manuel d'utilisation NetXtreme-E SR-IOV : Configuration et exemples d'utilisation Remarque : Vérifiez que les interfaces PF sont actives. Les VF sont uniquement créées si les PF sont actives. X est le nombre de VF qui seront exportées vers le SE. Exemple type : echo 4 > /sys/bus/pci/devices/0000\:04\:00.0/sriov_numvfs 7. Vérifiez les fonctions virtuelles PCI-E : a. La commande lspci affiche les fonctions virtuelles avec DID défini sur 16D3 pour les cartes BCM57402/ BCM57404/BCM57406, sur 16DC pour les cartes BCM57412/BCM57414/BCM57416 non RDMA, et sur 16C1 pour les cartes BCM57412/BCM57414/BCM57416 compatibles RDMA. 8. Utilisez Virtual Manager pour installer un système client virtualisé (VM). Reportez-vous à la documentation Linux pour installer Virtual Manager. Assurez-vous que le pilote intégré à l'hyperviseur est supprimé. Exemple : NIC:d7:73:a7 rtl8139. Supprimez ce pilote. 9. Affectez une fonction virtuelle aux VM invitées. a. Affectez cette carte à une VM invitée en tant que périphérique PCI physique. Reportez-vous à la documentation Linux pour plus d'informations sur l'affectation des fonctions virtuelles à une VM invitée. 10. Installez les pilotes bnxt_en sur des machines virtuelles : a. Sur les machines virtuelles invitées, copiez le fichier source netxtreme-bnxt_en-<version>.tar.gz et extrayez le fichier tar.gz. Changez de répertoire pour chaque pilote et exécutez make; make install; modprobe bnxt_en (et bnxt_re si vous activez RDMA). Assurez-vous que le pilote se charge correctement en vérifiant l'interface à l'aide de la commande modinfo. L'utilisateur peut avoir besoin d’exécuter modprobe -r bnxt_en pour décharger le module existant ou de réception bnxt_en avant de charger la dernière version du module intégré. 11. Testez la connectivité de la VM invitée au monde extérieur : a. Affectez une adresse IP correcte à la carte et testez la connectivité au réseau. Cas de Windows 1. Activez SR-IOV dans les cartes NIC : a. SR-IOV peut être activé dans la carte réseau à l'aide du menu HII. Lors du démarrage du système, accédez à BIOS -> Paramètres du périphérique -> Cartes NIC NetXtreme-E -> Configuration du niveau du périphérique. b. Définissez le mode de virtualisation sur SR-IOV. c. Définissez le nombre de fonctions virtuelles par fonction physique. d. Définissez le nombre de vecteurs MSI-X par VF et le nombre maximum de vecteurs MSI-X par fonction physique. Si la VF manque de ressources, équilibrez le nombre de vecteurs MSI-X par machine virtuelle à l'aide de CCM. 2. Activez la virtualisation dans le BIOS : a. Lors du démarrage du système, entrez dans le BIOS système -> Paramètres du processeur -> Technologies de virtualisation, puis configurez-le afin qu’il soit activé. b. Lors du démarrage du système, entrez dans le BIOS système -> Périphériques intégrés -> SR-IOV Global, puis configurez-le afin qu'il soit activé. 26 février 2018 • NetXtreme-E-UG100 Page 60 Manuel d'utilisation NetXtreme-E SR-IOV : Configuration et exemples d'utilisation 3. Installez la dernière mise à jour KB pour votre système d’exploitation Windows 2012 R2 ou Windows 2016. 4. Installez les options de virtualisation (Hyper-V) appropriées. Pour plus d'informations sur la configuration requise et sur la configuration de l’hyperviseur Hyper-V, du commutateur virtuel et des machines virtuelles, rendez-vous sur le site microsoft.com : https://technet.microsoft.com/fr-fr/windows-server-docs/compute/hyper-v/system-requirements-for-hyperv-on-windows https://technet.microsoft.com/fr-fr/windows-server-docs/compute/hyper-v/get-started/install-the-hyper-vrole-on-windows-server 5. Installez le dernier pilote NetXtreme-E sur l’hyperviseur Hyper-V. 6. Activez SR-IOV dans les propriétés avancées du pilote miniport NDIS. 7. Dans Hyper-V Manager, créez votre commutateur virtuel avec l'interface NetXtreme-E sélectionnée. 8. Cochez la case Activer la virtualisation d'E/S d'une racine unique (SR-IOV) lors de la création de la carte virtuelle Hyper-V. 9. Créez une machine virtuelle (VM) et ajoutez le nombre souhaité de cartes virtuelles. 10. Pour chaque carte virtuelle, dans les paramètres de carte réseau de la machine virtuelle, cochez Activer SR-IOV sous la section Accélération matérielle. 11. Démarrez votre machine virtuelle et installez le système d’exploitation invité. 12. Installez le pilote NetXtreme-E correspondant pour chaque système d’exploitation invité. Remarque : Le pilote de fonction virtuelle (VF) pour la carte NetXtreme-E est le même que le pilote de base. Par exemple, si le système d’exploitation invité est Windows 2012 R2, l'utilisateur doit installer Bnxtnd64.sys dans la VM. Pour ce faire, l'utilisateur peut lancer le fichier exécutable du programme d'installation du pilote NetXtreme-E. Une fois le pilote installé dans le système d’exploitation invité, l'utilisateur peut voir la ou les interface(s) du pilote VF dans le Gestionnaire de périphériques du système d’exploitation invité sur la machine virtuelle. Cas de VMWare SRIOV 1. Activez SR-IOV dans les cartes NIC : a. SR-IOV peut être activé dans la carte réseau à l'aide du menu HII. Lors du démarrage du système, accédez à BIOS -> Paramètres du périphérique -> Cartes NIC NetXtreme-E -> Configuration du niveau du périphérique. b. Définissez le mode de virtualisation sur SR-IOV. c. Définissez le nombre de fonctions virtuelles par fonction physique. d. Définissez le nombre de vecteurs MSI-X par VF et le nombre maximum de vecteurs MSI-X par fonction physique. Si la VF manque de ressources, équilibrez le nombre de vecteurs MSI-X par machine virtuelle à l'aide de CCM. 26 février 2018 • NetXtreme-E-UG100 Page 61 Manuel d'utilisation NetXtreme-E SR-IOV : Configuration et exemples d'utilisation 2. Activez la virtualisation dans le BIOS : a. Lors du démarrage du système, entrez dans le BIOS système -> Paramètres du processeur -> Technologies de virtualisation, puis configurez-le afin qu’il soit activé. b. Lors du démarrage du système, entrez dans le BIOS système -> Périphériques intégrés -> SR-IOV Global, puis configurez-le afin qu'il soit activé. 3. Sur ESXi, installez le pilote Bnxtnet en procédant comme suit : a. Copiez le fichier <bnxtnet>-<version du pilote> dans /var/log/vmware. $ cd /var/log/vmware. $ esxcli software vib install --no-sig-check -v <bnxtnet>-<version du pilote>.vib. b. Redémarrez l'ordinateur. c. Vérifiez que les pilotes sont correctement installés : $ esxcli software vib list | grep bnxtnet 4. Installez l’utilitaire BNXTNETCLI (esxcli bnxtnet) fourni par Broadcom pour définir/afficher les divers paramètres de pilote qui ne sont pas nativement pris en charge dans esxcli, par exemple : vitesse de liaison à 25G, afficher les informations sur le pilote/le micrologiciel/la puce, afficher la configuration de la carte réseau (NPAR, SRIOV). Pour plus d'informations, veuillez consulter le fichier README.txt du pilote bnxtnet. Pour installer cet utilitaire : a. Copiez BCM-ESX-bnxtnetcli-<version>.vib dans /var/log/vmware. $ cd /var/log/vmware $ esxcli software vib install --no-sig-check -v /BCM-ESX-bnxtnetcli-<version>.vib b. Redémarrez le système. c. Vérifiez si le fichier vib est installé correctement : $ esxcli software vib list | grep bcm-esx-bnxtnetcli d. Définir la vitesse 10/20/25 $ esxcli bnxtnet link set -S <speed> -D <full> -n <iface> Le message OK est renvoyé si la vitesse est correctement définie. Exemples : $ esxcli bnxtnet link set -S 25000 -D full -n vmnic5 e. Afficher les statistiques de liaison $ esxcli bnxtnet link get -n vmnic6 f. Afficher des informations sur le pilote/le micrologiciel/la puce $ esxcli bnxtnet drvinfo get -n vmnic4 g. Afficher les informations sur la carte réseau (par exemple : BDF ; NPAR ; configuration SRIOV) $ esxcli bnxtnet nic get -n vmnic4 26 février 2018 • NetXtreme-E-UG100 Page 62 Manuel d'utilisation NetXtreme-E SR-IOV : Configuration et exemples d'utilisation 5. Activation des VF SRIOV : Seules les PF sont automatiquement activées. Si une PF prend en charge SR-IOV, le paramètre PF(vmknicX) fait partie de la sortie de la commande illustrée ci-dessous. esxcli network sriovnic list Pour activer une ou plusieurs VF, le pilote utilise le paramètre de module « max_vfs » pour activer le nombre souhaité de VF pour les PF. Par exemple, pour activer quatre VF sur la PF1 : esxcfg-module -s 'max_vfs=4' bnxtnet (reboot required) Pour activer des VF sur un ensemble de PF, utilisez le format de commande illustré ci-dessous. Par exemple, pour activer quatre VF sur la PF 0 et 2 VF sur la PF 2 : esxcfg-module -s 'max_vfs=4,2' bnxtnet (reboot required) Les VF requises de chaque PF prise en charge PF sont activées dans l'ordre d’affichage de la PF. Reportezvous à la documentation VMware pour plus d'informations sur le mappage d’une VF à une machine virtuelle : https://pubs.vmware.com/vsphere-60/index.jsp#com.vmware.vsphere.networking.doc/GUID-EE03DC6F32CA-42EF-98FC-12FDE06C0BE0.html https://pubs.vmware.com/vsphere-60/index.jsp#com.vmware.vsphere.networking.doc/GUID-CC02180330EA-444D-BCBE-618E0D836B9F.html 26 février 2018 • NetXtreme-E-UG100 Page 63 Manuel d'utilisation NetXtreme-E NPAR : Configuration et exemples d'utilisation NPAR : Configuration et exemples d'utilisation Fonctionnalités et configuration requise • Indépendance vis-à-vis du système d’exploitation/BIOS : les partitions sont présentées au système d'exploitation en tant qu'interfaces réseau « réelles », ce qui signifie qu'aucune prise en charge du BIOS ou du système d'exploitation particulière n’est nécessaire comme pour SR-IOV. • Cartes réseau supplémentaires sans ports de commutateur, câblage ou logements d'extension PCIe supplémentaires. • Régulation de flux : l'allocation de bande passante par partition peut être contrôlée de manière à appliquer des limites ou des réserves si besoin. • Peut être utilisé indépendamment du commutateur : le commutateur n'a pas besoin de configuration particulière ou de connaissances sur l'activation NPAR. • Peut être utilisé avec RoCE et SR-IOV. • Prend en charge les déchargements sans état tels que LSO, TPA, RSS/TSS et RoCE (deux PF par port uniquement). • Prise en charge d’ID de routage alternatif pour plus de huit fonctions par périphérique physique. Remarque : Sur la page Menu Dell UEFI HII-> Configuration principale -> Configuration du niveau du périphérique, l'utilisateur peut activer NParEP pour permettre à la carte NXE de prendre en charge jusqu'à 16 PF par périphérique sur un système compatible ARI. Pour un périphérique à 2 ports, jusqu'à 8 PF peuvent donc être prises en charge pour chaque port. Limitations • Les paramètres partagés doivent être supprimés pour éviter les conflits d'accès. Par exemple : la vitesse, le mode duplex, le contrôle de flux et les paramètres physiques similaires sont masqués par le pilote de périphérique pour éviter tout conflit. • Les systèmes non ARI prennent en charge seulement huit partitions par périphérique physique. • RoCE est uniquement pris en charge sur les deux premières partitions de chaque port physique, soit un total de quatre partitions par périphérique physique. En mode NPAR + SRIOV, seules deux VF de chaque port physique parent peuvent activer la prise en charge du protocole RDMA, soit un total de quatre VF + RDMA par périphérique physique. Configuration NPAR peut être configuré à l'aide des menus HII de configuration du BIOS ou à l'aide de l'utilitaire Broadcom CCM sur les anciens systèmes de démarrage. Certains fournisseurs exposent également la configuration via d'autres interfaces propriétaires. 26 février 2018 • NetXtreme-E-UG100 Page 64 Manuel d'utilisation NetXtreme-E NPAR : Configuration et exemples d'utilisation Pour activer NPAR : 1. Sélectionnez la carte réseau cible à partir du menu HII du BIOS ou de l'interface CCM et définissez le mode multifonction ou le mode virtualisation. NPAR est activé avec SR-IOV. Pour certains systèmes OEM compatibles ARI, le bouton NParEP s’affiche pour autoriser explicitement la BCM5741X à prendre en charge jusqu'à 16 partitions. En passant du mode monofonction au mode multifonction, le périphérique doit être énuméré à nouveau. Par conséquent, les modifications ne seront pas prises en compte tant que le système n’a pas redémarré. 2. Une fois NPAR activé, l'option de menu Configuration principale du partitionnement de la carte réseau s'affiche dans le menu Configuration principale de la carte réseau associé à chaque port physique. 3. Le menu Configuration des partitions de la carte réseau (illustré ci-dessous) permet à l'utilisateur de choisir le nombre de partitions qui doivent être allouées à partir du port physique sélectionné. Chaque carte réseau BCM5741X peut prendre en charge 16 partitions maximum sur un serveur compatible ARI. Par défaut, les cartes à deux ports sont configurées pour huit partitions par port physique. Des options de configuration pour chaque partition sont également accessibles à partir de ce menu. Pour certains systèmes OEM, le menu HII contient également une page Allocation de bande passante globale où vous pouvez configurer simultanément la bande passante TX minimale (réservée) et maximale (limite) pour toutes les partitions. 26 février 2018 • NetXtreme-E-UG100 Page 65 Manuel d'utilisation NetXtreme-E NPAR : Configuration et exemples d'utilisation 4. Définissez les paramètres de configuration des partitions de la carte réseau (voir le Tableau 37 page 66). Tableau 37 : Paramètres NPAR Paramètre Description Options valides Réservation de bande passante Pourcentage de bande passante totale disponible qui doit être réservée pour cette partition. 0 indique une répartition égale de la bande passante entre toutes les partitions. Valeur 0-100 Limitation de bande passante Pourcentage maximal de bande passante disponible autorisé pour Valeur 0-100 cette partition. Réservation de bande passante valide Fonctionne à la manière d’un commutateur marche/arrêt pour le paramètre de réservation de bande passante. True/False Limitation de bande passante valide Fonctionne à la manière d’un commutateur marche/arrêt pour le paramètre de limitation de bande passante. True/False Prendre en charge RDMA Activé/désactivé Fonctionne à la manière d’un commutateur marche/arrêt pour la prise en charge du protocole RDMA sur cette partition. Veuillez noter que seules deux partitions par port physique peuvent prendre en charge RDMA. Pour un périphérique double port, jusqu'à 4 partitions NPAR peuvent prendre en charge RDMA. Adresse MAC Adresse MAC de cette partition. 26 février 2018 • NetXtreme-E-UG100 – Page 66 Manuel d'utilisation NetXtreme-E NPAR : Configuration et exemples d'utilisation Notes sur la réduction de consommation de mémoire de la carte réseau Puisque cette carte réseau prend en charge des vitesses de liaison plus rapides, les tampons de réception sont plus nombreux par défaut. Un plus grand nombre de paquets peut arriver dans un intervalle de temps donné lorsque la vitesse de liaison est plus élevée, et si le système hôte prend du retard dans le traitement des interruptions de réception, la carte réseau doit ignorer les paquets si tous les tampons de réception sont utilisés. La valeur par défaut des tampons de réception a été choisie pour fonctionner de manière satisfaisante avec les configurations types. Mais si votre système compte de nombreuses cartes réseau, si vous avez activé NPAR sur plusieurs cartes réseau, ou si vous n’avez qu’une quantité de RAM limitée, vous risquez de voir un code 12 avec un signe d'exclamation jaune dans le Gestionnaire de périphériques pour certaines cartes. Le code 12 signifie que le chargement du pilote a échoué en raison de ressources insuffisantes. Dans ce cas, la ressource est un type spécifique de mémoire du noyau appelé « pool non paginé » (NPP). Si vous recevez un code 12, ou si vous souhaitez pour d'autres raisons réduire la quantité de mémoire NPP consommée par la carte réseau : • Réduisez le nombre de files d'attente RSS en remplaçant la valeur par défaut de 8 par 4 ou 2. Chaque file d'attente RSS se voit allouer son propre ensemble de tampons de réception, autrement dit le fait de réduire le nombre de files d'attente RSS a pour effet de réduire la mémoire NPP allouée. La réduction du nombre de files d'attente RSS peut avoir des conséquences sur les performances, car moins de cœurs participent au traitement des paquets de réception provenant de cette carte réseau. L’utilisation CPU par processeur doit être surveillée afin de vérifier l’absence de processeurs « chauds » après cette modification. • Réduisez l'allocation de mémoire en réduisant le nombre de tampons de réception alloués. La valeur par défaut de 0 signifie que le pilote doit déterminer automatiquement le nombre de tampons de réception. Pour les configurations standard, un paramètre de 0 (=auto) sera mappé à XXXX tampons de réception par file d'attente. Vous pouvez choisir une valeur plus petite, par exemple 1 500, 1 000 ou 500. (La valeur doit être un multiple de 500, dans une plage de 500 à 15 000.) Comme mentionné ci-dessus, un plus petit nombre de tampons de réception augmente le risque de perte de paquets, ce qui affecte les retransmissions de paquets et entraîne une baisse de débit. Les paramètres « Nombre maximal de files d’attente RSS » et « Tampon de réception (0=Auto) » peuvent être modifiés depuis le Gestionnaire de périphériques, sous l’onglet des Propriétés avancées de chaque carte réseau. Si vous souhaitez modifier plusieurs cartes réseau simultanément, il est plus rapide d'utiliser l’applet de commande PowerShell Set-NetAdapterAdvancedProperty. Par exemple, pour affecter deux files d'attente RSS pour toutes les cartes réseau d’un système dont le nom de la carte commence par « SI », exécutez la commande suivante : Set-NetAdapterAdvancedProperty Sl* -RegistryKeyword *NumRSSQueues -RegistryValue 2 De même, pour définir le nombre de tampons de réception sur 1 500, exécutez la commande suivante : Set-NetAdapterAdvancedProperty Sl* -RegistryKeyword *ReceiveBuffers -RegistryValue 1500 Voir https://blogs.technet.microsoft.com/wincat/2012/08/27/using-powershell-for-nic-configuration-tasks/ pour savoir comment utiliser PowerShell pour modifier les propriétés des cartes réseau. 26 février 2018 • NetXtreme-E-UG100 Page 67 Manuel d'utilisation NetXtreme-E RoCE : Configuration et exemples d'utilisation RoCE : Configuration et exemples d'utilisation Cette section présente la configuration et les exemples d'utilisation de RoCE. Pour activer RoCE pour des PF ou des VF, l'utilisateur doit activer la sélection RDMA dans le menu HII du BIOS pour que l'option RDMA prenne effet dans le système d’exploitation hôte ou invité. Pour activer la technologie RDMA en mode monofonction (si le Mode de virtualisation est défini sur Aucun sur SR-IOV) : 1. Pendant le démarrage du système, accédez à Configuration du système -> Paramètres du périphérique -> Carte réseau NetXtreme-E -> Page de configuration principale et définissez le mode Carte réseau + RMDA sur Activé. Pour activer la technologie RDMA si la virtualisation est en mode NPAR ou NPAR+SR-IOV : 1. Pendant le démarrage du système, accédez à Configuration du système -> Paramètres du périphérique -> Carte réseau NetXtreme-E -> Configuration du partitionnement de la carte réseau-> Configuration de la partition 1 (ou 2) et définissez le mode Carte réseau + RMDA sur Activé. Remarque : Si vous utilisez le mode NPAR + SRIOV, seules deux VF de chaque port physique parent peuvent activer la prise en charge du protocole RDMA, soit un total de quatre VF + RDMA par périphérique physique. Configuration sous Linux Configuration requise Pour configurer RoCE dans Linux, vous avez besoin des éléments suivants : • bnxt_en-roce RoCE (pilote bnxt_en pris en charge par RoCE qui fait partie de l’archive tar publiée et compressée sous gzip) • bnxt_re (pilote RoCE) • libbnxtre (module de bibliothèque RoCE en mode utilisateur) Dépendances du pilote BNXT_RE Le pilote Bnxt_re requiert une version spéciale compatible RoCE de bnxt_en, qui est incluse dans le package netxtreme-bnxt_en-1.7.9.tar.gz (ou plus récent). La compilation du pilote bnxt_re intervient selon que la pile IB est disponible avec la distribution du système d'exploitation ou qu’un OFED externe est nécessaire. Remarque : Il est nécessaire de charger la bonne version de bnxt_en incluse dans le même package netxtreme-bnxt_en-1.7.x.tar.gz. Bnxt_re et Bnxt_en fonctionnent par paire pour activer le trafic RoCE. L’utilisation de versions incompatibles de ces deux pilotes entraîne des résultats peu fiables ou imprévisibles. 26 février 2018 • NetXtreme-E-UG100 Page 68 Manuel d'utilisation NetXtreme-E • RoCE : Configuration et exemples d'utilisation Distributions ayant une pile IB disponible avec la distribution du système d’exploitation : RH7.1/7.2/7.3/6.7/6.8, SLES12SP2 et Ubuntu 16.04 S’ils ne sont pas déjà installés, vous pouvez installer la pile IB et des utilitaires pratiques dans Redhat en exécutant les commandes suivantes avant la compilation de bnxt_re : yum -y install libibverbs* inifiniband-diag perftest qperf librdmacm utils Pour compiler bnxt_re : $make • Distributions pour lesquelles un OFED externe doit être installé : SLES11SP4 Veuillez consulter les notes de version OFED à partir du lien suivant et installer OFED avant de compiler le pilote bnxt_re. http://downloads.openfabrics.org/downloads/OFED/release_notes/OFED_3.18-2_release_notes Pour compiler bnxt_re : $export OFED_VERSION=OFED-3.18-2 $make Installation Pour installer RoCE sous Linux : 1. Mettez à niveau la NVRAM de la carte réseau en utilisant les packages de micrologiciel pris en charge par RoCE à partir du logiciel version 20.06.04.01 ou antérieure. 2. Dans le système d’exploitation, décompressez, générez et installez les pilotes Linux L2 et RoCE de BCM5741X. a. # tar -xzf netxtreme-bnxt_en-1.7.9.tar.gz b. # cd netxtreme-bnxt_en-bnxt_re c. # make build && make install 3. Décompressez, générez et installez la bibliothèque utilisateur RoCE Linux pour NetXtreme-E. a. b. c. d. e. f. # tar xzf libbnxtre-0.0.18.tar.gz #cd libbnxtre-0.0.18 # configure && make && make install. # cp bnxtre.driver /etc/libibverbs.d/ # echo "/usr/local/lib" >> /etc/ld.so.conf # ldconfig -v Veuillez vous reporter au fichier README.txt du pilote bnxt_re pour plus de détails sur les options configurables et les recommandations applicables. 26 février 2018 • NetXtreme-E-UG100 Page 69 Manuel d'utilisation NetXtreme-E RoCE : Configuration et exemples d'utilisation Limitations Dans les cartes réseau à deux ports, si les deux ports se trouvent sur le même sous-réseau, les commandes rdma perftest peuvent échouer. Cet échec peut être dû à un problème de flux arp dans le système d'exploitation Linux. Pour contourner cette limitation, utilisez plusieurs sous-réseaux de test ou désactivez le deuxième port ou la deuxième interface. Problèmes connus Bnxt_en et Bnxt_re sont conçus pour fonctionner par paire. Les pilotes Bnxt_en antérieurs à la version 1.7.x ne prennent pas en charge RDMA et ne peuvent pas être chargés en même temps que le pilote Bnxt_re (RDMA). L'utilisateur peut rencontrer un plantage système et devoir redémarrer s’il charge le pilote Bnxt_re avec des pilotes Bnxt_en de génération précédente. Il est recommandé que l'utilisateur charge les modules Bnxt_en et Bnxt_re à partir du même bundle netxtreme-bnxt_en-<1.7.x>.tar.gz. Pour éviter de charger une combinaison incompatible de pilotes bnxt_en et bnxt_re, respectez les conditions suivantes : • Si RedHat/CentOS 7.2 a été installé sur le système cible à l'aide de PXEboot avec un DUD bnxt_en ou un RPM de module noyau, supprimez le fichier bnxt_en.ko qui se trouve dans /lib/modules/$(uname -r)/ extra/bnxt_en/bnxt_en.ko ou modifiez /etc/depmod.d/. • Ignorez le fichier bnxt_en.conf pour utiliser la version à jour. Les utilisateurs peuvent également effacer le pilote du noyau Linux BCM5741X à l'aide de la commande rpm -e kmod-bnxt_en. RHEL 7.3/SLES 12 SP2 possède un pilote intégré bnxt_en (antérieur à la version 1.7.x). Ce pilote doit être supprimé et le dernier pilote bnxt_en être ajouté avant d'appliquer le bnxt_re (pilotes RoCE). Windows Mode noyau Windows Server 2012 (et versions supérieures) appelle la fonction RDMA dans la carte réseau pour le trafic de fichiers SMB si les deux extrémités sont activées pour RDMA. Le pilote miniport Broadcom NDIS bnxtnd.sys v20.6.2 et versions supérieures prend en charge les protocoles RoCEv1 et RoCEv2 via l'interface NDKPI. RoCEv1 est le paramètre par défaut. Pour activer RDMA : 1. Mettez à niveau la NVRAM de la carte réseau à l'aide des packages appropriés. Dans CCM ou dans le menu HII UEFI, activez la prise en charge de RDMA. 2. Accédez à la page Propriétés avancées de l'adaptateur et définissez Fonctionnalités NetworkDirect sur Activé pour chaque miniport BCM5741X, ou, à l'aide de la fenêtre de commande PowerShell, exécutez la commande suivante : Set-NetAdapterAdvancedProperty -RegistryKeyword *NetworkDirect -RegistryValue 1 3. Les commandes PowerShell suivantes retournent la valeur true si NetworkDirect est activé. a. Get-NetOffLoadGlobalSetting b. Get-NetAdapterRDMA 26 février 2018 • NetXtreme-E-UG100 Page 70 Manuel d'utilisation NetXtreme-E RoCE : Configuration et exemples d'utilisation Vérification de RDMA Pour vérifier la fonctionnalité RDMA : 1. Créez un partage de fichiers sur le système distant et ouvrez ce partage à l'aide de l'Explorateur Windows ou de « net use… ». Pour éviter tout goulot d’étranglement en lecture/écriture du disque dur, il est recommandé d’utiliser un disque RAM comme partage réseau de test. 2. A partir de PowerShell, exécutez les commandes suivantes : Get-SmbMultichannelConnection | fl *RDMA* ClientRdmaCapable : True ServerRdmaCapable : True Si le client et le serveur affichent la valeur true, les transferts de fichiers sur cette connexion SMB utilisent SMB. 3. Les commandes suivantes peuvent être utilisées pour activer/désactiver la fonctionnalité SMB Multichannel : Côté serveur : • Activer : Set-SmbServerConfiguration -EnableMultiChannel $true • Désactiver : Set-SmbServerConfiguration -EnableMultiChannel $false Côté client : • Activer : Set-SmbClientConfiguration -EnableMultiChannel $true • Désactiver : Set-SmbClientConfiguration -EnableMultiChannel $false Remarque : Par défaut, le pilote configure deux connexions RDMA pour chaque partage réseau par adresse IP (sur un sous-réseau unique). L'utilisateur peut augmenter le nombre de connexions RDMA en ajoutant plusieurs adresses IP, chacune associée à un sous-réseau différent, pour le même port physique de test. Plusieurs partages réseau peuvent être créés et mappés pour chaque partenaire de liaison à l'aide des adresses IP uniques créées. Par exemple : Sur le serveur 1, créez les adresses IP suivantes pour le Port réseau1. 172.1.10.1 172.2.10.2 172.3.10.3 Sur le même serveur 1, créez 3 partages. Partage1 Partage2 Partage3 Sur les partenaires de liaison réseau, Connectez-vous à \\172.1.10.1\partage1 Connectez-vous à \\172.2.10.2\partage2 Connectez-vous à \\172.3.10.3\partage3 ...etc. 26 février 2018 • NetXtreme-E-UG100 Page 71 Manuel d'utilisation NetXtreme-E RoCE : Configuration et exemples d'utilisation Mode utilisateur Avant d'exécuter une application en mode utilisateur écrite sur NDSPI, copiez et installez le pilote en mode utilisateur bxndspi.dll. Pour copier et installer le pilote en mode utilisateur : 1. Copiez bxndspi.dll dans C:\Windows\System32. 2. Installez le pilote en exécutant la commande suivante : rundll32.exe .\bxndspi.dll,Config install|more VMware ESX Limitations La version actuelle du pilote pris en charge par RoCE requiert ESXi-6.5.0 GA version 4564106 ou supérieure. Configuration requise du pilote RoCE de la carte réseau BNXT Le pilote BNXTNET L2 doit être installé avec le paramètre de module disable_roce=0 avant l'installation du pilote. Pour définir le paramètre de module, exécutez la commande suivante : esxcfg-module -s "disable_roce=0" bnxtnet Veuillez utiliser le pilote ESX6.5 L2 version 20.6.9.0 (pilote L2 pris en charge par RoCE) ou supérieure. Installation Pour installer le pilote RoCE : 1. Copiez le fichier <bnxtroce>-<version du pilote>.vib dans /var/log/vmware à l’aide des commandes suivantes : $ cd /var/log/vmware $ esxcli software vib install --no-sig-check -v <bnxtroce>-<driver version>.vib 2. Redémarrez l'ordinateur. 3. Vérifiez que les pilotes sont correctement installés à l'aide de la commande suivante : esxcli software vib list | grep bnxtroce 4. Pour désactiver l'ECN (activé par défaut) pour le trafic RoCE, utilisez le paramètre de module « tos_ecn=0 » pour bnxtroce. 26 février 2018 • NetXtreme-E-UG100 Page 72 Manuel d'utilisation NetXtreme-E RoCE : Configuration et exemples d'utilisation Configuration des cartes réseau PVRDMA Veuillez vous reporter au lien VMware ci-dessous pour plus d'informations sur la configuration et l'utilisation des cartes réseau Paravirtualized RDMA (PVRDMA). https://pubs.vmware.com/vsphere-65/index.jsp#com.vmware.vsphere.networking.doc/GUID-4A5EBD44FB1E-4A83-BB47-BBC65181E1C2.html Configuration d'un centre virtuel pour PVRDMA Pour configurer un centre virtuel pour PVRDMA : 1. Créez un DVS (commutateur virtuel distribué requis pour PVRDMA) 2. Ajoutez l'hôte au DVS. Balisage d’un vmknic pour PVRDMA sur les hôtes ESX Pour baliser un vmknic pour PVRDMA afin de l’utiliser sur des hôtes ESX : 1. Sélectionnez l'hôte et cliquez avec le bouton droit de la souris sur Paramètres pour passer à la page des paramètres de l’onglet Gérer. 2. Sur la page Paramètres, développez Système et cliquez sur Paramètres système avancés pour afficher la valeur de paire de clés des paramètres système avancés et son résumé. 3. Cliquez sur Edition pour afficher l’option Modifier les paramètres système avancés. Filtrez sur PVRDMA pour réduire tous les paramètres à net.PVRDMAVmknic. 4. Définissez la valeur Net.PVRDMAVmknic sur vmknic, comme dans l'exemple vmk0 Définition de la règle de pare-feu pour PVRDMA Pour définir la règle de pare-feu pour PVRDMA : 1. Sélectionnez l'hôte et cliquez avec le bouton droit de la souris sur Paramètres pour passer à la page des paramètres de l’onglet Gérer. 2. Sur la page Paramètres, développez Système et cliquez sur Profil de sécurité pour afficher le résumé du pare-feu. 3. Cliquez sur Edition pour afficher l’option Modifier le profil de sécurité. 4. Faites défiler vers le bas pour rechercher pvrdma et cochez la case pour définir le pare-feu. Ajout d'un périphérique PVRDMA à la machine virtuelle Pour ajouter un périphérique PVRDMA à la machine virtuelle : 1. Sélectionnez la machine virtuelle et cliquez avec le bouton droit de la souris sur Modifier les paramètres. 2. Ajoutez une nouvelle carte réseau. 3. Sélectionnez le réseau comme Commutateur virtuel distribué et Groupe de ports. 4. Pour le Type de carte, sélectionnez PVRDMA et cliquez sur OK. 26 février 2018 • NetXtreme-E-UG100 Page 73 Manuel d'utilisation NetXtreme-E RoCE : Configuration et exemples d'utilisation Configuration de la machine virtuelle sur le système d’exploitation invité Linux Remarque : L'utilisateur doit installer les outils de développement appropriés, y compris git, avant de passer aux étapes de configuration ci-dessous. 1. Téléchargez le pilote et la bibliothèque PVRDMA en utilisant les commandes suivantes : git clone git://git.openfabrics.org/~aditr/pvrdma_driver.git git clone git://git.openfabrics.org/~aditr/libpvrdma.git 2. Compilez et installez le pilote et la bibliothèque invité PVRDMA. 3. Pour installer le pilote, exécutez make && sudo insmod pvrdma.ko dans le répertoire du pilote. Le pilote doit être chargé après le chargement du pilote vmxnet3 apparié. Les modules de noyau RDMA installés peuvent ne pas être compatibles avec le pilote PVRDMA. Si tel est le cas, supprimez l'installation actuelle et redémarrez. Suivez ensuite les instructions d'installation. Veuillez lire le fichier README figurant dans le répertoire du pilote pour plus d'informations sur les différentes piles RDMA. 4. Pour installer la bibliothèque, exécutez ./autogen.sh && ./configure --sysconfdir=/etc && make && sudo make install dans le répertoire de la bibliothèque. Remarque : Le chemin d'installation de la bibliothèque doit se trouver dans le cache partagé de la bibliothèque. Suivez les instructions du fichier d'installation contenu dans le répertoire de la bibliothèque. Remarque : Les paramètres de pare-feu peuvent être modifiés pour autoriser le trafic RDMA. Veuillez vérifier que les paramètres du pare-feu sont en place. 5. Ajoutez /usr/lib dans le fichier /etc/ld.so.conf et rechargez ldconf en exécutant ldconfig. 6. Chargez les modules ib en utilisant modprobe rdma_ucm. 7. Chargez le module de noyau PVRDMA à l'aide de insmod pvrdma.ko. 8. Affectez une adresse IP à l’interface PVRDMA. 9. Vérifiez si le périphérique IB a été créé en exécutant la commande ibv_devinfo -v. 26 février 2018 • NetXtreme-E-UG100 Page 74 Manuel d'utilisation NetXtreme-E DCBX – Data Center Bridging DCBX – Data Center Bridging Les contrôleurs Broadcom NetXtreme-E prennent en charge IEEE802.1Qaz DCBX ainsi que l'ancienne spécification CEE DCBX. La configuration de DCB est obtenue en échangeant les paramètres configurés en local avec l’homologue de liaison. Etant donné que les deux extrémités d'une liaison peuvent être configurées différemment, DCBX utilise un concept de « préparation » pour indiquer quelle extrémité de la liaison est prête à accepter les paramètres de l'autre extrémité. Ceci est indiqué dans le protocole DCBX en utilisant un seul bit dans la configuration ETS et dans PFC TLV ; ce bit n'est pas utilisé avec les TLV ETS Recommandation et Application Priority. Par défaut, la carte réseau NetXtreme-E est en mode « prêt » tandis que le commutateur réseau du partenaire de liaison est en mode « non prêt ». Cela permet de propager à l’ensemble du réseau le même paramètre DCBX sur le commutateur. Les utilisateurs peuvent définir manuellement la carte réseau NetXtreme-E en mode non prêt et effectuer diverses configurations PFC, Strict Priority, ETS et APP à partir de l’hôte. Veuillez vous reporter au fichier readme.txt du pilote pour plus de détails sur les configurations disponibles. Ce document fournit un exemple de configuration possible dans Windows avec Windows PowerShell. Des informations supplémentaires sur DCBX, la QoS et des exemples d’utilisation associés sont fournis plus en détail dans un autre livre blanc, au-delà du périmètre de ce manuel de l'utilisateur. Les paramètres suivants du menu HII UEFI sont requis pour activer la prise en charge DCBX : Configuration du système-> Paramètres du périphérique -> NetXtreme-E-> Configuration du niveau du périphérique Profil QoS : Profil de file d'attente QoS par défaut Il est nécessaire de configurer les ressources QoS (qualité de service) pour prendre en charge diverses exigences PFC et ETS lorsqu’un affinage du réglage au-delà de l'allocation de bande passante est requis. La carte NetXtreme-E permet à l'administrateur de choisir de dédier des ressources matérielles de la carte réseau pour prendre en charge les trames Jumbo et/ou de combiner des files d’attente CoS (classe de service) avec et sans perte. De nombreuses combinaisons de configuration sont possibles, ce qui peut compliquer le calcul. Cette option permet à un utilisateur d’effectuer sa sélection dans une liste de profils de file d’attente QoS précalculés. Ces profils précalculés sont conçus pour optimiser la prise en charge des exigences PFC et ETS dans les déploiements clients types. Voici une brève description de chaque profil QoS. Tableau 38 : Profils QoS N° de profil Prise en charge Nb de files d'attente des trames CoS/ports avec Nb de files d'attente Jumbo perte CoS/ports sans perte Prise en charge des SKU à 2 ports Profil n° 1 Oui 0 1 (PFC pris en charge) Oui (25 Gbit/s) Profil n° 2 Oui 4 2 (PFC pris en charge) Non Profil n° 3 Non. (MTU <= 2 Ko) 6 2 (PFC pris en charge) Oui (25 Gbit/s) Profil n° 4 Oui 1 2 (PFC pris en charge) Oui (25 Gbit/s) 26 février 2018 • NetXtreme-E-UG100 Page 75 Manuel d'utilisation NetXtreme-E DCBX – Data Center Bridging Tableau 38 : Profils QoS (suite) N° de profil Prise en charge Nb de files d'attente des trames CoS/ports avec Nb de files d'attente Jumbo perte CoS/ports sans perte Prise en charge des SKU à 2 ports Profil n° 5 Oui 1 0 (aucune prise en charge PFC) Oui (25 Gbit/s) Profil n° 6 Oui 8 0 (aucune prise en charge PFC) Oui (25 Gbit/s) Profil n° 7 Cette configuration optimise l’affectation du tampon des paquets sur deux CoS sans perte Files d'attente qui optimisent les performances RoCE tout en offrant plus de flexibilité. Par défaut Oui 0 Oui Identique au profil n° 4 2 Oui (25 Gbit/s) Oui Mode DCBX = Activer (IEEE uniquement) Cette option permet à un utilisateur d'activer/désactiver DCBX avec la spécification indiquée. IEEE indique uniquement que DCBX IEEE802.1Qaz est sélectionné. Paramétrage du pilote Windows : Après avoir activé les options indiquées dans le menu HII UEFI pour définir les paramètres au niveau du micrologiciel, effectuez les sélections suivantes dans les propriétés avancée du pilote Windows. Ouvrez le menu Gestionnaire de périphériques Windows -> Carte Broadcom NetXtreme E Series -> Propriétés avancées -> onglet Avancé. Qualité de service = Activée Priorité et VLAN = Priorité et VLAN activés VLAN = <ID> Définissez l'ID de VLAN souhaité Pour exécuter la commande associée à DCB dans Windows PowerShell, installez la fonction DCB Windows appropriée. 1. Dans la barre des tâches, cliquez avec le bouton droit sur l'icône Windows PowerShell, puis cliquez sur Exécuter en tant qu'administrateur. Windows PowerShell s'ouvre en mode élevé. 2. Dans la console Windows PowerShell, entrez : Install-WindowsFeature "data-center-bridging" Bit Willing DCBX Le bit Willing DCBX est spécifié dans la spécification DCB. Si le bit Willing d’un périphérique a la valeur true, le périphérique est prêt à accepter les configurations à partir d'un périphérique distant via DCBX. Si le bit Willing d’un périphérique a la valeur false, le périphérique rejette toute configuration à partir d'un périphérique distant et applique uniquement les configurations locales. Utilisez la commande suivante pour définir le bit Willing sur True ou False. 1 pour activé, 0 pour désactivé. 26 février 2018 • NetXtreme-E-UG100 Page 76 Manuel d'utilisation NetXtreme-E DCBX – Data Center Bridging Par exemple set-netQoSdcbxSetting -Willing 1 Utilisez la commande suivante pour créer une classe de trafic. C:\> New-NetQosTrafficClass -name "SMB class" -priority 4 -bandwidthPercentage 30 -Algorithm ETS Remarque : Par défaut, toutes les valeurs 802.1p sont mappées à une classe de trafic par défaut, qui possède 100 % de la bande passante de la liaison physique. La commande ci-dessus crée une nouvelle classe de trafic à laquelle sont mappés tous les paquets marqués avec huit IEEE 802.1p de valeur 4, avec un algorithme de sélection de transmission (TSA) défini sur ETS et une allocation de 30 % de bande passante. Il est possible de créer jusqu'à sept nouvelles classes de trafic. En plus de la classe de trafic par défaut, il y a au maximum huit classes de trafic dans le système. Utilisez la commande suivante pour afficher la classe de trafic créée : C:\> Get-NetQoSTrafficClass Name Algorithm Bandwidth(%) Priority --------------------------[Default] ETS 70 0-3,5-7 SMB class ETS 30 4 Utilisez la commande suivante pour modifier la classe de trafic : PS C:\> Set-NetQoSTrafficClass -Name "SMB class" -BandwidthPercentage 40 PS C:\> get-NetQosTrafficClass Name Algorithm Bandwidth(%) Priority -----------------------------------------------------------------[Default] ETS 60 0-3,5-7 SMB class ETS 40 4 Utilisez la commande suivante pour supprimer la classe de trafic : PS C:\> Remove-NetQosTrafficClass -Name "SMB class" PS C:\> Get-NetQosTrafficClass Name Algorithm Bandwidth(%) Priority -----------------------------------------------------------------[Default] ETS 100 0-7 Utilisez la commande suivante pour créer une classe de trafic (Priorité stricte) : C:\> New-NetQosTrafficClass -name "SMB class" -priority 4 -bandwidthPercentage 30-Algorithm Strict Activation de PFC : PS C:\> Enable-NetQosFlowControl -priority 4 PS C:\> Get-NetQosFlowControl -priority 4 Priority Enabled (Priorité activée) -----------------------------------------------------------------4 True PS C:\> Get-NetQosFlowControl 26 février 2018 • NetXtreme-E-UG100 Page 77 Manuel d'utilisation NetXtreme-E DCBX – Data Center Bridging Désactivation de PFC : PS C:\> disable-NetQosflowControl -priority 4 PS C:\> get-NetQosFlowControl -priority 4 Priority Enabled (Priorité activée) -----------------------------------------------------------------4 False Utilisez la commande suivante pour créer une règle QoS : PS C:\> New-NetQosPolicy -Name "SMB policy" -SMB -PriorityValue8021Action 4 Name : SMB policy Owner : Group Policy (Machine) NetworkProfile : All Precedence : 127 Remarque : La commande ci-dessus crée une nouvelle règle pour SMB. -SMB est un filtre intégré qui correspond au port TCP 445 (réservé à SMB). Si un paquet est envoyé sur le port TCP 445, il est identifié par le système d'exploitation avec la valeur 802.1p de 4 avant que le paquet soit transmis à un pilote miniport réseau. D’autres filtres par défaut s’ajoutent au filtre SMB : –iSCSI (correspondant au port TCP 3260), -NFS (correspondant au port TCP 2049), -LiveMigration (correspondant au port TCP 6600), -FCOE (correspondant à EtherType 0x8906) et –NetworkDirect. NetworkDirect est une couche d’abstraction créée en amont de toute implémentation RDMA sur une carte réseau. –NetworkDirect doit être suivi d’un port Network Direct. En plus des filtres par défaut, un utilisateur peut classer le trafic par nom d’exécutable de l’application (comme dans le premier exemple ci-dessous), ou par adresse IP, par port ou par protocole. Utilisez la commande suivante pour créer une règle QoS basée sur l'adresse source/destination : PS C:\> New-NetQosPolicy "Network Management" -IPDstPrefixMatchCondition 10.240.1.0/24 IPProtocolMatchCondition both -NetworkProfile all -PriorityValue8021Action 7 Name : Network Management Owner : Group Policy (Machine) Network Profile : All Precedence : 127 IPProtocol : Both IPDstPrefix : 10.240.1.0/24 PriorityValue : 7 Utilisez la commande suivante pour afficher la règle QoS : PS C:\> Get-NetQosPolicy Name : Network Management Owner : (382ACFAD-1E73-46BD-A0A-6-4EE0E587B95) NetworkProfile : All Precedence : 127 IPProtocol : Both IPDstPrefix : 10.240.1.0/24 PriorityValue : 7 Name : SMB policy Owner : (382AFAD-1E73-46BD-A0A-6-4EE0E587B95) 26 février 2018 • NetXtreme-E-UG100 Page 78 Manuel d'utilisation NetXtreme-E Foire aux questions NetworkProfile : All Precedence : 127 Template : SMB PriorityValue : 4 Utilisez la commande suivante pour modifier la règle QoS : PS C:\> Set-NetqosPolicy -Name "Network Management" -IPSrcPrefixMatchCondition 10.235.2.0/24 IPProtocolMatchCondition both -PriorityValue802.1Action 7 PS C:\> Get-NetQosPolicy -name "network management" Name : Network Management Owner : {382ACFD-1E73-46BD-A0A0-4EE0E587B95} NetworkProfile : All Precedence : 127 IPProtocol : Both IPSrcPrefix : 10.235.2.0/24 IPDstPrefix : 10.240.1.0/24 PriorityValue : 7 Utilisez la commande suivante pour supprimer la règle QoS : PS C:\> Remove-NetQosPolicy -Name "Network Management" Foire aux questions • La négociation automatique est-elle prise en charge à la vitesse 25G ? Oui. Veuillez vous reporter à « Configuration de la négociation automatique » page 41 pour plus d’informations. • Comment dois-je connecter le câble SFP28 aux ports QSFP ? Des câbles adaptateurs sont disponibles pour connecter des ports QSFP à 4 ports SFP28. • Quelles sont les vitesses de port compatibles ? Pour les périphériques à double port BCM57404AXXXX/BCM57414, les vitesses des deux ports doivent être compatibles entre elles. Les vitesses 10 Gbit/s et 25 Gbit/s ne sont pas compatibles. Si un port est défini sur 10 Gbit/s, l'autre port ne peut pas être défini sur 25 Gbit/s. Si l'utilisateur tente de définir des vitesses de port incompatibles, le deuxième port à activer ne pourra pas effectuer la liaison. Veuillez vous reporter à « Configuration de la négociation automatique » page 41 pour plus d’informations. • Puis-je utiliser une vitesse de 10 Gbit/s pour la connectivité PXE sur un port à 25 Gbit/s ? Seule la vitesse 25 Gbit/s est prise en charge pour la connectivité PXE. Il n'est pas recommandé d'utiliser une connectivité PXE de 10 Gbit/s sur une carte 25 Gbit/s. Ceci est dû à l’absence de prise en charge de la négociation automatique sur les commutateurs 10 Gbit/s existants et aux éventuelles complications liées à des paramètres incompatibles de vitesse de liaison des ports. 26 février 2018 • NetXtreme-E-UG100 Page 79