Bull NovaScale 4040 HPC Linux Installation du matériel REFERENCE 86 F1 51EG 00 Bull NovaScale 4040 HPC Linux Installation du matériel Matériel Avril 2003 BULL CEDOC 357 AVENUE PATTON B.P.20845 49008 ANGERS CEDEX 01 FRANCE REFERENCE 86 F1 51EG 00 The following copyright notice protects this book under the Copyright laws of the United States of America and other countries which prohibit such actions as, but not limited to, copying, distributing, modifying, and making derivative works. Copyright Bull S.A., 2003 Imprimé en France Vos suggestions sur la forme et le fond de ce manuel seront les bienvenues. Une feuille destinée à recevoir vos remarques se trouve à la fin de ce document. Pour commander d’autres exemplaires de ce manuel ou d’autres publications techniques Bull, veuillez utiliser le bon de commande également fourni en fin de manuel. Marques déposées Toutes les marques déposées sont la propriété de leurs titulaires respectifs. Linux est une marque déposée de Linus Torvalds. Itanium est une marque déposée d’Intel Corporation. La loi du 11 mars 1957, complétée par la loi du 3 juillet 1985, interdit les copies ou reproductions destinées à une utilisation collective. Toute représentation ou reproduction intégrale ou partielle faite par quelque procédé que ce soit, sans consentement de l’auteur ou de ses ayants cause, est illicite et constitue une contrefaçon sanctionnée par les articles 425 et suivants du code pénal. Ce document est fourni à titre d’information seulement. Il n’engage pas la responsabilité de Bull S.A. en cas de dommage résultant de son application. Des corrections ou modifications du contenu de ce document peuvent intervenir sans préavis ; des mises à jour ultérieures les signaleront éventuellement aux destinataires. Table des matières PRÉFACE.............................................................................................................................................. III BUT DU DOCUMENT .............................................................................................................................. V ORGANISATION DU DOCUMENT ............................................................................................................. V CHAPITRE 1. NOTIONS GÉNÉRALES SUR LINUX HPC.......................................................... 1-1 1.1 HPC (HIGH PERFORMANCE COMPUTING).................................................................................... 1-1 1.1.1 Définition de HPC .............................................................................................................. 1-1 1.1.2 Utilisation du HPC ............................................................................................................. 1-1 1.2 LINUX ........................................................................................................................................ 1-1 1.2.1 Définition ............................................................................................................................ 1-1 1.2.2 La petite histoire… ............................................................................................................. 1-2 1.2.3 LINUX et HPC ................................................................................................................... 1-2 1.3 CLUSTER HPC ............................................................................................................................. 1-3 1.3.1 Qu’est-ce qu’un cluster ? ................................................................................................... 1-3 1.3.2 Les grands types de cluster ................................................................................................ 1-3 1.3.3 L’architecture d’un cluster HPC......................................................................................... 1-4 1.4 LINUX HPC ET BULL ................................................................................................................... 1-5 CHAPITRE 2. DESCRIPTION DE L’ENVIRONNEMENT MATÉRIEL HPC NOVASCALE 4040 .................................................................................................................... 2-1 2.1 INTRODUCTION ............................................................................................................................ 2-1 2.1 LE RACK 36U............................................................................................................................... 2-3 2.2 LE NŒUD D’ADMINISTRATION ...................................................................................................... 2-4 2.3 LES NŒUDS DE CALCUL................................................................................................................ 2-5 2.4 LE NŒUD DES ENTRÉES/SORTIES .................................................................................................. 2-6 2.5 L’INTERCONNEXION ETHERNET ................................................................................................... 2-6 2.6 L’INTERCONNEXION SCI.............................................................................................................. 2-8 2.7 L’INTERCONNEXION SÉRIE......................................................................................................... 2-10 2.8 LE SOUS-SYSTÈME DE STOCKAGE ............................................................................................... 2-13 CHAPITRE 3. INSTALLATION MATÉRIELLE ........................................................................... 3-1 3.1 PLAN GÉNÉRAL D’UNE CONFIGURATION 8 NŒUDS ....................................................................... 3-1 3.1 RÈGLES DE PLACEMENT DES ÉLÉMENTS DANS LES ARMOIRES ...................................................... 3-3 3.2 RÈGLES DE PLACEMENT DES ADAPTATEURS PCI DANS LES NŒUDS ............................................. 3-4 3.3 EXEMPLE D’UN CLUSTER 4 NŒUDS .............................................................................................. 3-4 3.4 RÈGLES ET PLAN DE CÂBLAGE ..................................................................................................... 3-6 3.5 ADMINISTRATION DU MATÉRIEL .................................................................................................. 3-8 3.5.1 Mise en route du nœud d’administration............................................................................. 3-8 3.5.2 Mise en route et contrôle des autres nœuds......................................................................... 3-8 GLOSSAIRE ........................................................................................................................................ g-1 RÉFÉRENCES .................................................................................................................................... r-1 Table des matières iii iv HPC Linux installation hardware Préface But du document Le but de ce document est de montrer comment construire un environnement matériel Linux HPC à partir des matériels Bull NovaScale 4040 basés sur l‘architecture Itanium-2™ La description des logiciels HPC, Open Source ou propriétaires, testés par Bull pour ces architectures Bull Itanium-2 ™ fait l’objet d’autres documents. Organisation du document Après cette préface, • Le chapitre 1 décrit les notions de base sur HPC dans un environnement LINUX et de logiciels libres. • Le chapitre 2 décrit les composants matériels d’une configuration HPC NovaScale 4040 de Bull. • Le chapitre 3 décrit l’installation matérielle de ces composants Préface v vi HPC Linux installation hardware Chapitre 1. Notions générales sur Linux HPC 1.1 HPC (High Perform ance Computing) 1.1.1 Définition de HPC C’est ce qu’on appelle en français le calcul de haute performance. Ce terme définit les grosses applications scientifiques nécessitant une grande puissance de calcul et également une grande précision des résultats 1.1.2 Utilisation du HPC Le calcul de haute performance est utilisé dans différents domaines : • La recherche (dynamique moléculaire, mécanique des fluides…) • L’industrie scientifique (automobile, nucléaire, météo …) • L’imagerie de synthèse (effets spéciaux…) • Le data mining (exploitation statistique de grosses bases de données type Data Warehouse…) 1.2 LINUX 1.2.1 Définition Linux est un système d'exploitation de type UNIX, multi-tâches et multiutilisateurs, disponible sur de nombreuses architectures matérielles, en particulier les machines à base de processeurs ix86 et Itanium™. Il intègre la plupart des technologies les plus récentes (SMP, clustering, RAID). La principale singularité de Linux est d'être un logiciel libre, développé de façon collaborative et pour une grande part bénévole par des milliers de programmeurs répartis dans le monde. Linux est un noyau. Pour l’utiliser, il faut des applications, c’est ce que proposent les distributions. Une distribution est un ensemble de programmes plus un noyau à installer sur une machine. Parmi les distributions Linux, on peut citer RedHat, Mandrake, Suse, TurboLinux . Notions générales sur Linux HPC 1-1 1.2.2 La petite histoire… Linux est un système d’exploitation conçu par Linus Torvalds, un étudiant finlandais. Le commencement de l’écriture du noyau eu lieu en 1991. La règle de base qui a prévalu tout au long de sa réalisation voulait que la licence soit ouverte. Toutes les parties de ce système d'exploitation ont ainsi été réécrites et améliorées au fil du temps (aujourd'hui il en est à sa version 2.4.19). Le noyau Linux est diffusé sous forme de « distributions », contenant le noyau ainsi que des programmes souvent accompagnées d’un outil « maison » facilitant l’installation. Elles sont mises à disposition sur des sites FTP et des CD commercialisés. Linux bénéficie à ce titre énormément des logiciels libres mis au point dans le cadre de divers autres projets, en particulier de GNU. 1.2.3 LINUX et HPC 1.2.3.1 Avantages de Linux • • • • Multi-plateforme : le noyau Linux fonctionne sur PC, Itanium, PowerPC … Fiable, robuste De nombreux logiciels (y compris le noyau) sont en Open Source et à ce titre téléchargeables gratuitement sur Internet. En outre, cela permet qu’un maximum de personnes travaille sur ces logiciels et accélère les temps de développement. Très largement déployé : Linux compte de plus en plus d'adeptes, non seulement dans les Centres de Recherche et les Universités, mais aussi dans l'industrie. La synergie qui existe derrière Linux est immense et explique la qualité et son émergence très rapide. 1.2.3.2 Open Source (Logiciel lib re) Depuis Linus Torvalds et son système Linux, l'Open Source s'est considérablement développé. Le logiciel Libre, en tant qu'idée politique, a été popularisé par Richard Stallman depuis 1984, année où il a créé la Free Software Foundation (FSF) et son projet GNU. Il a mis sur pied un ensemble de droits dont il estimait que tout utilisateur devait pouvoir jouir, et les a codifiés au sein de la licence publique générale de GNU, ou GPL. Le code source n'est donc plus la possession privée d'une personne, d'un groupe de personnes, ou d'une société, comme c'était le cas depuis la naissance de l'informatique dans les années 60, jusque dans les années 80/90. Les plus grandes entreprises emboîtent actuellement le pas des développeurs indépendants et proposent à leur tour des logiciels de qualité professionnelle en Open Source. 1-2 HPC Linux installation hardware Voici quelques uns des principes de l’Open Source et de la licence GPL : • Libre utilisation • Libre redistribution • Le code source doit être à disposition de tout le monde • La licence doit autoriser les modifications et les travaux dérivés • Intégrité du code source de l’auteur : diffusion de patchs • Le redistributeur doit accorder la même licence aux destinataires Il existe d’autres licences comme la licence BSD. A la différence de la licence GPL , la licence BSD pourra permettre (si indiqué dans le source) la non diffusion des modifications. Pour plus d’informations consulter les pages : http://www.gnu.org http://www.opensource.org http://www.freebsd.org 1.3 Cluster HPC 1.3.1 Qu’est-ce qu’un cluste r ? Un cluster est un ensemble de machines (appelée nœuds) connectées entre elles dans le but de remplir une fonction. Chaque nœud peut être monoprocesseur ou multiprocesseur SMP (multitraitement symétrique), les processeurs se partageant dans ce cas la mémoire et les disques. 1.3.2 Les grands types de c luster Cluster scientifique (HPC) : Le calcul est divisé en plusieurs tâches qui seront effectuées en parallèle sur les différentes machines du cluster. Ces clusters sont surtout utilisés par le monde scientifique, graphique. Cluster haute-disponibilité (HA) : Il est créé afin d’éviter une interruption de service en cas de dysfonctionnement matériel ou logiciel d’une machine. Par exemple, si un nœud serveur n’est plus apte à assurer ses fonctions, il sera automatiquement remplacé par une autre machine du cluster. Le load balancing ou répartition de charge est souvent cité lorsque l’on parle de clustering. Il a pour but de distribuer l’exécution de processus système ou réseau sur les différents nœuds. Ainsi, lorsque le nœud répartiteur de charge reçoit un processus, il regarde la charge et la spécialisation de chacun des nœuds et il affecte ainsi le processus au plus approprié. Ce principe est utilisé dans le domaine des réseaux et plus particulièrement sur celui des services comme les serveurs WEB ou FTP. Notions générales sur Linux HPC 1-3 1.3.3 L’architecture d’un clu ster HPC Un système Cluster HPC est : • Un ensemble de machines indépendantes et similaires en terme d’architecture et vitesse. Une des machines (le nœud serveur) répartit les tâches entre toutes les autres (nœuds clients) qui lui renvoient le résultat une fois les calculs terminés. • Cet ensemble disposera d’un réseau dédié rapide de communication interne pour les applications parallèles(MPI) et d’un autre réseau TCPIP pour le management faisant apparaître l’ensemble comme une seule entité vue de l’extérieur. Cette notion s’oppose à celle de réseau de stations où chaque nœud dispose d’un écran, clavier . Schéma d’un cluster classique Le nœud serveur contrôle l’ensemble du cluster. Il est aussi la console du cluster et la passerelle (gateway) vers le monde extérieur. Un grand cluster peut avoir plus d’un nœud serveur et des nœuds clients dédiés à des tâches bien spécifiques (ex : calcul, serveur de fichiers). 1-4 HPC Linux installation hardware 1.4 Linux HPC et Bull Linux aujourd’hui est un système d’exploitation capable de supporter les exigences des environnements HPC demandées par les applications scientifiques en terme de nombre de CPUs, bande passante IO et de support pour la programmation parallèle. C’est pourquoi Bull le propose sur ces platesformes SMP Itanium-2 4 voies (NovaScale 4040) , 8 voies (IL820R) et 16 voies (IL1620R) ainsi que sur des configurations « cluster » interconnectant des NovaScale 4040 pour accroitre la capacité CPU. Notions générales sur Linux HPC 1-5 1-6 HPC Linux installation hardware Chapitre 2. Description de l’environnement matériel HPC NovaScale 4040 2.1 Introduction L'architecture matérielle d'un cluster HPC est directement dérivée de son utilisation principale: le calcul intensif sur un grand nombre de processeurs. Le nombre de processeurs étant limité, par construction, dans une machine, l'élément déterminant de cette architecture est la multiplication de machines, appelées "nœuds" de calcul, ou "grain", chacune apportant son nombre limité de processeurs dans un travail de coopération globale pour atteindre le niveau de puissance demandé par une application. Cette architecture demande un chef d'orchestre coordonnant les actions des autres nœuds, la répartition des éléments applicatifs et la répartition des données entre les nœuds. Un nœud particulier du cluster, le "nœud serveur" ou "nœud d'administration" est dédié à cette tache. Il constitue le point d'accès centralisé au cluster (au sens connexion au réseau utilisateur) et propose au monde extérieur une visibilité unifiée du cluster. Ce nœud centralise aussi toute l'administration matérielle et la configuration de cluster. Les données nécessaires au calcul demandent généralement un espace de stockage très supérieur à celui disponible en interne sur chaque nœud. Un sous-système disque est donc intégré au cluster, connecté à un second nœud particulier du cluster appelé "nœud des entrées-sorties". Les données sont ensuite distribuées vers les autres nœuds de calcul par des méthodes classiques de distribution de fichiers de type "NFS" ("Network File System"). Afin de minimiser les coûts, il est possible de faire jouer ces deux rôles aux même nœud physique. Un fort niveau d'interconnexion physique est nécessaire à l'intérieur d'un cluster pour acheminer tous ces trafics d'information entre les différents nœuds. On définit donc 3 niveaux distincts d'interconnexion, chacun apportant des éléments matériels propres: Description de l’environnement matériel HPC NovaScale 4040 2-1 • Le premier dédié à la coopération applicative et l'échange entre nœuds d'éléments sémantiques de l'application, basé sur un lien physique SCI. • Un deuxième dédié à la répartition des données applicatives présentes sur le sous-système disque connecté au nœud des entrèes-sorties, et basé sur un réseau Ethernet haut-débit (Gigabit). Ce réseau est aussi utilisé pour toute l’administration et la configuration logicielle du cluster. • Enfin un troisième dédié à l'administration matérielle du cluster, basé sur des lignes série. La suite de ce chapitre reprend ces éléments de base pour aborder leur description physique précise en se basant sur les exemples : • d’un cluster 4 nœuds de calcul ( 4 nœuds identiques dont 1 également utilisé pour l’administration) • d'un cluster 8 nœuds (6 nœuds uniquement de calcul, 1 d'administration et de calcul, 1 d'entrées-sorties et de calcul). Sont décrites les règles d'installation nécessaires à la bonne intégration de l'ensemble pour constituer une configuration opérationnelle sur le plan matériel. Pour obtenir des détails plus précis sur chaque élément matériel décrit ici, se référer à sa documentation spécifique. 2-2 HPC Linux installation hardware 2.1 Le rack 36U Le cluster HPC Bull est intégré dans une armoire (« Rack ») standard de 19 pouces de large, et 36 unités de hauteur (l’unité de hauteur équivaut à 44,45 mm soit 1 pouce 3/4). Chaque élément intégré occupe un nombre entier d’unités. (voir tableau) Deux armoires sont nécessaires pour accueillir l’ensemble des éléments constitutifs de notre exemple à 8 machines. Elément Nœud de calcul Sous-système disque-base Sous-système disque-extension Ecran/clavier/souris intègrés Switch Ethernet Répartiteurs d’alimentation Hauteur occupée (en Unités) 4 3 2 2 2 0 Tableau 1 : hauteur des éléments dans une armoire Pour assurer la bonne stabilité de l’ensemble, tous les éléments dans une armoire sont boulonnés aux rails internes au moins en partie avant, et sont fixés pour la plupart sur des équerres elles-mêmes fixées sur les rails avant et arrière. Ces pièces de fixation font l’objet de kits spécifiques à chaque élément (« kit de fixation ») car elles prennent en compte les spécificités de perçage de chaque élément. L’armoire elle-même doit être bien stabilisée sur le sol au moyen des vérins inclus, pour limiter au maximum les vibrations nuisibles au bon fonctionnement de tout matériel informatique. L’alimentation électrique des éléments est distribuée par l’intermédiaire de boîtiers répartiteurs d’alimentation (« PDU » : Power Distribution Unit) offrant chacun 6 sorties électriques au format US. Une armoire peut contenir jusqu’à 4 boîtiers répartiteurs d’alimentation qui sont situés verticalement de chaque coté de l’armoire entre les parois et les rails de fixation, deux situés en partie haute, et deux en partie basse, à l’arrière de l’armoire. Ces boîtiers répartiteurs sont d’abord placés à gauche de l’armoire vue par l’arrière, puis à droite si nécessaire. Ces répartiteurs d’alimentation doivent chacun être reliés au réseau d’alimentation électrique au moyen de la prise ad-hoc. Description de l’environnement matériel HPC NovaScale 4040 2-3 2.2 Le nœud d’adminis tration Bien que chaque nœud d’un cluster soit physiquement équivalent au niveau architecture, encombrement et connectique de base, le nœud d’administration (et le nœud des entrées-sorties lorsqu’il est dissocié du nœud d’administration) présente certaines particularités matérielles induites par sa fonction dans le cluster : • Il est le seul à pouvoir être connecté à un réseau externe, donc accessible de l’extérieur du cluster. • L’ensemble console (écran/clavier/souris) du cluster lui est connecté, et à lui seulement. • Il centralise la gestion matérielle les autres nœuds en étant le point central du réseau des lignes série. • Sa position dans l’armoire doit le rendre aisément accessible à un opérateur car il centralise la plupart des opérations manuelles nécessaires à l’administration matérielle du cluster (accès au bouton de marche / arrêt, accès au lecteurs CD-ROM et disquettes, etc…) La puissance de ce nœud peut être modulée (nombre de CPUs, mémoire, espace disque interne) pour des raisons de coût et adaptée si besoin à son seul rôle d’administration de cluster. Comme tous les autres nœuds, sa connectique de base inclut : • 4 ports USB (Universal Serial Bus), sur lesquels viennent se connecter le clavier et la souris, • 1 port vidéo SVGA pour connecter l’écran, • 1 port série inutilisé, • 1 port ethernet 10/100/1Gb à relier au switch ethernet, • 2 connecteurs d’alimentation électrique dont un au moins doit être relié à un des boîtiers répartiteurs d’alimentation. Le nœud d’administration contient obligatoirement 3 adaptateurs PCI additionnels : • 1 carte SCI placée dans un des emplacements PCI les plus à gauche, pour participation de ce nœud au réseau SCI (voir le chapitre SCI pour les détails) • 1 ou 2 cartes (2 cartes au-delà de 7 nœuds dans un cluster) asynchrones rs232 8 ports, placées dans les emplacement PCI les plus à droite, pour l’administration matérielle du cluster. Un boîtier éclateur des 8 lignes série y est connecté (voir le chapitre spécifique sur les lignes série). • 1 carte d’accès réseau au monde extérieur. 2-4 HPC Linux installation hardware 2.3 Les nœuds de calc ul Les nœuds de calcul à l’intérieur d’un cluster sont surtout caractérisés par une taille de mémoire centrale et un nombre de CPUs adaptés à la puissance désirée globalement. Du point de vue connectique, ils incluent : • 4 ports USB inutilisés • 1 port VGA inutilisé • 1 port série relié à l’adaptateur PCI rs232 du nœud d’administration, par l’intermédiaire du boîtier de répartition 8 ports série de ce nœud. • 1 port ethernet 10/100/1Gb à relier au switch Ethernet • 2 connecteurs d’alimentation électrique dont un au moins doit être relié à un des boîtiers répartiteurs d’alimentation. Chaque nœud de calcul contient obligatoirement un adaptateur PCI SCI pour sa participation au réseau SCI, relié par 2 câbles au nœuds précédents et 2 autres câbles aux nœuds suivants de chacun des anneaux SCI auxquels il participe . Description de l’environnement matériel HPC NovaScale 4040 2-5 2.4 Le nœud des entré es/sorties Ce nœud, lorsqu’il est dissocié du nœud d’administration, contient les adaptateurs PCI SCSI de connexion aux éléments de stockage externe. Ses autres connexions sont identiques à celles d’un nœud de calcul. Un adaptateur PCI SCI sera également mis pour lui permettre de participer au réseau SCI. Ce nœud peut aussi contenir d’autres adaptateurs PCI d’entrées/sorties pour d’autres besoins optionnels de stockage tels que lecteur de bandes magnétiques ou sous-système de sauvegarde. 2.5 L’interconnexion E thernet Comme décrit ci-dessus, chaque nœud d’un cluster inclut un port Ethernet 10/100/1Gb, et l’ensemble de ces nœuds est relié à un switch ethernet qui constitue le cœur de ce réseau dans le cluster. L’arrivée du réseau d’établissement, dans lequel le cluster doit s’insérer, se fait par un adaptateur PCI réseau additionnel placé dans le nœud d’administration, et compatible avec le type du réseau d’établissement. Le switch ethernet, qui peut être du type 100Mb ou 1Gb suivant le coût et la puissance désirés, se place en partie centrale ou basse de l’armoire contenant le nœud d’administration pour faciliter son câblage à l’ensemble des autres nœuds, y compris ceux présents dans l’autre armoire. Il se fixe en face arrière de l’armoire et prend son alimentation électrique sur un des répartiteurs d’alimentation adjacents. Le câblage ethernet s’effectue à l’aide de câbles RJ45/RJ45 catégorie 5 de 7,5 mètres. L’administration matérielle du switch s’effectue par l’intermédiaire du nœud d’administration, à travers la connexion existante vers celui-ci (administration « in-band »). Voir la documentation spécifique à cet élément pour plus de détails. Le nommage et l’adressage des nœuds dans un cluster doit obéir à des règles strictes et logiques pour pouvoir aisément identifier et localiser un nœud lorsque leur nombre croît. Les règles de nommage à adopter sont les suivantes : • Les armoires composant un cluster sont numérotées dans leur ordre physique de placement dans le centre de calcul : R01, R02, R03, R04, etc… 2-6 HPC Linux installation hardware • • • • Dans la suite de ce document chaque nœud est nommé par son emplacement dans une armoire, à partir du bas de l’armoire, et indexé par le numéro de cette armoire : - Le premier nœud en bas de la première armoire se nomme N0101 - Le deuxième nœud à partir du bas de la première armoire se nomme N0102 - Etc.. - Le premier nœud en bas de la deuxième armoire se nomme N0201 - Le deuxième nœud à partir du bas de la deuxième armoire N0202 - Le troisième N0203 - Etc… Suivant le nombre de nœuds dans une armoire et leurs positions relatives, le nommage peut être discontinu si un emplacement d’un nœud est laissé vacant. Le nœud d’administration est le nœud N0105 compte tenu de son emplacement dans l’armoire. Le nœud des entrées-sorties, s’il est dissocié du nœud d’administration est le nœud N0101. L’administrateur pourra néanmoins renommer à sa convenance ces noeuds notamment pour les configurations IP, SCALI et fichiers de configuration minicom Dans nos exemples nous appellerons souvent le nœud d’administration « admin »plutôt que « N0105 ». On pourra préférer aussi nommer avec « n » plutôt que « N » (n0102 plutôt que N0102) Le nœud d’administration possède aussi un second nom réseau et une adresse ethernet laissés au choix de l’administrateur et permettant son accès depuis l’extérieur à travers l’adaptateur réseau PCI additionnel. Les autres nœuds constituent un sous-réseau privé ethernet local au cluster. Il est conseillé de leur affecter une adresse ethernet statique en reprenant le nommage des nœuds dans la partie variable de l’adressage sur un segment : • L’adresse de segment privé utilisée est à prendre dans une plage compatible avec le plan d’adressage de l’entreprise et conformément aux règles du RFC1918 (plage d’adressage catégorie 1 ou 2). Par exemple 172.16.12.xxx • La partie spécifique à chaque nœud fait référence à son nom, par exemple : - 172.16.12.11 pour le premier nœud de la première armoire, - 172.16.12.12 pour le deuxième nœud de la première armoire, - etc… - 172.16.12.21 pour le premier nœud de la deuxième armoire, - etc… Description de l’environnement matériel HPC NovaScale 4040 2-7 2.6 L’interconnexion S CI Le cluster HPC Bull utilise des adaptateurs PCI d’interconnexion hautes performances SCI en mode « tore bi-dimentionnel » comme infrastructure de communication inter-nœud. L’interface -message (« MPI » : Message Passing Interface) SCALI est optimisée pour tirer pleinement parti de cette infrastructure. Chaque nœud de calcul, et le nœud d’administration possèdent un adaptateur PCI SCI, directement relié aux nœuds précédent et suivant, ce qui élimine l’obligation de disposer d’un switch SCI en apportant une architecture plus sûre et plus extensible à moindre coût. Chaque adaptateur SCI possède 4 connecteurs mono -directionnels (deux en entrée et deux en sortie). Les sorties sont les deux connecteurs supérieurs, les entrées les deux connecteurs inférieurs, les connecteurs étant apairés verticalement, paire 0 à gauche, paire 1 à droite suivant le schéma suivant : Chaque paire (une entrée/une sortie) doit être connectée à l’aide de deux câbles spécifiques aux autres nœuds de manière à former des boucles ou anneaux offrant le maximum de maillage dans le cluster. 2-8 HPC Linux installation hardware Dans le cas d’un cluster 4 nœuds (N0101, N0102, N0103, N0105) le câblage sera ; Notre cluster 4 nœuds est câblé ainsi : N 0 1 05 OUT IN N 0 1 03 OUT N 0 1 02 OUT IN IN N 0101 OUT IN P aires 0 P aires 1 Les liaisons entre les nœuds d’ un cluster 4 nœuds s’établissent ainsi: Nœud initial (OUT) Nœud destinataire Nœud destinataire (IN) (IN) Paire 0 Paire 1 N0101 N0105 N0102 N0102 N0103 N0101 N0103 N0102 N0105 N0105 N0101 N0103 Description de l’environnement matériel HPC NovaScale 4040 2-9 Dans le cas du cluster 8 nœuds reliés par SCI le câblage sera: Ces liaisons entre nœuds s’établissent ainsi: Nœud initial (OUT) N0206 N0205 N0204 N0203 N0202 N0201 N0105 N0101 Nœud destinataire Nœud destinataire (IN) (IN) Paire 0 Paire 1 N0204 N0202 N0206 N0201 N0203 N0105 N0205 N0101 N0105 N0206 N0202 N0205 N0101 N0204 N0201 N0203 La première dimension de l’interconnexion SCI est construite sur les « paires 0 » de chaque nœud . La deuxième dimension est construite sur les « paires 1 » des nœuds. 2.7 L’interconnexion S érie Tous les éléments constitutifs d’un cluster (nœuds de calcul, nœud des entrées-sorties, sous-système disque) sont connectés au nœud d’administration par un réseau de lignes série (RS232) en étoile à partir de ce nœud. Une ou deux cartes série 8 ports sont nécessaires suivant le nombre d’éléments. 2-10 HPC Linux installation hardware En boîtier éclateur placé au bas de l’armoire et relié à chaque adaptateur série PCI permet de disposer de 8 connecteurs RS232 DB25-mâle, numérotés de 0 à 7 : Chacun des nœuds de calcul et d’entrée-sortie doit être relié à ce boîtier par l’intermédiaire d’un câble DB25-femelle/DB9-femelle composé d’une grande longueur DB25-femelle/DB25-femelle et d’un court câble d’adaptation DB25male/DB9-femelle, à partir de son connecteur série DB9-Male situé à l’arrière en haut à gauche. ier Veiller à respecter l’ordre de branchement des nœuds sur le boîtier (1 nœud ième sur le connecteur 0, 2 nœud sur le connecteur 1, etc..). Le sous-système disque possède aussi 2 ports série qu’il faut brancher sur les deux derniers connecteurs du seul boîtier si le nombre de nœuds le permet, ou du deuxième boîtier si le cluster comprend plus de 7 nœuds (i.e. 1 nœud d’administration non connecté au boîtier et 6 autres nœuds connectés sur les 6 premiers connecteurs). Se référer à la documentation spécifique du sous-système disque pour plus d’information. Description de l’environnement matériel HPC NovaScale 4040 2-11 Nommage des ports série (exemple à 8 nœuds de calcul), le boîtier 1 correspond à celui de l’adaptateur PCI le plus à droite : Boîtier N° de connecteur Elément connecté 1 0 Nœud N0101 1 1 1 2 1 3 1 4 1 5 1 6 1 7 ss-disque 2 0 Nœud 0201 2 1 Nœud 0202 2 2 Nœud 0203 2 3 Nœud 0204 2 4 Nœud 0205 2 5 Nœud 0206 2 6 2 7 ss-disque 2-12 Fonction Nœud des E/S Nœud de calcul n°1 Nœud de calcul n°2 Nœud de calcul n°3 Nœud de calcul n°4 Nœud de calcul n°5 Nœud de calcul n°6 Nommage Linux ttyD008 ttyD009 ttyD010 ttyD011 ttyD012 ttyD013 ttyD014 ttyD015 ttyD000 ttyD001 ttyD002 ttyD003 ttyD004 ttyD005 ttyD006 ttyD007 HPC Linux installation hardware 2.8 Le sous-système d e stockage Le sous-système de stockage est un élément essentiel d’un cluster car il permet de stocker les données nécessaires à l’application et dont l’accès doit être réparti sur l’ensemble des nœuds. Il se compose d’un élément principal à 14 emplacements disque: Et d’un élément optionnel d’extension à 8 emplacements disque afin d’augmenter sa capacité : L’élément optionnel est relié à l’élément principal par 2 câbles SCSI externes. Pour une description plus complète de ces éléments, se référer à leur documentation spécifique. Le sous-système disque offre deux processeurs de gestion de volumes RAID ayant chacun sa sortie SCSI et est connecté au nœud des entrées-sorties par deux adaptateurs PCI de bus SCSI placés dans celui-ci. Description de l’environnement matériel HPC NovaScale 4040 2-13 Les données sont ensuite distribuées aux autres nœuds suivant leurs besoins applicatifs par le réseau d’interconnexion Ethernet et un protocole de distribution de fichiers de type NFS. L’administration du sous-système disque s’effectue par l’intermédiaire de deux lignes série (une pour chaque processeur de gestion de volumes RAID) à relier au boîtier de répartition des 8 lignes séries de l’armoire à l’aide du câble fourni. Chaque élément du sous-système disque possède optionnellement deux alimentations électriques séparées à relier à deux boîtiers répartiteurs d’alimentation électrique de l’armoire. 2-14 HPC Linux installation hardware Chapitre 3. Installation matérielle 3.1 Plan général d’une configuration 8 nœuds Le cluster 8 nœuds opérationnel présente la structure suivante : Installation matérielle 3-1 3-2 HPC Linux installation hardware 3.1 Règles de placeme nt des éléments dans les armoires Armoire R01 : Elément Switch Ethernet Nœud des E/S (N0101) Sous-système disque Extension disque Console intégrée Nœud de contrôle (N0105 ou admin) Taille (en unités) 2 4 3 2 2 4 Emplacement (en Unités) 1-2 3-6 7-9 10-11 15-16 21-24 Notes : § Les emplacements sont numérotés de bas en haut de l’armoire. § Concernant le nœud N0105 affecté à l’administration et au contrôle il sera préférable de le nommer « admin ». C’est ce qui est fait dans la partie Installation de ce document. Armoire R02 : Element Nœud de calcul n°1 (N0201) Nœud de calcul n°2 (N0202) Nœud de calcul n°3 (N0203) Nœud de calcul n°4 (N0204) Nœud de calcul n°5 (N0205) Nœud de calcul n°6 (N0206) Taille (en unités) 4 4 4 4 4 4 Emplacement (en Unités) 3-6 7-10 11-14 15-18 19-22 23-26 Note : Les emplacements sont numérotés de bas en haut de l’armoire. Installation matérielle 3-3 3.2 Règles de placeme nt des adaptateurs PCI dans les nœuds Les emplacements PCI des nœuds sont numérotés de 1 à 8, de droite à gauche lorsque le nœud est vu par l’arrière. Type d’adaptateur PCI Adaptateur SCI Adaptateur Ethernet Adaptateurs SCSI Adaptateurs lignes série Nœud Tous Nœud de contrôle Nœud d’E/S Nœud de contrôle Emplacement 8 6 6-7 1-2 3.3 Exemple d’un clus ter 4 nœuds Cet exemple reprend les règles énoncées ci-dessus pour une implémentation d’un cluster 4 nœuds dont un nœud de contrôle intégrant les fonctions du nœud des entrées-sorties. Ce cluster est construit dans une seule armoire : Armoire R01 : Elément Switch Ethernet Nœud de calcul n°1 (N0101) Nœud de calcul n°2 (N0102) Nœud de calcul n°3 (N0103) Console intégrée Sous-système disque Nœud de contrôle (N0105) 3-4 Taille (en unités) 2 4 4 4 2 3 4 Emplacement (en Unités) 1-2 3-6 7-10 11-14 15-16 18-20 21-24 HPC Linux installation hardware Le nœud de contrôle et entrées-sorties contient à la fois les adaptateurs SCSI, SCI et Ethernet pour connexion au réseau d’entreprise. Un seul adaptateur lignes série est nécessaire pour une telle configuration. Les adaptateurs PCI de ce nœud de contrôle et entrées-sorties sont donc placés suivant les règles suivantes : Type d’adaptateur PCI Adaptateur SCI Adaptateur Ethernet Adaptateurs SCSI Adaptateur lignes série Emplacement 8 5 4-6 1 Le placement des adaptateurs dans les autres nœuds reste inchangé. Installation matérielle 3-5 L’interconnexion SCI se fait suivant les règles suivantes : Nœud initial (OUT) N0101 N0102 N0103 N0105 Nœud destinataire Nœud destinataire (IN) (IN) Paire 0 Paire 1 N0105 N0102 N0103 N0101 N0102 N0105 N0101 N0103 Les lignes séries sont câblées sur l’unique boîtier comme suit : N° de connecteur Elément connecté 0 Nœud 0101 1 Nœud 0102 2 Nœud 0103 3 4 5 6 ss-disque 7 ss-disque Fonction Nommage Linux Nœud de calcul n°1 ttyD000 Nœud de calcul n°2 ttyD001 Nœud de calcul n°3 ttyD002 ttyD003 ttyD004 ttyD005 ttyD006 ttyD007 3.4 Règles et Plan de c âblage Chaque câble utilisé dans un cluster doit être étiqueté à chaque extrémité. Une extrémité donnée doit faire référence à l’élément connecté à l’autre extrémité et éventuellement à un port particulier lorsqu’il en existe plusieurs. Exemple : le câble ethernet du premier nœud vers le switch ethernet doit comporter à son extrémité coté nœud : le nom du switch et le n° du port sur le switch. A son extrémité coté switch doit être indiqué le nom du nœud. A l’intérieur d’une armoire, les câbles constituant le réseau SCI doivent être correctement lovés et rangés côté gauche, ceux constituant les réseaux série et ethernet côté droit. Les câbles destinés à passer d’une armoire à l’autre ont été prévus d’une longueur assez grande pour pouvoir cheminer par un faux-plancher lorsque les armoires sont adjacentes, afin de laisser le sol autour des armoires vierge de tout câble interne au cluster. Console : § Relier le clavier et la souris aux ports USB du nœud d’administration (N0105). § Relier l’écran au port SVGA du nœud d’administration. 3-6 HPC Linux installation hardware Câblage des lignes série : § Connecter les boitiers répartiteurs 8 ports aux 2 adaptateurs PCI RS232 du nœud d’administration. § Relier les ports série intégrés de tous les nœuds (hormis le nœud d’administration) à ces boitiers, en respectant l’ordre des nœuds, et en suivant le tableau page 2-12.. § Relier les ports séries du sous-système disque au derniers connecteurs du ou des boitiers. Câblage Ethernet : § Relier chaque port Ethernet intégré de chaque nœud à un port du switch, en respectant l’ordre des nœuds. § Relier la carte additionnelle PCI Ethernet du nœud d’administration au réseau d’établissement Câblage SCI : § Tous les connecteurs SCI doivent être utilisés § Procéder au câblage suivant les indications du chapitre 3.1.7 Câblage SCSI : § Relier, s’il existe, le sous-système d’extension disque au principal par les deux câbles fournis. § Relier le sous-système disque aux deux cartes SCSI du nœud des entrées-sorties Alimentation : § Relier chaque élément au boitier répartiteur d’alimentation le plus proche. § Lorsque l’option « double alimentation » d’un élément a été choisie, le relier à deux répartiteurs différents. § Connecter les répartiteurs au réseau électrique. Installation matérielle 3-7 3.5 Administration du matériel 3.5.1 Mise en route du nœu d d’administration Le nœud d’administration représentant la partie visible extérieurement du cluster, sa mise en route et son administration matérielle se fait normalement à l’aide de la console lui étant directement connectée. L’opération du reste du cluster passe obligatoire par la disponibilité de ce nœud d’administration . Il doit donc être le premier à être mis en route, installé avec son système d’exploitation et configuré. L’administration matérielle des autres éléments se fait ensuite par l’intermédiaire de sa console ou de toute autre console lui étant connectée sur le réseau externe. 3.5.2 Mise en route et contr ôle des autres nœuds L’administration matérielle des autres nœuds du cluster s’effectue à travers le réseau d’interconnexion série. Sur le nœud d’administration, un programme d’émulation de terminal minicom (ou xminicom dans une fenêtre X) doit être utilisé pour avoir accès à la console des autres nœuds. Le lancement de ce programme se fait par : $ minicom n0x0y & (n0x0y identifie le nom du nœud auquel on veut accéder. Ce nom est utilisé comme suffixe du fichier /etc/minirc.n0x0y créé sur le nœud à administrer comme suit). Pour « sortir » de minicom, il faut entrer les caractères « CTRL A » puis « X ». Configuration de minicom : minicom utilise un fichier de configuration propre à chaque nœud, situé dans le répertoire « /etc/ » et portant le nom « minirc.<nom du nœud >». Chacun de ces fichiers positionne les valeurs des paramètres de travail de chaque ligne série. 3-8 HPC Linux installation hardware Exemple pour un cluster 4 noeuds (admin, n0101, n0102, n0103): $ cat /etc/minirc.n0101 # minicom default configuration file for node N0101 pr port /dev/ttyD000 pu baudrate 115200 pu bits 8 pu parity N pu stopbits 1 pu mautobaud Yes pu statusline disabled pu hasdcd No pu minit pu mreset $ $ cat /etc/minirc.n0102 # minicom default configuration file for node N0102 pr port /dev/ttyD001 pu baudrate 115200 pu bits 8 pu parity N pu stopbits 1 pu mautobaud Yes pu statusline disabled pu hasdcd No pu minit pu mreset $ $ cat /etc/minirc.n0103 # minicom default configuration file for node N0103 pr port /dev/ttyD002 pu baudrate 115200 pu bits 8 pu parity N pu stopbits 1 pu mautobaud Yes pu statusline disabled pu hasdcd No pu minit pu mreset $ Installation matérielle 3-9 3-10 HPC Linux installation hardware Glossaire BANDE PASSANTE La largeur de bande est l'intervalle de fréquences (« la bande ») transmises sans distorsions notables sur un support de transmission bien défini (atténuation...). Elle est mesurée en Hz. Pour les réseaux, et ensuite par extension pour tous les médias, cela représente la quantité de données transmise par unité de temps, c'est-à-dire le débit, aussi appelé (de façon peu orthodoxe mais fort commune) bande passante. Dans ce cas elle est mesurée en bit/s. BEOWULF Superordinateur composé de nombreuses stations de travail exécutant le même code en parallèle. Les Stations, aussi simples et idiotes que possible, sont appelées des « Noeuds », contrôlées via réseau par un ou plusieurs serveur(s). Un Beowulf n'utilise aucun matériel particulier, uniquement des machines et des équipements de réseau courants. Le logiciel est lui aussi courant, comme par exemple le système d'exploitation Linux, ainsi que PVM et MPI. La définition est parfois restreinte aux machines construites selon le premier modèle de Beowulf, conçu par la NASA. Les systèmes Beowulf sont répartis en deux classes, selon qu'ils sont entièrement construits à partir d'éléments trouvés à la mercerie du coin (Classe I), ou qu'ils comprennent des éléments spécifiquement conçus (Classe II). CLUSTER (en français grappe) Architecture de groupes d'ordinateurs, utilisée pour former de gros serveurs. Chaque machine est un noeud du cluster, l'ensemble est considéré comme une seule et unique machine. Utilisée pour le calcul scientifique, le décisionnel, le transactionnel et le datawarehouse. DEBIT Quantité d'information empruntant un canal de communication pendant un intervalle de temps. Mesuré en Mbit/s ou Mo/s. FSF La Free Software Foundation est une organisation américaine dédiée à l'abolition des restrictions sur la copie, la redistribution, la compréhension et la modification des programmes informatiques. Elle promeut le développement et l'utilisation du Logiciel Libre, et est l'initiatrice du projet GNU. GNU Un acronyme récursif "GNU Not Unix". GNU/LINUX Il s’agit de l’ensemble formé par le noyau Linux et du système GNU. Glossaire g-1 GPL General Public License. Le statut juridique des logiciels distribués « librement », à l'origine utilisé pour le projet GNU de la FSF. HPC High Performance Computing. Informatique de haute performance. Itanium™ Architecture Architecture 64 bits des nouvelles puces d'Intel, destinées à remplacer les x86. Il s'agit d'une rupture totale avec la série x86, le jeu d'instructions n'ayant plus rien à voir, ni les éléments de l'architecture du processeur. Le résultat est quelque chose de globalement plus simple, donc de bien plus rapide, en donnant un contrôle plus fin au logiciel (en particulier les compilateurs) sur le matériel. La première version s'appelle Itanium (précédemment appelée Merced). Il aura fallu six ans de développement pour qu'il apparaisse sur le marché. Maintenant la deuxième génération, Itanium-2, a fait son apparition. ITANIUM™ Processor Processeur 64 bits d’Intel et destiné à remplacer les x86 (dont les Pentiums), tout en restant compatible. Itanium est le premier modèle de l’architecture Itanium et l’Itanium-2™ est le 2ième. LATENCE Temps minimal de propagation d'un signal. Par extension, temps minimal de transmission d'un ensemble de données à travers d'un réseau. LINUX Linux est un système d'exploitation de type UNIX, multi-tâches et multi-utilisateurs, disponible sur de nombreuses architectures matérielles, en particulier les machines à base de processeurs x86 et Itanium. Il intègre la plupart des technologies les plus récentes (SMP, clustering, RAID…). Linux est un noyau. Pour l’utiliser, il faut des applications, c’est ce que proposent les distributions. Une distribution est un ensemble de programmes plus un noyau à installer sur une machine. Parmi les distributions Linux, on peut citer RedHat, Mandrake, Suse, TurboLinux … MONITORING Contrôle pas à pas, c'est-à-dire qu'on ne laisse aucune liberté au système contrôlé. Le monitoring permet aussi de contrôler et/ou surveiller un processus en temps réel. MPI Message Passing Interface. Bibliothèque portable utilisée pour des applications parallèles. NFS Network File System. C'est un système de gestion de fichiers de réseau, présenté par Sun en 1985 pour ses stations sans disque. Les versions principalement utilisées g-2 HPC Linux installation hardware actuellement sont les versions 2 (utilisant UDP) et, depuis 1993, 3 (pouvant utiliser UDP ou TCP). NOEUD Ordinateur connecté à un réseau. Dans le monde du clustering, chaque machine du cluster est appelée nœud. Leurs fonctions peuvent ensuite être différentes : nœud de management, nœud de calcul, nœud de storage … OPEN SOURCE Définition particulière du logiciel libre, mise au point en 1998 par Eric Raymond, cherchant à adapter le principe à l'entreprise. Elle comporte neuf points (pour le moment): la libre redistribution, la mise à disposition du code source, la possibilité de distribuer ses travaux dérivés, le respect du code source originel, l'absence de discrimination envers des personnes, l'absence de limitation sur le domaine d'application du logiciel, la distribution de la licence et sa non-spécificité à un produit, et enfin le fait qu'elle ne contamine pas le travail des autres. PARALLELISATION Transformer un programme de façon qu'il soit possible de l'exécuter efficacement sur plusieurs processeurs. PROCESSUS Programme en cours d'exécution, avec son environnement. Terme essentiellement utilisé dans le monde Unix à l'origine. PVFS Parallel Virtual File System. Projet se définissant comme l'exploration de la « conception, de l'implémentation et des utilisations potentielles des entrées/sorties parallèles ». Développé par l'université de Clemson et la NASA, PVFS est destiné aux clusters de Stations de Travail et aux machines Beowulf PVM Parallel Virtual Machine. API gérant la communication entre les nœuds d'un cluster de machines. RAID Installation de disques durs en batterie pour augmenter le stockage et la fiabilité. RISC Architecture de processeur. SCALABILITE La capacité d'un système à supporter une augmentation de ses contraintes dans un domaine particulier, ou dans tous les domaines. On pourrait proposer le nom " échelonnabilité" comme traduction. Par exemple un système est dit "scalable" en terme de nombre d'utilisateurs si ses performances de fonctionnement sont aussi bonnes avec une dizaine d'utilisateurs connectés qu'avec une centaine. Glossaire g-3 SERVEUR DE FICHIERS Serveur qui met uniquement des fichiers à disposition du réseau, et pas ses autres ressources (comme sa puissance de calcul, ses liaisons...). En général, son point fort est son disque dur. SMP Symmetric MultiProcessing. Système multiprocesseur distribuant symétriquement les tâches entre différents processeurs partageant une mémoire commune, en s'assurant qu'ils ne vont pas se mettre à écrire tous à la même adresse en même temps. SWAP Le fait d'utiliser une partie d'un disque dur comme de la mémoire vive. SYsTEME DE GESTION DE FICHIERS (SGF) Il définit par exemple la structure interne de l'arborescence, les formats d'enregistrements, le découpage des disques, les métadonnées sur les fichiers... Un SGF est constitué d'un service de gestion (pour l'organisation des fichiers entre eux) et d'un système de fichiers (pour les opérations sures et dans les fichiers). TRACE La Trace d'un programme est la succession des états de son environnement au cours de son exécution. g-4 HPC Linux installation hardware Références Généralités sur les clusters www.beowulf.org www.tldp.org/HOWTO/Parallel-Processing-HOWTO.html www.top500.org www.phy.duke.edu/brahma/beowulf_online_book/ www.Linux-Consulting.com/Cluster/ Les architectures parallèles www.lri.fr/~fci/support95.html www.idris.fr Les interconnects www.scali.com www.dolphin.com www.essi.fr/~riveill/rapport01-these-cecchet.pdf www.ens-lyon.fr/~rewestrel/thses.ps HPC www.epcc.ed.ac.uk/HPCinfo L’ouvrage High Performance Computing de Dowd & Severance aux éditions O’Reilly. Librairies scientifiques www.lifl.fr/west/courses/cshp/bibsp.pdf www.irisa.fr/orap/Publications/Forum6/petitet.ps www.netlib.org Références r-1 r-2 HPC Linux installation hardware Vos remarques sur ce document / Technical publication remark form Titre / Title : Bull NovaScale 4040 HPC Linux Installation du matériel Nº Reférence / Reference Nº : 86 F1 51EG 00 Daté / Dated : Avril 2003 ERREURS DETECTEES / ERRORS IN PUBLICATION AMELIORATIONS SUGGEREES / SUGGESTIONS FOR IMPROVEMENT TO PUBLICATION Vos remarques et suggestions seront examinées attentivement. Si vous désirez une réponse écrite, veuillez indiquer ci-après votre adresse postale complète. Your comments will be promptly investigated by qualified technical personnel and action will be taken as required. If you require a written reply, please furnish your complete mailing address below. NOM / NAME : SOCIETE / COMPANY : ADRESSE / ADDRESS : Remettez cet imprimé à un responsable BULL ou envoyez-le directement à : Please give this technical publication remark form to your BULL representative or mail to: BULL CEDOC 357 AVENUE PATTON B.P.20845 49008 ANGERS CEDEX 01 FRANCE Date : Technical Publications Ordering Form Bon de Commande de Documents Techniques To order additional publications, please fill up a copy of this form and send it via mail to: Pour commander des documents techniques, remplissez une copie de ce formulaire et envoyez-la à : BULL CEDOC ATTN / Mr. L. CHERUBIN 357 AVENUE PATTON B.P.20845 49008 ANGERS CEDEX 01 FRANCE Phone / Téléphone : FAX / Télécopie E–Mail / Courrier Electronique : +33 (0) 2 41 73 63 96 +33 (0) 2 41 73 60 19 [email protected] Or visit our web sites at: / Ou visitez nos sites web à: http://www.logistics.bull.net/cedoc http://www–frec.bull.com http://www.bull.com CEDOC Reference # No Référence CEDOC Qty Qté CEDOC Reference # No Référence CEDOC Qty Qté CEDOC Reference # No Référence CEDOC __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] __ __ ____ _ [__] Qty Qté [ _ _ ] : no revision number means latest revision / pas de numéro de révision signifie révision la plus récente NOM / NAME : Date : SOCIETE / COMPANY : ADRESSE / ADDRESS : PHONE / TELEPHONE : FAX : E–MAIL : For Bull Subsidiaries / Pour les Filiales Bull : Identification: For Bull Affiliated Customers / Pour les Clients Affiliés Bull : Customer Code / Code Client : For Bull Internal Customers / Pour les Clients Internes Bull : Budgetary Section / Section Budgétaire : For Others / Pour les Autres : Please ask your Bull representative. / Merci de demander à votre contact Bull. PLACE BAR CODE IN LOWER LEFT CORNER BULL CEDOC 357 AVENUE PATTON B.P.20845 49008 ANGERS CEDEX 01 FRANCE REFERENCE 86 F1 51EG 00 Utiliser les marques de découpe pour obtenir les étiquettes. Use the cut marks to get the labels. NovaScale 4040 HPC Linux Installation du matériel 86 F1 51EG 00 NovaScale 4040 HPC Linux Installation du matériel 86 F1 51EG 00 NovaScale 4040 HPC Linux Installation du matériel 86 F1 51EG 00 ">
公開リンクが更新されました
あなたのチャットの公開リンクが更新されました。