Bull HPC Linux Guide d'installation

Bull NovaScale 4040
HPC Linux
Installation du matériel
REFERENCE
86 F1 51EG 00
Bull NovaScale 4040
HPC Linux
Installation du matériel
Matériel
Avril 2003
BULL CEDOC
357 AVENUE PATTON
B.P.20845
49008 ANGERS CEDEX 01
FRANCE
REFERENCE
86 F1 51EG 00
The following copyright notice protects this book under the Copyright laws of the United States of America
and other countries which prohibit such actions as, but not limited to, copying, distributing, modifying, and
making derivative works.
Copyright
Bull S.A., 2003
Imprimé en France
Vos suggestions sur la forme et le fond de ce manuel seront les bienvenues. Une feuille
destinée à recevoir vos remarques se trouve à la fin de ce document.
Pour commander d’autres exemplaires de ce manuel ou d’autres publications techniques
Bull, veuillez utiliser le bon de commande également fourni en fin de manuel.
Marques déposées
Toutes les marques déposées sont la propriété de leurs titulaires respectifs.
Linux est une marque déposée de Linus Torvalds.
Itanium est une marque déposée d’Intel Corporation.
La loi du 11 mars 1957, complétée par la loi du 3 juillet 1985, interdit les copies ou reproductions destinées
à une utilisation collective. Toute représentation ou reproduction intégrale ou partielle faite par quelque
procédé que ce soit, sans consentement de l’auteur ou de ses ayants cause, est illicite et constitue une
contrefaçon sanctionnée par les articles 425 et suivants du code pénal.
Ce document est fourni à titre d’information seulement. Il n’engage pas la responsabilité de Bull S.A. en cas
de dommage résultant de son application. Des corrections ou modifications du contenu de ce document
peuvent intervenir sans préavis ; des mises à jour ultérieures les signaleront éventuellement aux destinataires.
Table des matières
PRÉFACE.............................................................................................................................................. III
BUT DU DOCUMENT .............................................................................................................................. V
ORGANISATION DU DOCUMENT ............................................................................................................. V
CHAPITRE 1. NOTIONS GÉNÉRALES SUR LINUX HPC.......................................................... 1-1
1.1 HPC (HIGH PERFORMANCE COMPUTING).................................................................................... 1-1
1.1.1 Définition de HPC .............................................................................................................. 1-1
1.1.2 Utilisation du HPC ............................................................................................................. 1-1
1.2 LINUX ........................................................................................................................................ 1-1
1.2.1 Définition ............................................................................................................................ 1-1
1.2.2 La petite histoire… ............................................................................................................. 1-2
1.2.3 LINUX et HPC ................................................................................................................... 1-2
1.3 CLUSTER HPC ............................................................................................................................. 1-3
1.3.1 Qu’est-ce qu’un cluster ? ................................................................................................... 1-3
1.3.2 Les grands types de cluster ................................................................................................ 1-3
1.3.3 L’architecture d’un cluster HPC......................................................................................... 1-4
1.4 LINUX HPC ET BULL ................................................................................................................... 1-5
CHAPITRE 2. DESCRIPTION DE L’ENVIRONNEMENT MATÉRIEL
HPC NOVASCALE 4040 .................................................................................................................... 2-1
2.1 INTRODUCTION ............................................................................................................................ 2-1
2.1 LE RACK 36U............................................................................................................................... 2-3
2.2 LE NŒUD D’ADMINISTRATION ...................................................................................................... 2-4
2.3 LES NŒUDS DE CALCUL................................................................................................................ 2-5
2.4 LE NŒUD DES ENTRÉES/SORTIES .................................................................................................. 2-6
2.5 L’INTERCONNEXION ETHERNET ................................................................................................... 2-6
2.6 L’INTERCONNEXION SCI.............................................................................................................. 2-8
2.7 L’INTERCONNEXION SÉRIE......................................................................................................... 2-10
2.8 LE SOUS-SYSTÈME DE STOCKAGE ............................................................................................... 2-13
CHAPITRE 3. INSTALLATION MATÉRIELLE ........................................................................... 3-1
3.1 PLAN GÉNÉRAL D’UNE CONFIGURATION 8 NŒUDS ....................................................................... 3-1
3.1 RÈGLES DE PLACEMENT DES ÉLÉMENTS DANS LES ARMOIRES ...................................................... 3-3
3.2 RÈGLES DE PLACEMENT DES ADAPTATEURS PCI DANS LES NŒUDS ............................................. 3-4
3.3 EXEMPLE D’UN CLUSTER 4 NŒUDS .............................................................................................. 3-4
3.4 RÈGLES ET PLAN DE CÂBLAGE ..................................................................................................... 3-6
3.5 ADMINISTRATION DU MATÉRIEL .................................................................................................. 3-8
3.5.1 Mise en route du nœud d’administration............................................................................. 3-8
3.5.2 Mise en route et contrôle des autres nœuds......................................................................... 3-8
GLOSSAIRE ........................................................................................................................................ g-1
RÉFÉRENCES .................................................................................................................................... r-1
Table des matières
iii
iv
HPC Linux installation hardware
Préface
But du document
Le but de ce document est de montrer comment construire un
environnement matériel Linux HPC à partir des matériels Bull NovaScale
4040 basés sur l‘architecture Itanium-2™
La description des logiciels HPC, Open Source ou propriétaires, testés par
Bull pour ces architectures Bull Itanium-2 ™ fait l’objet d’autres documents.
Organisation du document
Après cette préface,
• Le chapitre 1 décrit les notions de base sur HPC dans un environnement
LINUX et de logiciels libres.
• Le chapitre 2 décrit les composants matériels d’une configuration HPC
NovaScale 4040 de Bull.
• Le chapitre 3 décrit l’installation matérielle de ces composants
Préface
v
vi
HPC Linux installation hardware
Chapitre 1. Notions générales sur
Linux HPC
1.1 HPC (High Perform ance Computing)
1.1.1 Définition de HPC
C’est ce qu’on appelle en français le calcul de haute performance.
Ce terme définit les grosses applications scientifiques nécessitant une grande
puissance de calcul et également une grande précision des résultats
1.1.2 Utilisation du HPC
Le calcul de haute performance est utilisé dans différents domaines :
• La recherche (dynamique moléculaire, mécanique des fluides…)
• L’industrie scientifique (automobile, nucléaire, météo …)
• L’imagerie de synthèse (effets spéciaux…)
• Le data mining (exploitation statistique de grosses bases de données
type Data Warehouse…)
1.2 LINUX
1.2.1 Définition
Linux est un système d'exploitation de type UNIX, multi-tâches et multiutilisateurs, disponible sur de nombreuses architectures matérielles, en
particulier les machines à base de processeurs ix86 et Itanium™. Il intègre la
plupart des technologies les plus récentes (SMP, clustering, RAID).
La principale singularité de Linux est d'être un logiciel libre, développé de
façon collaborative et pour une grande part bénévole par des milliers de
programmeurs répartis dans le monde.
Linux est un noyau. Pour l’utiliser, il faut des applications, c’est ce que
proposent les distributions. Une distribution est un ensemble de programmes
plus un noyau à installer sur une machine. Parmi les distributions Linux, on
peut citer RedHat, Mandrake, Suse, TurboLinux .
Notions générales sur Linux HPC
1-1
1.2.2 La petite histoire…
Linux est un système d’exploitation conçu par Linus Torvalds, un étudiant
finlandais. Le commencement de l’écriture du noyau eu lieu en 1991. La règle
de base qui a prévalu tout au long de sa réalisation voulait que la licence soit
ouverte. Toutes les parties de ce système d'exploitation ont ainsi été réécrites
et améliorées au fil du temps (aujourd'hui il en est à sa version 2.4.19).
Le noyau Linux est diffusé sous forme de « distributions », contenant le
noyau ainsi que des programmes souvent accompagnées d’un outil
« maison » facilitant l’installation. Elles sont mises à disposition sur des sites
FTP et des CD commercialisés. Linux bénéficie à ce titre énormément des
logiciels libres mis au point dans le cadre de divers autres projets, en
particulier de GNU.
1.2.3 LINUX et HPC
1.2.3.1 Avantages de Linux
•
•
•
•
Multi-plateforme : le noyau Linux fonctionne sur PC, Itanium, PowerPC …
Fiable, robuste
De nombreux logiciels (y compris le noyau) sont en Open Source et à ce
titre téléchargeables gratuitement sur Internet. En outre, cela permet
qu’un maximum de personnes travaille sur ces logiciels et accélère les
temps de développement.
Très largement déployé : Linux compte de plus en plus d'adeptes, non
seulement dans les Centres de Recherche et les Universités, mais aussi
dans l'industrie. La synergie qui existe derrière Linux est immense et
explique la qualité et son émergence très rapide.
1.2.3.2 Open Source (Logiciel lib re)
Depuis Linus Torvalds et son système Linux, l'Open Source s'est
considérablement développé.
Le logiciel Libre, en tant qu'idée politique, a été popularisé par Richard
Stallman depuis 1984, année où il a créé la Free Software Foundation (FSF)
et son projet GNU. Il a mis sur pied un ensemble de droits dont il estimait que
tout utilisateur devait pouvoir jouir, et les a codifiés au sein de la licence
publique générale de GNU, ou GPL.
Le code source n'est donc plus la possession privée d'une personne, d'un
groupe de personnes, ou d'une société, comme c'était le cas depuis la
naissance de l'informatique dans les années 60, jusque dans les années
80/90. Les plus grandes entreprises emboîtent actuellement le pas des
développeurs indépendants et proposent à leur tour des logiciels de qualité
professionnelle en Open Source.
1-2
HPC Linux installation hardware
Voici quelques uns des principes de l’Open Source et de la licence GPL :
• Libre utilisation
• Libre redistribution
• Le code source doit être à disposition de tout le monde
• La licence doit autoriser les modifications et les travaux dérivés
• Intégrité du code source de l’auteur : diffusion de patchs
• Le redistributeur doit accorder la même licence aux destinataires
Il existe d’autres licences comme la licence BSD. A la différence de la licence
GPL , la licence BSD pourra permettre (si indiqué dans le source) la non
diffusion des modifications.
Pour plus d’informations consulter les pages :
http://www.gnu.org
http://www.opensource.org
http://www.freebsd.org
1.3 Cluster HPC
1.3.1 Qu’est-ce qu’un cluste r ?
Un cluster est un ensemble de machines (appelée nœuds) connectées
entre elles dans le but de remplir une fonction. Chaque nœud peut être
monoprocesseur ou multiprocesseur SMP (multitraitement symétrique), les
processeurs se partageant dans ce cas la mémoire et les disques.
1.3.2 Les grands types de c luster
Cluster scientifique (HPC) : Le calcul est divisé en plusieurs tâches qui
seront effectuées en parallèle sur les différentes machines du cluster. Ces
clusters sont surtout utilisés par le monde scientifique, graphique.
Cluster haute-disponibilité (HA) : Il est créé afin d’éviter une interruption de
service en cas de dysfonctionnement matériel ou logiciel d’une machine. Par
exemple, si un nœud serveur n’est plus apte à assurer ses fonctions, il sera
automatiquement remplacé par une autre machine du cluster.
Le load balancing ou répartition de charge est souvent cité lorsque l’on parle
de clustering. Il a pour but de distribuer l’exécution de processus système
ou réseau sur les différents nœuds. Ainsi, lorsque le nœud répartiteur de
charge reçoit un processus, il regarde la charge et la spécialisation de chacun
des nœuds et il affecte ainsi le processus au plus approprié. Ce principe est
utilisé dans le domaine des réseaux et plus particulièrement sur celui des
services comme les serveurs WEB ou FTP.
Notions générales sur Linux HPC
1-3
1.3.3 L’architecture d’un clu ster HPC
Un système Cluster HPC est :
•
Un ensemble de machines indépendantes et similaires en terme
d’architecture et vitesse. Une des machines (le nœud serveur) répartit les
tâches entre toutes les autres (nœuds clients) qui lui renvoient le résultat
une fois les calculs terminés.
•
Cet ensemble disposera d’un réseau dédié rapide de communication
interne pour les applications parallèles(MPI) et d’un autre réseau TCPIP
pour le management faisant apparaître l’ensemble comme une seule
entité vue de l’extérieur. Cette notion s’oppose à celle de réseau de
stations où chaque nœud dispose d’un écran, clavier .
Schéma d’un cluster classique
Le nœud serveur contrôle l’ensemble du cluster. Il est aussi la console du
cluster et la passerelle (gateway) vers le monde extérieur. Un grand cluster
peut avoir plus d’un nœud serveur et des nœuds clients dédiés à des tâches
bien spécifiques (ex : calcul, serveur de fichiers).
1-4
HPC Linux installation hardware
1.4 Linux HPC et Bull
Linux aujourd’hui est un système d’exploitation capable de supporter les
exigences des environnements HPC demandées par les applications
scientifiques en terme de nombre de CPUs, bande passante IO et de support
pour la programmation parallèle. C’est pourquoi Bull le propose sur ces platesformes SMP Itanium-2 4 voies (NovaScale 4040) , 8 voies (IL820R) et 16
voies (IL1620R) ainsi que sur des configurations « cluster » interconnectant
des NovaScale 4040 pour accroitre la capacité CPU.
Notions générales sur Linux HPC
1-5
1-6
HPC Linux installation hardware
Chapitre 2. Description de
l’environnement matériel HPC
NovaScale 4040
2.1
Introduction
L'architecture matérielle d'un cluster HPC est directement dérivée de son
utilisation principale: le calcul intensif sur un grand nombre de processeurs. Le
nombre de processeurs étant limité, par construction, dans une machine,
l'élément déterminant de cette architecture est la multiplication de machines,
appelées "nœuds" de calcul, ou "grain", chacune apportant son nombre limité
de processeurs dans un travail de coopération globale pour atteindre le niveau
de puissance demandé par une application.
Cette architecture demande un chef d'orchestre coordonnant les actions des
autres nœuds, la répartition des éléments applicatifs et la répartition des
données entre les nœuds. Un nœud particulier du cluster, le "nœud serveur"
ou "nœud d'administration" est dédié à cette tache. Il constitue le point d'accès
centralisé au cluster (au sens connexion au réseau utilisateur) et propose au
monde extérieur une visibilité unifiée du cluster. Ce nœud centralise aussi toute
l'administration matérielle et la configuration de cluster.
Les données nécessaires au calcul demandent généralement un espace de
stockage très supérieur à celui disponible en interne sur chaque nœud.
Un sous-système disque est donc intégré au cluster, connecté à un second
nœud particulier du cluster appelé "nœud des entrées-sorties". Les données
sont ensuite distribuées vers les autres nœuds de calcul par des méthodes
classiques de distribution de fichiers de type "NFS" ("Network File System").
Afin de minimiser les coûts, il est possible de faire jouer ces deux rôles aux
même nœud physique.
Un fort niveau d'interconnexion physique est nécessaire à l'intérieur d'un cluster
pour acheminer tous ces trafics d'information entre les différents nœuds. On
définit donc 3 niveaux distincts d'interconnexion, chacun apportant des
éléments matériels propres:
Description de l’environnement matériel HPC NovaScale 4040
2-1
• Le premier dédié à la coopération applicative et l'échange entre nœuds
d'éléments sémantiques de l'application, basé sur un lien physique SCI.
• Un deuxième dédié à la répartition des données applicatives présentes sur
le sous-système disque connecté au nœud des entrèes-sorties, et basé sur
un réseau Ethernet haut-débit (Gigabit). Ce réseau est aussi utilisé pour
toute l’administration et la configuration logicielle du cluster.
• Enfin un troisième dédié à l'administration matérielle du cluster, basé sur
des lignes série.
La suite de ce chapitre reprend ces éléments de base pour aborder leur
description physique précise en se basant sur les exemples :
• d’un cluster 4 nœuds de calcul ( 4 nœuds identiques dont 1 également
utilisé pour l’administration)
• d'un cluster 8 nœuds (6 nœuds uniquement de calcul, 1 d'administration
et de calcul, 1 d'entrées-sorties et de calcul).
Sont décrites les règles d'installation nécessaires à la bonne intégration de
l'ensemble pour constituer une configuration opérationnelle sur le plan
matériel. Pour obtenir des détails plus précis sur chaque élément matériel
décrit ici, se référer à sa documentation spécifique.
2-2
HPC Linux installation hardware
2.1 Le rack 36U
Le cluster HPC Bull est intégré dans une armoire (« Rack ») standard de 19
pouces de large, et 36 unités de hauteur (l’unité de hauteur équivaut à 44,45
mm soit 1 pouce 3/4).
Chaque élément intégré occupe un nombre entier d’unités. (voir tableau)
Deux armoires sont nécessaires pour accueillir l’ensemble des éléments
constitutifs de notre exemple à 8 machines.
Elément
Nœud de calcul
Sous-système disque-base
Sous-système disque-extension
Ecran/clavier/souris intègrés
Switch Ethernet
Répartiteurs d’alimentation
Hauteur occupée (en
Unités)
4
3
2
2
2
0
Tableau 1 : hauteur des éléments dans une armoire
Pour assurer la bonne stabilité de l’ensemble, tous les éléments dans une
armoire sont boulonnés aux rails internes au moins en partie avant, et sont
fixés pour la plupart sur des équerres elles-mêmes fixées sur les rails avant
et arrière. Ces pièces de fixation font l’objet de kits spécifiques à chaque
élément (« kit de fixation ») car elles prennent en compte les spécificités de
perçage de chaque élément.
L’armoire elle-même doit être bien stabilisée sur le sol au moyen des vérins
inclus, pour limiter au maximum les vibrations nuisibles au bon
fonctionnement de tout matériel informatique.
L’alimentation électrique des éléments est distribuée par l’intermédiaire de
boîtiers répartiteurs d’alimentation (« PDU » : Power Distribution Unit) offrant
chacun 6 sorties électriques au format US. Une armoire peut contenir jusqu’à
4 boîtiers répartiteurs d’alimentation qui sont situés verticalement de chaque
coté de l’armoire entre les parois et les rails de fixation, deux situés en partie
haute, et deux en partie basse, à l’arrière de l’armoire.
Ces boîtiers répartiteurs sont d’abord placés à gauche de l’armoire vue par
l’arrière, puis à droite si nécessaire.
Ces répartiteurs d’alimentation doivent chacun être reliés au réseau
d’alimentation électrique au moyen de la prise ad-hoc.
Description de l’environnement matériel HPC NovaScale 4040
2-3
2.2 Le nœud d’adminis tration
Bien que chaque nœud d’un cluster soit physiquement équivalent au niveau
architecture, encombrement et connectique de base, le nœud
d’administration (et le nœud des entrées-sorties lorsqu’il est dissocié du
nœud d’administration) présente certaines particularités matérielles induites
par sa fonction dans le cluster :
• Il est le seul à pouvoir être connecté à un réseau externe, donc
accessible de l’extérieur du cluster.
• L’ensemble console (écran/clavier/souris) du cluster lui est connecté,
et à lui seulement.
• Il centralise la gestion matérielle les autres nœuds en étant le point
central du réseau des lignes série.
• Sa position dans l’armoire doit le rendre aisément accessible à un
opérateur car il centralise la plupart des opérations manuelles
nécessaires à l’administration matérielle du cluster (accès au bouton
de marche / arrêt, accès au lecteurs CD-ROM et disquettes, etc…)
La puissance de ce nœud peut être modulée (nombre de CPUs, mémoire,
espace disque interne) pour des raisons de coût et adaptée si besoin à son
seul rôle d’administration de cluster.
Comme tous les autres nœuds, sa connectique de base inclut :
• 4 ports USB (Universal Serial Bus), sur lesquels viennent se
connecter le clavier et la souris,
• 1 port vidéo SVGA pour connecter l’écran,
• 1 port série inutilisé,
• 1 port ethernet 10/100/1Gb à relier au switch ethernet,
• 2 connecteurs d’alimentation électrique dont un au moins doit être
relié à un des boîtiers répartiteurs d’alimentation.
Le nœud d’administration contient obligatoirement 3 adaptateurs PCI
additionnels :
• 1 carte SCI placée dans un des emplacements PCI les plus à
gauche, pour participation de ce nœud au réseau SCI (voir le
chapitre SCI pour les détails)
• 1 ou 2 cartes (2 cartes au-delà de 7 nœuds dans un cluster)
asynchrones rs232 8 ports, placées dans les emplacement PCI les
plus à droite, pour l’administration matérielle du cluster. Un boîtier
éclateur des 8 lignes série y est connecté (voir le chapitre spécifique
sur les lignes série).
• 1 carte d’accès réseau au monde extérieur.
2-4
HPC Linux installation hardware
2.3 Les nœuds de calc ul
Les nœuds de calcul à l’intérieur d’un cluster sont surtout caractérisés par
une taille de mémoire centrale et un nombre de CPUs adaptés à la puissance
désirée globalement.
Du point de vue connectique, ils incluent :
• 4 ports USB inutilisés
• 1 port VGA inutilisé
• 1 port série relié à l’adaptateur PCI rs232 du nœud d’administration,
par l’intermédiaire du boîtier de répartition 8 ports série de ce nœud.
• 1 port ethernet 10/100/1Gb à relier au switch Ethernet
• 2 connecteurs d’alimentation électrique dont un au moins doit être
relié à un des boîtiers répartiteurs d’alimentation.
Chaque nœud de calcul contient obligatoirement un adaptateur PCI SCI pour
sa participation au réseau SCI, relié par 2 câbles au nœuds précédents et 2
autres câbles aux nœuds suivants de chacun des anneaux SCI auxquels il
participe .
Description de l’environnement matériel HPC NovaScale 4040
2-5
2.4 Le nœud des entré es/sorties
Ce nœud, lorsqu’il est dissocié du nœud d’administration, contient les
adaptateurs PCI SCSI de connexion aux éléments de stockage externe. Ses
autres connexions sont identiques à celles d’un nœud de calcul. Un
adaptateur PCI SCI sera également mis pour lui permettre de participer au
réseau SCI.
Ce nœud peut aussi contenir d’autres adaptateurs PCI d’entrées/sorties pour
d’autres besoins optionnels de stockage tels que lecteur de bandes
magnétiques ou sous-système de sauvegarde.
2.5 L’interconnexion E thernet
Comme décrit ci-dessus, chaque nœud d’un cluster inclut un port Ethernet
10/100/1Gb, et l’ensemble de ces nœuds est relié à un switch ethernet qui
constitue le cœur de ce réseau dans le cluster.
L’arrivée du réseau d’établissement, dans lequel le cluster doit s’insérer, se
fait par un adaptateur PCI réseau additionnel placé dans le nœud
d’administration, et compatible avec le type du réseau d’établissement.
Le switch ethernet, qui peut être du type 100Mb ou 1Gb suivant le coût et la
puissance désirés, se place en partie centrale ou basse de l’armoire
contenant le nœud d’administration pour faciliter son câblage à l’ensemble
des autres nœuds, y compris ceux présents dans l’autre armoire. Il se fixe en
face arrière de l’armoire et prend son alimentation électrique sur un des
répartiteurs d’alimentation adjacents.
Le câblage ethernet s’effectue à l’aide de câbles RJ45/RJ45 catégorie 5 de
7,5 mètres.
L’administration matérielle du switch s’effectue par l’intermédiaire du nœud
d’administration, à travers la connexion existante vers celui-ci (administration
« in-band »). Voir la documentation spécifique à cet élément pour plus de
détails.
Le nommage et l’adressage des nœuds dans un cluster doit obéir à des
règles strictes et logiques pour pouvoir aisément identifier et localiser un
nœud lorsque leur nombre croît.
Les règles de nommage à adopter sont les suivantes :
• Les armoires composant un cluster sont numérotées dans leur ordre
physique de placement dans le centre de calcul : R01, R02, R03,
R04, etc…
2-6
HPC Linux installation hardware
•
•
•
•
Dans la suite de ce document chaque nœud est nommé par son
emplacement dans une armoire, à partir du bas de l’armoire, et
indexé par le numéro de cette armoire :
- Le premier nœud en bas de la première armoire se nomme
N0101
- Le deuxième nœud à partir du bas de la première armoire se
nomme N0102
- Etc..
- Le premier nœud en bas de la deuxième armoire se nomme
N0201
- Le deuxième nœud à partir du bas de la deuxième armoire
N0202
- Le troisième N0203
- Etc…
Suivant le nombre de nœuds dans une armoire et leurs positions
relatives, le nommage peut être discontinu si un emplacement d’un
nœud est laissé vacant.
Le nœud d’administration est le nœud N0105 compte tenu de son
emplacement dans l’armoire.
Le nœud des entrées-sorties, s’il est dissocié du nœud
d’administration est le nœud N0101.
L’administrateur pourra néanmoins renommer à sa convenance ces noeuds
notamment pour les configurations IP, SCALI et fichiers de configuration
minicom
Dans nos exemples nous appellerons souvent le nœud d’administration
« admin »plutôt que « N0105 ». On pourra préférer aussi nommer avec « n »
plutôt que « N » (n0102 plutôt que N0102)
Le nœud d’administration possède aussi un second nom réseau et une
adresse ethernet laissés au choix de l’administrateur et permettant son accès
depuis l’extérieur à travers l’adaptateur réseau PCI additionnel.
Les autres nœuds constituent un sous-réseau privé ethernet local au cluster.
Il est conseillé de leur affecter une adresse ethernet statique en reprenant le
nommage des nœuds dans la partie variable de l’adressage sur un segment :
• L’adresse de segment privé utilisée est à prendre dans une plage
compatible avec le plan d’adressage de l’entreprise et conformément
aux règles du RFC1918 (plage d’adressage catégorie 1 ou 2). Par
exemple 172.16.12.xxx
• La partie spécifique à chaque nœud fait référence à son nom, par
exemple :
- 172.16.12.11 pour le premier nœud de la première armoire,
- 172.16.12.12 pour le deuxième nœud de la première armoire,
- etc…
- 172.16.12.21 pour le premier nœud de la deuxième armoire,
- etc…
Description de l’environnement matériel HPC NovaScale 4040
2-7
2.6 L’interconnexion S CI
Le cluster HPC Bull utilise des adaptateurs PCI d’interconnexion hautes performances SCI en mode « tore bi-dimentionnel » comme infrastructure de
communication inter-nœud.
L’interface -message (« MPI » : Message Passing Interface) SCALI est
optimisée pour tirer pleinement parti de cette infrastructure.
Chaque nœud de calcul, et le nœud d’administration possèdent un
adaptateur PCI SCI, directement relié aux nœuds précédent et suivant, ce
qui élimine l’obligation de disposer d’un switch SCI en apportant une
architecture plus sûre et plus extensible à moindre coût.
Chaque adaptateur SCI possède 4 connecteurs mono -directionnels (deux en
entrée et deux en sortie).
Les sorties sont les deux connecteurs supérieurs, les entrées les deux
connecteurs inférieurs, les connecteurs étant apairés verticalement, paire 0 à
gauche, paire 1 à droite suivant le schéma suivant :
Chaque paire (une entrée/une sortie) doit être connectée à l’aide de deux
câbles spécifiques aux autres nœuds de manière à former des boucles ou
anneaux offrant le maximum de maillage dans le cluster.
2-8
HPC Linux installation hardware
Dans le cas d’un cluster 4 nœuds (N0101, N0102, N0103, N0105) le
câblage sera ;
Notre cluster 4 nœuds est câblé ainsi :
N 0 1 05
OUT
IN
N 0 1 03
OUT
N 0 1 02
OUT
IN
IN
N 0101
OUT
IN
P aires 0
P aires 1
Les liaisons entre les nœuds d’ un cluster 4 nœuds s’établissent ainsi:
Nœud initial (OUT) Nœud destinataire Nœud destinataire
(IN)
(IN)
Paire 0
Paire 1
N0101
N0105
N0102
N0102
N0103
N0101
N0103
N0102
N0105
N0105
N0101
N0103
Description de l’environnement matériel HPC NovaScale 4040
2-9
Dans le cas du cluster 8 nœuds reliés par SCI le câblage sera:
Ces liaisons entre nœuds s’établissent ainsi:
Nœud initial (OUT)
N0206
N0205
N0204
N0203
N0202
N0201
N0105
N0101
Nœud destinataire Nœud destinataire
(IN)
(IN)
Paire 0
Paire 1
N0204
N0202
N0206
N0201
N0203
N0105
N0205
N0101
N0105
N0206
N0202
N0205
N0101
N0204
N0201
N0203
La première dimension de l’interconnexion SCI est construite sur les « paires 0 »
de chaque nœud .
La deuxième dimension est construite sur les « paires 1 » des nœuds.
2.7 L’interconnexion S érie
Tous les éléments constitutifs d’un cluster (nœuds de calcul, nœud des
entrées-sorties, sous-système disque) sont connectés au nœud
d’administration par un réseau de lignes série (RS232) en étoile à partir de ce
nœud. Une ou deux cartes série 8 ports sont nécessaires suivant le nombre
d’éléments.
2-10
HPC Linux installation hardware
En boîtier éclateur placé au bas de l’armoire et relié à chaque adaptateur
série PCI permet de disposer de 8 connecteurs RS232 DB25-mâle,
numérotés de 0 à 7 :
Chacun des nœuds de calcul et d’entrée-sortie doit être relié à ce boîtier par
l’intermédiaire d’un câble DB25-femelle/DB9-femelle composé d’une grande
longueur DB25-femelle/DB25-femelle et d’un court câble d’adaptation DB25male/DB9-femelle, à partir de son connecteur série DB9-Male situé à l’arrière
en haut à gauche.
ier
Veiller à respecter l’ordre de branchement des nœuds sur le boîtier (1 nœud
ième
sur le connecteur 0, 2
nœud sur le connecteur 1, etc..).
Le sous-système disque possède aussi 2 ports série qu’il faut brancher sur
les deux derniers connecteurs du seul boîtier si le nombre de nœuds le
permet, ou du deuxième boîtier si le cluster comprend plus de 7 nœuds (i.e. 1
nœud d’administration non connecté au boîtier et 6 autres nœuds connectés
sur les 6 premiers connecteurs). Se référer à la documentation spécifique du
sous-système disque pour plus d’information.
Description de l’environnement matériel HPC NovaScale 4040
2-11
Nommage des ports série (exemple à 8 nœuds de calcul), le boîtier 1
correspond à celui de l’adaptateur PCI le plus à droite :
Boîtier N° de connecteur Elément connecté
1
0
Nœud N0101
1
1
1
2
1
3
1
4
1
5
1
6
1
7
ss-disque
2
0
Nœud 0201
2
1
Nœud 0202
2
2
Nœud 0203
2
3
Nœud 0204
2
4
Nœud 0205
2
5
Nœud 0206
2
6
2
7
ss-disque
2-12
Fonction
Nœud des E/S
Nœud de calcul n°1
Nœud de calcul n°2
Nœud de calcul n°3
Nœud de calcul n°4
Nœud de calcul n°5
Nœud de calcul n°6
Nommage Linux
ttyD008
ttyD009
ttyD010
ttyD011
ttyD012
ttyD013
ttyD014
ttyD015
ttyD000
ttyD001
ttyD002
ttyD003
ttyD004
ttyD005
ttyD006
ttyD007
HPC Linux installation hardware
2.8 Le sous-système d e stockage
Le sous-système de stockage est un élément essentiel d’un cluster car il
permet de stocker les données nécessaires à l’application et dont l’accès doit
être réparti sur l’ensemble des nœuds.
Il se compose d’un élément principal à 14 emplacements disque:
Et d’un élément optionnel d’extension à 8 emplacements disque afin
d’augmenter sa capacité :
L’élément optionnel est relié à l’élément principal par 2 câbles SCSI externes.
Pour une description plus complète de ces éléments, se référer à leur
documentation spécifique.
Le sous-système disque offre deux processeurs de gestion de volumes RAID
ayant chacun sa sortie SCSI et est connecté au nœud des entrées-sorties par
deux adaptateurs PCI de bus SCSI placés dans celui-ci.
Description de l’environnement matériel HPC NovaScale 4040
2-13
Les données sont ensuite distribuées aux autres nœuds suivant leurs besoins
applicatifs par le réseau d’interconnexion Ethernet et un protocole de
distribution de fichiers de type NFS.
L’administration du sous-système disque s’effectue par l’intermédiaire de
deux lignes série (une pour chaque processeur de gestion de volumes RAID)
à relier au boîtier de répartition des 8 lignes séries de l’armoire à l’aide du
câble fourni.
Chaque élément du sous-système disque possède optionnellement deux
alimentations électriques séparées à relier à deux boîtiers répartiteurs
d’alimentation électrique de l’armoire.
2-14
HPC Linux installation hardware
Chapitre 3. Installation matérielle
3.1
Plan général d’une configuration 8 nœuds
Le cluster 8 nœuds opérationnel présente la structure suivante :
Installation matérielle
3-1
3-2
HPC Linux installation hardware
3.1 Règles de placeme nt des éléments dans les armoires
Armoire R01 :
Elément
Switch Ethernet
Nœud des E/S (N0101)
Sous-système disque
Extension disque
Console intégrée
Nœud de contrôle (N0105 ou
admin)
Taille
(en
unités)
2
4
3
2
2
4
Emplacement
(en Unités)
1-2
3-6
7-9
10-11
15-16
21-24
Notes :
§ Les emplacements sont numérotés de bas en haut de l’armoire.
§ Concernant le nœud N0105 affecté à l’administration et au contrôle il
sera préférable de le nommer « admin ». C’est ce qui est fait dans la
partie Installation de ce document.
Armoire R02 :
Element
Nœud de calcul n°1 (N0201)
Nœud de calcul n°2 (N0202)
Nœud de calcul n°3 (N0203)
Nœud de calcul n°4 (N0204)
Nœud de calcul n°5 (N0205)
Nœud de calcul n°6 (N0206)
Taille
(en
unités)
4
4
4
4
4
4
Emplacement
(en Unités)
3-6
7-10
11-14
15-18
19-22
23-26
Note : Les emplacements sont numérotés de bas en haut de l’armoire.
Installation matérielle
3-3
3.2 Règles de placeme nt des adaptateurs PCI dans les nœuds
Les emplacements PCI des nœuds sont numérotés de 1 à 8, de droite à
gauche lorsque le nœud est vu par l’arrière.
Type d’adaptateur PCI
Adaptateur SCI
Adaptateur Ethernet
Adaptateurs SCSI
Adaptateurs lignes série
Nœud
Tous
Nœud de contrôle
Nœud d’E/S
Nœud de contrôle
Emplacement
8
6
6-7
1-2
3.3 Exemple d’un clus ter 4 nœuds
Cet exemple reprend les règles énoncées ci-dessus pour une implémentation
d’un cluster 4 nœuds dont un nœud de contrôle intégrant les fonctions du
nœud des entrées-sorties. Ce cluster est construit dans une seule armoire :
Armoire R01 :
Elément
Switch Ethernet
Nœud de calcul n°1 (N0101)
Nœud de calcul n°2 (N0102)
Nœud de calcul n°3 (N0103)
Console intégrée
Sous-système disque
Nœud de contrôle (N0105)
3-4
Taille
(en
unités)
2
4
4
4
2
3
4
Emplacement
(en Unités)
1-2
3-6
7-10
11-14
15-16
18-20
21-24
HPC Linux installation hardware
Le nœud de contrôle et entrées-sorties contient à la fois les adaptateurs
SCSI, SCI et Ethernet pour connexion au réseau d’entreprise. Un seul
adaptateur lignes série est nécessaire pour une telle configuration.
Les adaptateurs PCI de ce nœud de contrôle et entrées-sorties sont donc
placés suivant les règles suivantes :
Type d’adaptateur PCI
Adaptateur SCI
Adaptateur Ethernet
Adaptateurs SCSI
Adaptateur lignes série
Emplacement
8
5
4-6
1
Le placement des adaptateurs dans les autres nœuds reste inchangé.
Installation matérielle
3-5
L’interconnexion SCI se fait suivant les règles suivantes :
Nœud initial (OUT)
N0101
N0102
N0103
N0105
Nœud destinataire Nœud destinataire
(IN)
(IN)
Paire 0
Paire 1
N0105
N0102
N0103
N0101
N0102
N0105
N0101
N0103
Les lignes séries sont câblées sur l’unique boîtier comme suit :
N° de connecteur Elément connecté
0
Nœud 0101
1
Nœud 0102
2
Nœud 0103
3
4
5
6
ss-disque
7
ss-disque
Fonction
Nommage Linux
Nœud de calcul n°1
ttyD000
Nœud de calcul n°2
ttyD001
Nœud de calcul n°3
ttyD002
ttyD003
ttyD004
ttyD005
ttyD006
ttyD007
3.4 Règles et Plan de c âblage
Chaque câble utilisé dans un cluster doit être étiqueté à chaque extrémité.
Une extrémité donnée doit faire référence à l’élément connecté à l’autre
extrémité et éventuellement à un port particulier lorsqu’il en existe plusieurs.
Exemple : le câble ethernet du premier nœud vers le switch ethernet doit
comporter à son extrémité coté nœud : le nom du switch et le n° du port sur le
switch. A son extrémité coté switch doit être indiqué le nom du nœud.
A l’intérieur d’une armoire, les câbles constituant le réseau SCI doivent être
correctement lovés et rangés côté gauche, ceux constituant les réseaux série
et ethernet côté droit.
Les câbles destinés à passer d’une armoire à l’autre ont été prévus d’une
longueur assez grande pour pouvoir cheminer par un faux-plancher lorsque
les armoires sont adjacentes, afin de laisser le sol autour des armoires vierge
de tout câble interne au cluster.
Console :
§ Relier le clavier et la souris aux ports USB du nœud d’administration
(N0105).
§ Relier l’écran au port SVGA du nœud d’administration.
3-6
HPC Linux installation hardware
Câblage des lignes série :
§ Connecter les boitiers répartiteurs 8 ports aux 2 adaptateurs PCI
RS232 du nœud d’administration.
§ Relier les ports série intégrés de tous les nœuds (hormis le nœud
d’administration) à ces boitiers, en respectant l’ordre des nœuds, et
en suivant le tableau page 2-12..
§ Relier les ports séries du sous-système disque au derniers
connecteurs du ou des boitiers.
Câblage Ethernet :
§ Relier chaque port Ethernet intégré de chaque nœud à un port du
switch, en respectant l’ordre des nœuds.
§ Relier la carte additionnelle PCI Ethernet du nœud d’administration
au réseau d’établissement
Câblage SCI :
§ Tous les connecteurs SCI doivent être utilisés
§ Procéder au câblage suivant les indications du chapitre 3.1.7
Câblage SCSI :
§ Relier, s’il existe, le sous-système d’extension disque au principal par
les deux câbles fournis.
§ Relier le sous-système disque aux deux cartes SCSI du nœud des
entrées-sorties
Alimentation :
§ Relier chaque élément au boitier répartiteur d’alimentation le plus
proche.
§ Lorsque l’option « double alimentation » d’un élément a été choisie,
le relier à deux répartiteurs différents.
§ Connecter les répartiteurs au réseau électrique.
Installation matérielle
3-7
3.5 Administration du matériel
3.5.1 Mise en route du nœu d d’administration
Le nœud d’administration représentant la partie visible extérieurement du
cluster, sa mise en route et son administration matérielle se fait normalement
à l’aide de la console lui étant directement connectée.
L’opération du reste du cluster passe obligatoire par la disponibilité de ce
nœud d’administration .
Il doit donc être le premier à être mis en route, installé avec son système
d’exploitation et configuré.
L’administration matérielle des autres éléments se fait ensuite par
l’intermédiaire de sa console ou de toute autre console lui étant connectée
sur le réseau externe.
3.5.2 Mise en route et contr ôle des autres nœuds
L’administration matérielle des autres nœuds du cluster s’effectue à travers le
réseau d’interconnexion série.
Sur le nœud d’administration, un programme d’émulation de terminal
minicom (ou xminicom dans une fenêtre X) doit être utilisé pour avoir accès à
la console des autres nœuds.
Le lancement de ce programme se fait par :
$ minicom n0x0y &
(n0x0y identifie le nom du nœud auquel on veut accéder. Ce nom est utilisé
comme suffixe du fichier /etc/minirc.n0x0y créé sur le nœud à administrer
comme suit).
Pour « sortir » de minicom, il faut entrer les caractères « CTRL A » puis
« X ».
Configuration de minicom :
minicom utilise un fichier de configuration propre à chaque nœud, situé dans
le répertoire « /etc/ » et portant le nom « minirc.<nom du nœud >».
Chacun de ces fichiers positionne les valeurs des paramètres de travail de
chaque ligne série.
3-8
HPC Linux installation hardware
Exemple pour un cluster 4 noeuds (admin, n0101, n0102, n0103):
$ cat /etc/minirc.n0101
# minicom default configuration file for node N0101
pr port
/dev/ttyD000
pu baudrate
115200
pu bits
8
pu parity
N
pu stopbits
1
pu mautobaud
Yes
pu statusline
disabled
pu hasdcd
No
pu minit
pu mreset
$
$ cat /etc/minirc.n0102
# minicom default configuration file for node N0102
pr port
/dev/ttyD001
pu baudrate
115200
pu bits
8
pu parity
N
pu stopbits
1
pu mautobaud
Yes
pu statusline
disabled
pu hasdcd
No
pu minit
pu mreset
$
$ cat /etc/minirc.n0103
# minicom default configuration file for node N0103
pr port
/dev/ttyD002
pu baudrate
115200
pu bits
8
pu parity
N
pu stopbits
1
pu mautobaud
Yes
pu statusline
disabled
pu hasdcd
No
pu minit
pu mreset
$
Installation matérielle
3-9
3-10
HPC Linux installation hardware
Glossaire
BANDE PASSANTE
La largeur de bande est l'intervalle de fréquences (« la bande ») transmises sans
distorsions notables sur un support de transmission bien défini (atténuation...). Elle
est mesurée en Hz. Pour les réseaux, et ensuite par extension pour tous les médias,
cela représente la quantité de données transmise par unité de temps, c'est-à-dire le
débit, aussi appelé (de façon peu orthodoxe mais fort commune) bande passante.
Dans ce cas elle est mesurée en bit/s.
BEOWULF
Superordinateur composé de nombreuses stations de travail exécutant le même
code en parallèle. Les Stations, aussi simples et idiotes que possible, sont appelées
des « Noeuds », contrôlées via réseau par un ou plusieurs serveur(s). Un Beowulf
n'utilise aucun matériel particulier, uniquement des machines et des équipements de
réseau courants. Le logiciel est lui aussi courant, comme par exemple le système
d'exploitation Linux, ainsi que PVM et MPI. La définition est parfois restreinte aux
machines construites selon le premier modèle de Beowulf, conçu par la NASA. Les
systèmes Beowulf sont répartis en deux classes, selon qu'ils sont entièrement
construits à partir d'éléments trouvés à la mercerie du coin (Classe I), ou qu'ils
comprennent des éléments spécifiquement conçus (Classe II).
CLUSTER (en français grappe)
Architecture de groupes d'ordinateurs, utilisée pour former de gros serveurs. Chaque
machine est un noeud du cluster, l'ensemble est considéré comme une seule et
unique machine. Utilisée pour le calcul scientifique, le décisionnel, le transactionnel
et le datawarehouse.
DEBIT
Quantité d'information empruntant un canal de communication pendant un intervalle
de temps. Mesuré en Mbit/s ou Mo/s.
FSF
La Free Software Foundation est une organisation américaine dédiée à l'abolition
des restrictions sur la copie, la redistribution, la compréhension et la modification des
programmes informatiques. Elle promeut le développement et l'utilisation du Logiciel
Libre, et est l'initiatrice du projet GNU.
GNU
Un acronyme récursif "GNU Not Unix".
GNU/LINUX
Il s’agit de l’ensemble formé par le noyau Linux et du système GNU.
Glossaire
g-1
GPL
General Public License. Le statut juridique des logiciels distribués « librement », à
l'origine utilisé pour le projet GNU de la FSF.
HPC
High Performance Computing. Informatique de haute performance.
Itanium™ Architecture
Architecture 64 bits des nouvelles puces d'Intel, destinées à remplacer les x86. Il
s'agit d'une rupture totale avec la série x86, le jeu d'instructions n'ayant plus rien à
voir, ni les éléments de l'architecture du processeur. Le résultat est quelque chose de
globalement plus simple, donc de bien plus rapide, en donnant un contrôle plus fin
au logiciel (en particulier les compilateurs) sur le matériel. La première version
s'appelle Itanium (précédemment appelée Merced). Il aura fallu six ans de
développement pour qu'il apparaisse sur le marché. Maintenant la deuxième
génération, Itanium-2, a fait son apparition.
ITANIUM™ Processor
Processeur 64 bits d’Intel et destiné à remplacer les x86 (dont les Pentiums), tout en
restant compatible. Itanium est le premier modèle de l’architecture Itanium et
l’Itanium-2™ est le 2ième.
LATENCE
Temps minimal de propagation d'un signal. Par extension, temps minimal de
transmission d'un ensemble de données à travers d'un réseau.
LINUX
Linux est un système d'exploitation de type UNIX, multi-tâches et multi-utilisateurs,
disponible sur de nombreuses architectures matérielles, en particulier les machines à
base de processeurs x86 et Itanium. Il intègre la plupart des technologies les plus
récentes (SMP, clustering, RAID…).
Linux est un noyau. Pour l’utiliser, il faut des applications, c’est ce que proposent les
distributions. Une distribution est un ensemble de programmes plus un noyau à
installer sur une machine. Parmi les distributions Linux, on peut citer RedHat,
Mandrake, Suse, TurboLinux …
MONITORING
Contrôle pas à pas, c'est-à-dire qu'on ne laisse aucune liberté au système contrôlé.
Le monitoring permet aussi de contrôler et/ou surveiller un processus en temps réel.
MPI
Message Passing Interface. Bibliothèque portable utilisée pour des applications
parallèles.
NFS
Network File System. C'est un système de gestion de fichiers de réseau, présenté
par Sun en 1985 pour ses stations sans disque. Les versions principalement utilisées
g-2
HPC Linux installation hardware
actuellement sont les versions 2 (utilisant UDP) et, depuis 1993, 3 (pouvant utiliser
UDP ou TCP).
NOEUD
Ordinateur connecté à un réseau. Dans le monde du clustering, chaque machine du
cluster est appelée nœud. Leurs fonctions peuvent ensuite être différentes : nœud de
management, nœud de calcul, nœud de storage …
OPEN SOURCE
Définition particulière du logiciel libre, mise au point en 1998 par Eric Raymond,
cherchant à adapter le principe à l'entreprise. Elle comporte neuf points (pour le
moment): la libre redistribution, la mise à disposition du code source, la possibilité de
distribuer ses travaux dérivés, le respect du code source originel, l'absence de
discrimination envers des personnes, l'absence de limitation sur le domaine
d'application du logiciel, la distribution de la licence et sa non-spécificité à un produit,
et enfin le fait qu'elle ne contamine pas le travail des autres.
PARALLELISATION
Transformer un programme de façon qu'il soit possible de l'exécuter efficacement sur
plusieurs processeurs.
PROCESSUS
Programme en cours d'exécution, avec son environnement. Terme essentiellement
utilisé dans le monde Unix à l'origine.
PVFS
Parallel Virtual File System. Projet se définissant comme l'exploration de la «
conception, de l'implémentation et des utilisations potentielles des entrées/sorties
parallèles ». Développé par l'université de Clemson et la NASA, PVFS est destiné
aux clusters de Stations de Travail et aux machines Beowulf
PVM
Parallel Virtual Machine. API gérant la communication entre les nœuds d'un cluster
de machines.
RAID
Installation de disques durs en batterie pour augmenter le stockage et la fiabilité.
RISC
Architecture de processeur.
SCALABILITE
La capacité d'un système à supporter une augmentation de ses contraintes dans un
domaine particulier, ou dans tous les domaines. On pourrait proposer le nom "
échelonnabilité" comme traduction. Par exemple un système est dit "scalable" en
terme de nombre d'utilisateurs si ses performances de fonctionnement sont aussi
bonnes avec une dizaine d'utilisateurs connectés qu'avec une centaine.
Glossaire
g-3
SERVEUR DE FICHIERS
Serveur qui met uniquement des fichiers à disposition du réseau, et pas ses autres
ressources (comme sa puissance de calcul, ses liaisons...). En général, son point fort
est son disque dur.
SMP
Symmetric MultiProcessing. Système multiprocesseur distribuant symétriquement les
tâches entre différents processeurs partageant une mémoire commune, en
s'assurant qu'ils ne vont pas se mettre à écrire tous à la même adresse en même
temps.
SWAP
Le fait d'utiliser une partie d'un disque dur comme de la mémoire vive.
SYsTEME DE GESTION DE FICHIERS (SGF)
Il définit par exemple la structure interne de l'arborescence, les formats
d'enregistrements, le découpage des disques, les métadonnées sur les fichiers...
Un SGF est constitué d'un service de gestion (pour l'organisation des fichiers entre
eux) et d'un système de fichiers (pour les opérations sures et dans les fichiers).
TRACE
La Trace d'un programme est la succession des états de son environnement au
cours de son exécution.
g-4
HPC Linux installation hardware
Références
Généralités sur les clusters
www.beowulf.org
www.tldp.org/HOWTO/Parallel-Processing-HOWTO.html
www.top500.org
www.phy.duke.edu/brahma/beowulf_online_book/
www.Linux-Consulting.com/Cluster/
Les architectures parallèles
www.lri.fr/~fci/support95.html
www.idris.fr
Les interconnects
www.scali.com
www.dolphin.com
www.essi.fr/~riveill/rapport01-these-cecchet.pdf
www.ens-lyon.fr/~rewestrel/thses.ps
HPC
www.epcc.ed.ac.uk/HPCinfo
L’ouvrage High Performance Computing de Dowd & Severance aux éditions O’Reilly.
Librairies scientifiques
www.lifl.fr/west/courses/cshp/bibsp.pdf
www.irisa.fr/orap/Publications/Forum6/petitet.ps
www.netlib.org
Références
r-1
r-2
HPC Linux installation hardware
Vos remarques sur ce document / Technical publication remark form
Titre / Title :
Bull NovaScale 4040 HPC Linux Installation du matériel
Nº Reférence / Reference Nº :
86 F1 51EG 00
Daté / Dated :
Avril 2003
ERREURS DETECTEES / ERRORS IN PUBLICATION
AMELIORATIONS SUGGEREES / SUGGESTIONS FOR IMPROVEMENT TO PUBLICATION
Vos remarques et suggestions seront examinées attentivement.
Si vous désirez une réponse écrite, veuillez indiquer ci-après votre adresse postale complète.
Your comments will be promptly investigated by qualified technical personnel and action will be taken as required.
If you require a written reply, please furnish your complete mailing address below.
NOM / NAME :
SOCIETE / COMPANY :
ADRESSE / ADDRESS :
Remettez cet imprimé à un responsable BULL ou envoyez-le directement à :
Please give this technical publication remark form to your BULL representative or mail to:
BULL CEDOC
357 AVENUE PATTON
B.P.20845
49008 ANGERS CEDEX 01
FRANCE
Date :
Technical Publications Ordering Form
Bon de Commande de Documents Techniques
To order additional publications, please fill up a copy of this form and send it via mail to:
Pour commander des documents techniques, remplissez une copie de ce formulaire et envoyez-la à :
BULL CEDOC
ATTN / Mr. L. CHERUBIN
357 AVENUE PATTON
B.P.20845
49008 ANGERS CEDEX 01
FRANCE
Phone / Téléphone :
FAX / Télécopie
E–Mail / Courrier Electronique :
+33 (0) 2 41 73 63 96
+33 (0) 2 41 73 60 19
[email protected]
Or visit our web sites at: / Ou visitez nos sites web à:
http://www.logistics.bull.net/cedoc
http://www–frec.bull.com
http://www.bull.com
CEDOC Reference #
No Référence CEDOC
Qty
Qté
CEDOC Reference #
No Référence CEDOC
Qty
Qté
CEDOC Reference #
No Référence CEDOC
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
__ __ ____ _ [__]
Qty
Qté
[ _ _ ] : no revision number means latest revision / pas de numéro de révision signifie révision la plus récente
NOM / NAME :
Date :
SOCIETE / COMPANY :
ADRESSE / ADDRESS :
PHONE / TELEPHONE :
FAX :
E–MAIL :
For Bull Subsidiaries / Pour les Filiales Bull :
Identification:
For Bull Affiliated Customers / Pour les Clients Affiliés Bull :
Customer Code / Code Client :
For Bull Internal Customers / Pour les Clients Internes Bull :
Budgetary Section / Section Budgétaire :
For Others / Pour les Autres :
Please ask your Bull representative. / Merci de demander à votre contact Bull.
PLACE BAR CODE IN LOWER
LEFT CORNER
BULL CEDOC
357 AVENUE PATTON
B.P.20845
49008 ANGERS CEDEX 01
FRANCE
REFERENCE
86 F1 51EG 00
Utiliser les marques de découpe pour obtenir les étiquettes.
Use the cut marks to get the labels.
NovaScale
4040
HPC Linux
Installation du
matériel
86 F1 51EG 00
NovaScale
4040
HPC Linux
Installation du
matériel
86 F1 51EG 00
NovaScale
4040
HPC Linux
Installation du
matériel
86 F1 51EG 00
">