Système de stockage QNAP
Projet de semestre
Étudiant : Tiago DE OLIVEIRA
Professeur : Gérald LITZISTORF
20 avril 2013
QNAP est un des leaders mondiaux pour les systèmes de stockage NAS (Network Attached Storage). Ce type de stockage se démocratisant dans le domaine privé comme dans le professionnel, le but de ce travail de projet est d’étudier les possibilités fournies par de ce matériel.
Dans cette étude, j’ai commencé par mettre en place cet équipement dans le réseau du laboratoire en respectant des bonnes pratiques et avec une configuration minimale au départ.
Par la suite, j’ai effectué des tests de performance pour déterminer quel protocole de transferts était le plus efficace entre SMB et NFS sur ce type de système.
Enfin, dans le but de garantir la sécurité des données en cas de perte de disques durs, j’ai procédé à l’étude, la comparaison et
à des mesures de performance sur la technologie RAID logiciel présente sur ce modèle de QNAP. Ceci pour déterminer quel type de RAID était le plus indiqué dans un domaine de production comme de laboratoire de transmission de données.
S
YSTEMES DE
S
TOCKAGE
É
TUDE DU PRODUIT
QNAP
Descriptif :
Le labo vient d’acquérir le produit QNAP TS-459 Pro II équipé des disques WD VelociRaptor
http://www.qnap.com/fr/?lang=fr&sn=453&c=300&sc=552&t=559&n=3614
http://wdc.com/en/products/products.aspx?id=20
Il permettra d’illustrer la problématique du stockage dans une architecture virtualisée.
Travail demandé :
Cette étude comprend les parties suivantes :
A) Mettre en service cet équipement en identifiant les points importants à respecter basés sur les bonnes pratiques
Commencer avec une configuration simple basée sur un seul disque et une seule interface Ethernet
B) Configurer, tester et comparer les services SMB et NFS
C) Étudier et mettre en œuvre une configuration qui améliore les performances (RAID, 2 interfaces
Ethernet
, …)
Sous réserve de modification en cours du travail de Semestre
Candidat :
M. D
E
O
LIVEIRA
T
IAGO
Filière d’études : ITI
Département : ITI
Professeur(s) responsable(s) :
Litzistorf Gérald
En collaboration avec :
Projet de semestre soumis à une convention de stage en entreprise : non
Projet de semestre soumis à un contrat de confidentialité :non
Timbre de la direction
Table des matières
1 Enoncé ............................................................................................................... 5
2 Analyse .............................................................................................................. 5
2.1 Introduction................................................................................................................................................. 5
2.2 NAS vs SAN ................................................................................................................................................... 5
2.3 Spécifications QNAP TS-459 Pro II .................................................................................................... 7
2.4 Le protocole SMB (Server Message Block) ..................................................................................... 8
2.5 Le protocole NFS (Network File System) .......................................................................................... 9
2.6 RAID (Redundant Array of Independent Disks) ......................................................................... 11
2.6.1 Le RAID matériel .................................................................................................................................. 11
2.6.2 Le RAID pseudo-logiciel .................................................................................................................... 11
2.6.3 Le RAID logiciel .................................................................................................................................... 11
2.6.4 Les avantages et inconvénients de chaque sorte.................................................................... 12
2.6.5 Les types de RAID ............................................................................................................................... 12
2.6.5.1 Le RAID 0 ............................................................................................................................................. 12
2.6.5.2 Le RAID 1 ............................................................................................................................................. 13
2.6.5.3 Le RAID 5 ............................................................................................................................................. 13
2.6.5.4 Le RAID 6 ............................................................................................................................................. 14
2.6.5.5 Le RAID 10 (ou 1+0) ....................................................................................................................... 14
2.6.5.6 Le JBOD ................................................................................................................................................. 14
2.6.6 RAID dans le QNAP TS-459 Pro II ................................................................................................. 14
3 Réalisation ........................................................................................................ 15
3.1 Scénario n°1 : Mise en service et configuration QNAP ............................................................ 15
Schéma de l’installation ........................................................................................................................ 15
Configuration best practices ............................................................................................................... 15
3.2 Scénario n°2 : Configuration du partage SMB et NFS ............................................................... 17
Configuration partage SMB ................................................................................................................. 17
Configuration partage NFS .................................................................................................................. 17
Installation outils QPKG........................................................................................................................ 18
3.3 Scénario n°3 : Étude et mise en œuvre d’une configuration performante en RAID .... 19
Mise en service de disques supplémentaires .............................................................................. 19
4 Tests ................................................................................................................. 20
Hardware PC ............................................................................................................................................. 20
Connexion au réseau du laboratoire ............................................................................................... 20
Distributions software .......................................................................................................................... 20
4.1 Scénario N°1 : Mesures de performances SMB et NFS ............................................................. 20
4.1.1 Méthodologie de mesures SMB ...................................................................................................... 20
Description des outils de mesure SMB choisis ............................................................................ 20
Wireshark ................................................................................................................................................... 20
NAS Performance tester 1.4 ................................................................................................................ 21
Iometer ........................................................................................................................................................ 21
Intel ® NAS Performance Toolkit ................................................................................................... 21
CrystalDiskMark ...................................................................................................................................... 21
Robocopy .................................................................................................................................................... 21
Résultats obtenus pour les mesures SMB ..................................................................................... 22
4.1.2 Méthodologie de mesures NFS ....................................................................................................... 23
Description des outils de mesure NFS choisis ............................................................................. 24
Commande rsync ..................................................................................................................................... 24
Iometer ........................................................................................................................................................ 24
3
Iozone ........................................................................................................................................................... 24
Commandes time et dd ......................................................................................................................... 24
Résultats obtenus pour les mesures NFS ...................................................................................... 25
4.1.3 Méthodologie de mesure sur le NAS ............................................................................................ 26
Description des outils utilisés ............................................................................................................ 26
Iotop .............................................................................................................................................................. 26
Ifsat................................................................................................................................................................ 26
Commande Iftop ...................................................................................................................................... 26
Iostat ............................................................................................................................................................. 26
Commande hdparm ................................................................................................................................ 26
Résultats obtenus sur le NAS .............................................................................................................. 26
4.1.4 Comparatif performances disque de Western Digital .......................................................... 27
4.1.5 Comparatif SMB et NFS ..................................................................................................................... 27
Conclusion et avis .................................................................................................................................... 27
4.2 Scénario N°2 : Mesures de performance RAID ............................................................................ 27
4.2.1 Méthodologie de mesures RAID .................................................................................................... 27
Résultats obtenus pour les mesures RAID avec SMB et NFS ................................................. 28
Comparatif sur les mesures RAID .................................................................................................... 29
Conclusion et avis .................................................................................................................................... 29
5 Difficultés rencontrées ...................................................................................... 30
6 Conclusion technique ........................................................................................ 30
7 Conclusion personnelle ..................................................................................... 31
8 Annexes ............................................................................................................ 32
8.1 Spécifications QNAP et disques durs............................................................................................... 32
8.2 Schéma du réseau du laboratoire ..................................................................................................... 32
9 Liens & Références ............................................................................................ 33
10 Table des illustrations ..................................................................................... 34
4
1 Enoncé
Le but de ce travail de semestre consiste dans l’étude, la configuration et l’élaboration de différents tests de performance sur un système de stockage NAS (Network Area Storage) QNAP
TS-459 Pro II connecté au réseau du laboratoire.
2 Analyse
2.1 Introduction
De nos jours, le monde de l’entreprise fait face à un nouveau challenge pour rester compétitif. En effet, après la course aux machines les plus performantes en puissance de calcul, le nouveau nerf de la guerre est la capacité de pouvoir stocker et conserver des volumes de données qui augmentent de façon exponentielle.
Les besoins de stockage n’ont jamais été aussi énormes. D'après l'institut d'études Forrester
Research, les besoins en stockage des entreprises augmentent de 52% par an.
L’apparition de nouvelles technologies et le besoin de pouvoir conserver en toute sécurité durant plusieurs dizaines d’années des données numériques, des documents sensibles ou encore de simples courriers électroniques en font une problématique de premier ordre pour les entreprises.
Cependant, la démocratisation (chute des prix des composants) et l’accessibilité tout public de nouvelles solutions de stockage qui étaient destinées auparavant uniquement aux entreprises ayant des moyens financiers sont apparues ces dernières années. Les entreprises, comme les particuliers, sont donc aujourd’hui à la recherche de solutions de stockage performantes, fiables, sécuritaires, transparentes et surtout à moindre coût dans le but de conserver et de traiter des données de plus en plus volumineuses.
Les solutions NAS et SAN apparaissent alors comme des solutions adaptées ayant toutes les deux des avantages et des inconvénients.
2.2 NAS vs SAN
1
Tant les NAS (Network Area Storage) que les SAN (Storage Area Network) ont amené une rupture en matière de stockage informatique.
Traditionnellement, on était habitués à des systèmes de stockage peu modulables, centralisés, difficiles au niveau gestion et surtout avec un coût très élevé en acquisition et en maintenance. Ce type de stockage, ou attachement direct, généralement appelé DAS (Direct Attached Storage) est aujourd’hui délaissé en faveur des systèmes NAS et SAN, plus flexibles.
Ces deux solutions ont ainsi permis aux entreprises d’économiser en budget attribué au stockage, mais aussi en gain de mise en place, maintenance et consolidation des données.
On peut voir ci-dessous un tableau qui fait une synthèse des principaux avantages et inconvénients entre NAS et SAN, ainsi qu’un schéma topologique de ces trois systèmes de stockage.
1 http://www.zdnet.fr/actualites/nas-contre-san-les-criteres-pour-choisir-la-meilleure-option-de-stockage-en-reseau-2108230.html
http://www-igm.univ-mlv.fr/~dr/XPOSE2007/jdastugNAS_SAN/index.html
5
NAS SAN
Installation
Disponibilité
Système de fichiers
Fiabilité
Mise en place rapide et facile sur un réseau LAN existant
En permanence, travail au niveau fichiers (NFS)
Du côte NAS
Architecture composée de systèmes redondants avec possibilité de réplication locale
Déploiement souvent complexe demandant un nouveau réseau
En permanence, travail au niveau blocs (iSCSI)
Du côte client
Architecture haute disponibilité conçue contre les risques de panne partielle ou totale
Capacité & Scalabilité
Sécurité
Coût
Administration
Compatibilité
Protocole
Bande passante
On peut atteindre plusieurs téra-octets de données, possibilité de mise en commun d’autres dispositifs de stockage
Par mot de passe, accès client avec partage de fichiers
Système isolé avec aide à la protection, partage et mouvement de données
Très abordable Elevé
Centralisé, sur un poste administrateur en mode GUI ou CLI
Support des applications client NFS et SMB. Facilité de migration.
Ethernet
Dépendante du réseau local
Support des applications serveur avec haut niveau de performances SCSI, iSCSI
Fibre Channel, Infiband
Dépendante de la Fibre
Channel (environ 100Mb/s vitesse de transferts de données réels)
Figure 1 - Tableau comparatif NAS- SAN
Figure 2 - Schéma Topologique
6
Dans le cadre de mon travail de semestre, nous allons nous intéresser à l’étude approfondie d’un système de stockage NAS. Le QNAP TS-459 Pro II, nous est présenté par son constructeur comme un produit de qualité professionnelle se rapprochant au plus près des besoins actuels des
PME, voir de grandes entreprises au niveau «
espace de stockage et des besoins supplémentaires tels que la sauvegarde centralisée sur réseau, le partage des fichiers entre plates-formes (Windows, Mac, Linux, UNIX), le partage d'impression, les services de téléchargement par FTP, et même l'enregistrement de la surveillance vidéo
2
».
2.3 Spécifications QNAP TS-459 Pro II
Le laboratoire a fait l’acquisition d’un NAS QNAP TS-459 Pro II dans le cadre de travaux de semestre et de Bachelor antérieur dont voici les principales spécifications de base :
Figure 4 - Principales spécifications d’origine
3
Figure 3 - Face avant et arrière QNAP
A noter que notre appareil a subi quelques modifications matérielles :
- la mémoire vive (RAM) est passée de 1Go à 3Go DDR3
- 4 disques durs Western Digital VelociRaptor 600GB Sata6 (6Gb/sec)
4
Toujours selon le fabricant QNAP, la consommation électrique en mode veille est de 19W et celle en fonctionnement de 35W, ce qui est très intéressant niveau énergétique pour un système qui doit fonctionner en continu.
Pour finir, il est à noter que le système d’exploitation utilisé par QNAP est basé sur un Linux 2.6, ce qui nous permet, en théorie, de pouvoir installer et exploiter des utilitaires Linux pour faire différents tests sur le matériel en interne.
2 http://www.qnap.com/fr/index.php?lang=fr&sn=453&c=300&sc=552&t=559&n=3614
3 http://www.clubic.com/disque-dur-memoire/nas/article-465800-1-qnap-ts-459-pro-ii.html
7
2.4 Le protocole SMB (Server Message Block)
5
SMB, anciennement CIFS (Common Internet File System) est un protocole de chez Microsoft dont l’invention date de
1985 par IBM. Il existe trois versions. La version SMB 2 sous Windows Vista et Seven sont tout simplement plus rapides par rapport à la version 1. La plus récente, SMB 3 sous Windows 8 permet une amélioration au niveau du partage en environnement virtualisé.
La finalité de ce protocole est de pouvoir accéder aux
Figure 5 – Client, serveur SMB
partages et aux authentifications réseau Microsoft. SMB a un fonctionnement de type clientserveur, le client va envoyer des requêtes sur le port 139 ou 445 et le serveur de fichiers va lui répondre. Le serveur de fichier lui donne accès soit en mode "share", dans lequel il associe un mot de passe à une ressource (espace disque, imprimantes), ou en mode "user", où il associe un mot de passe à un utilisateur.
Le protocole est optimisé pour le réseau LAN, mais il fonctionne aussi sur internet, car il est routable TCP-IP depuis Windows 2000. L’inconvénient majeur de ce protocole est l’u tilisation intensive de la bande passante. Si le service Explorateur d'ordinateur est lancé sur plusieurs machines, chaque client reporte sa présence à tout le réseau
(via des broadcasts) ce qui augmenté la charge réseau.
Les clients et serveurs SMB sous Linux et d'autres systèmes
Open Source utilisent SAMBA pour traiter les échanges avec ce protocole.
Dans la figure 6, on peut observer le type d’échanges entre
Figure 6 – Échanges SMB
un client et un serveur avec SMB
6
.
Avec Wireshark, on peut examiner les différents échanges SMB entre un client Windows 7 et le
QNAP lors d’une écriture de fichier dans un dossier distant.
Figure 7 – Capture Wireshark échange SMB
5 http://en.wikipedia.org/wiki/Server_Message_Block , http://fr.wikipedia.org/wiki/Server_Message_Block
6 http://msdn.microsoft.com/en-us/library/cc246796.aspx
8
On peut remarquer comme principales caractéristiques :
Nommage global – identification unique sur le serveur et le client
Plus qu'un système de fichiers – gestion des imprimantes, fax, …
Performances améliorées – gestion de cache, taille de blocs, …
Mêmes objectifs que pour NFS
Protocole très utilisé dans les solutions NAS
Supporté sur Linux côté serveur – Samba
Figure 8 – Comparaison pile de protocole SMB et SMB2
Pour terminer, on peut observer dans la figure 8, les piles de protocoles SMB et SMB2 et la principale différence au niveau des protocoles de transport.
2.5 Le protocole NFS (Network File System)
NFS (Système de fichiers réseau) est un protocole développé par Sun Microsystems permettant d'accéder aux fichiers présents sur des machines distantes exactement comme s'ils étaient en local. Ce protocole s’est imposé comme un standard dans le monde Unix.
Il s'appuie sur une représentation standard des objets proposée par le protocole XDR
7
(eXternal Data
Representation) et le mécanisme d'appels de procédures distantes implémenté par le protocole
RPC
8
(Remote Procedure Call). Ces deux protocoles sont aussi l'œuvre de Sun Microsystem.
Figure 9 – Couches OSI NFS
Figure 10 – Séquence des procédures RPC et XDR
7 http://www.buchard.com/FTech3a94.html?id_rubrique=5&id_article=9
8 http://fr.wikipedia.org/wiki/Remote_procedure_call
9
Dans les faits, NFS est composé de quatre protocoles distincts qui reposent tous sur les RPC
(nfs, mountd, nsm et nlm) ainsi que sur rpc portmap, qui a comme rôle principal de convertir les numéros de programmes RPC en numéros de ports. Quand un serveur RPC démarre, il va préciser
à portmap quel port il utilisera et les numéros de programmes RPC qu'il gère. Quand un client souhaite envoyer une requête RPC vers un numéro de programme donné, il contacte d'abord le serveur portmap pour obtenir le numéro de port sur lequel tourne le programme souhaité qui va adresser les paquets RPC au port concerné.
Figure 11 – Services NFS
Pour que NFS fonctionne, il s’appuyé donc sur quatre services (deamons) tous dérivés du protocole RPC : ce sont nfsd, mountd, statd, lockd dont voici une description très brève dans la figure 11
9
. Dans la figure qui suit, on peut voir les transactions standards lors d’un échange de données.
Figure 12 – Capture transactions NFS
Dans la capture Wireshark suivante, on peut observer les différents échanges entre un PC sous
Linux Ubuntu 12.10 et le QNAP lors de l’écriture d’un fichier dans un dossier.
Figure 13 – Capture Wireshark échange NFS
9 http://www.misfu.com/installation-configuration-nfs-linux.html
http://www.eventhelix.com/realtimemantra/networking/NFS_Protocol_Sequence_Diagram.pdf
10
La version 3 de NFS est la plus répandue et celle utilisée sur le NAS malgré le développement actuel de la version 4
10
. On peut remarquer comme principales caractéristiques de cette version :
Protocoles de transport UDP et TCP toujours avec multiplexage de ports
Performances améliorées en écriture
Très utilisée sur les actuels serveurs NAS basés sur des distributions BSD et
GNU/Linux
Possibilité de réplication asynchrone entre serveurs
La taille maximum de fichier n'est plus limitée à 2Go
Le protocole NFS n’étant pas trivial à comprendre, il a du moins le mérité d’être actuellement le plus efficace par rapport aux transferts de donnés de type client-serveur. Cependant, un nouveau protocole SMB v.4.0
11
très prometteur nous annonce un partage de fichiers amélioré et des vitesses de transfert très élevées.
2.6 RAID (Redundant Array of Independent Disks)
12
À la fin des années 70, le RAID a été pensé comme un système de récupération de données stockées sur un support défectueux. Une dizaine d'années plus tard, bien des variantes de cette première idée étaient nées, dont certaines n'avaient pas pour but de sécuriser les données, mais bien d'utiliser l'agrégation de disques durs pour améliorer les performances de transfert
.
La technique RAID est donc une technologie d’agrégation de disques qui a comme but
d’améliorer les performances ainsi que la haute disponibilité des données qui y sont
stockées. Il existe 3 sortes de RAID : matériel, pseudo-matériel et enfin logiciel. Voici une brève description de cette technologie, ces sortes et ses types.
2.6.1 Le RAID matériel
Dans le cas du RAID matériel, une carte ou composant (hardware RAID) est dédié à la gestion des opérations indépendamment de l'hôte. Du point de vue du système d'exploitation, le contrôleur RAID matériel offre une virtualisation complète du système de stockage. Le système d'exploitation considère chaque volume RAID comme un disque et n'a pas connaissance de ses constituants physiques.
Ce type de composant est généralement doté d’un processeur spécifique, de mémoire et même de batteries lui permettant d’être indépendant.
2.6.2 Le RAID pseudo-logiciel
C'est le cas de la grande majorité des contrôleurs RAID utilisés de nos jours et qui sont directement intégrés aux cartes mères. Ils gèrent la plupart du temps les RAID 0 et 1 sur des disques durs en IDE ou en Serial-ATA. Ces composants sont plutôt bon marché, car ils ne possèdent pas de puissance de calcul.
On peut considérer ce type de RAID comme de la simple gestion de disques durs malgré possédant quelques fonctions avancées d’un vrai contrôleur RAID. C’est une solution hybride entre le RAID matériel et logiciel.
2.6.3 Le RAID logiciel
Nous sommes ici dans un système très éloigné de la solution matérielle, la présence d'un simple contrôleur de disque suffisant à assurer le support physique. Le contrôle du RAID est fourni par une couche logicielle contenue dans le système d'exploitation. Cette couche s'intercale entre la couche d'abstraction matérielle (pilote) et la couche du système de fichiers. C'est donc une solution assez souple, mais qui va demander un certain effort au niveau des ressources.
10
http://www.inetdoc.net/travaux_pratiques/sysadm-net.nfs.q/
11
http://www.samba.org/
12 http://fr.wikipedia.org/wiki/RAID_(informatique)#Le_RAID_logiciel
11
2.6.4 Les avantages et inconvénients de chaque sorte
RAID
Matériel
RAID
Pseudo-Matériel
RAID
Logiciel
- détection des défauts, maintenance et diagnostique au niveau matériel
- reconstruction autonome en cas de changement matériel
- remplacement à chaud
- charge système allégé
- hébergement de fichiers facilité
- accès aux disques facilité
- basique au niveau logiciel
- demande peut de mémoire
- souplesse d’administration et d’utilisation
- grande interopérabilité entre systèmes
- solution gratuite
- prix élevé
- sensibilité aux pannes
- matériel et logiciels propriétaire
-spécialisé pour un seul type de périphérique
- pas d’interopérabilité entre différents systèmes
- fiabilité controversé
- interopérabilité très mauvaise
- performances limités
- mauvaise gestion des défauts matériels
- fonctionnalités BIOS généralement limitées
- charge système élevé
- diagnostiques et détection d’erreurs peut performant
- choix type de RAID réduits (RAID
0, 1, 5)
- pas possible sur tous les systèmes
Figure 14 – Avantages et inconvénients de chaque sorte de RAID
2.6.5 Les types de RAID
13
Il existe plusieurs types de RAID dont certains sont très peu utilisés, voire obsolètes. À fin de rester dans le cadre de ce travaille sur le QNAP, j’ai décidé d’étudier ceux qui sont possibles d’être mis en place sur le NAS.
2.6.5.1 Le RAID 0
Cette configuration RAID est connue sous le nom de « striping » en anglais. Elle consiste à faire fonctionner des disques durs (2 au minimum) en parallèle tout en donnant l’impression au niveau du « Poste de Travail » qu’il n’y a qu’un seul disque unique. Mais en réalité, lorsque vous enregistrez un fichier celui-ci est séparé en un certain nombre de morceaux de même taille.
La taille de la séparation du fichier dépend de celle des blocs de vos disques durs.
Si par exemple, nous avons 4 disques durs en
RAID 0, tous définis avec des blocs de 128
Ko, alors l'écriture d'un fichier de 2 Mo s'effectuera en 16 enregistrements distincts, soit sur 4 bandes de 512 Ko.
Figure 15 - Schéma RAID 0
Le premier tronçon de 128 Ko sera écrit sur le disque numéro 1, la seconde partie sur le disque 2, les troisième et quatrième morceaux respectivement sur les unités 3 et 4.
L'avantage de cette méthode est la multiplication des sources pour la lecture ou l'écriture d'un
fichier. En effet, ce type de procédé nécessite l'utilisation de disques durs de même capacité.
En effet, c'est la capacité la plus faible qui sera retenue au moment du montage multiplié par le nombre d’unités mises en parallèle qui donné la grandeur totale.
Ce type de RAID est parfait pour des applications demandant une grande vitesse de transfert, car plus on augmente nombre de disques durs plus la vitesse de transfert est augmentée.
L'inconvénient est le manque de redondance. En effet, les fichiers sont répartis sur plusieurs
13 http://www.acnc.com/raid http://fr.wikipedia.org/wiki/RAID_(informatique)#Les_niveaux_standard
12
disques, la défaillance ou la perte d'un d’eux entraîne la perte de toutes les données. C’est pourquoi il est très peu utilisé, car de risque de perte de données est élevé statistiquement.
2.6.5.2 Le RAID 1
Le RAID 1 n’a pas pour objectif d’augmenter les performances, mais bien assurer la pérennité
des données d'un disque dur en cas de défaillance matérielle. La méthode consiste à copier tout
simplement le contenu de ce disque sur un disque de récupération.
C'est le « miroitage » (mirroring en anglais) de disques, l'un étant la copie exacte de l'autre.
Chaque modification inscrite sur le disque primaire est reportée sur le disque secondaire.
Sur le poste client, on ne voit qu'une seule
Figure 16 - Schéma RAID 1
unité, dont la taille sera celle du disque dur de plus faible capacité.
En cas de perte d’un disque, le système désactive l’unité et le client est prévenu. Il peut alors, remplace le disque endommagé qui peut être reconstitué automatiquement soit manuellement par la copie de l’ensemble des données. Le temps de reconstitution est dépendant de la taille du disque primaire.
Dans le but d’augmenter encore plus la redondance, il est possible de travailler avec plusieurs disques comme dans la figure 11. Cependant, cela diminue encore plus la probabilité de perdre ses données, mais cela a un coût. Cela s'apparente plus à du RAID 0+1 ou 1+0 (ou RAID 10), dont je parlerais plus bas.
2.6.5.3 Le RAID 5
Pour être simple, on peut dire que c'est la combinaison des deux configurations précédentes. Cela permet d’avoir comme avantage d'améliorer les performances tout en assurant une sécurité
confortable lors de la perte de données.
Son principe consiste dans l'utilisation de trois disques durs au minimum, qui sont à tour de rôle mis en RAID 0 deux à deux, tandis que le troisième sert à stocker un bloc de contrôle.
Ce système permet donc, quel que soit le disque défaillant, de recréer les données manquantes à partir des autres disques.
Figure 17 – Schéma RAID 5
Le RAID 5 ne supporte la perte que d'un seul disque à la fois. Ce qui peut être problématique quand les disques qui composent une grappe sont de plus en plus gros que 1 To.
En effet, le temps de reconstruction de la parité en cas de disque défaillant est allongé. Il est généralement de 2 h pour des disques de 300 Go contre une dizaine d'heures pour 1 To.
Pour limiter le risque il est courant de dédier un disque dit « spare », c’est le RAID 5+ hot Spare.
En régime normal, il est inutilisé. En cas de panne d'un disque, il prendra automatiquement la place du disque défaillant. Cela nécessite une phase communément appelée « recalcul de parité ».
Elle consiste pour chaque bande à recréer sur le nouveau disque le bloc manquant (données ou parité). Pendant le temps de recalcul de la parité, le système est disponible, mais ralenti.
13
2.6.5.4 Le RAID 6
Le RAID 6 est l’évolution du RAID 5, la sécurité en cas de perte est augmentée. Ce type de
RAID est capable de gérer la défaillance de plusieurs disques à la fois. Cette amélioration est due
à l’utilisation de plus de valeurs redondantes sur les disques.
Par contre, les performances sont diminuées, car les algorithmes utilisés demandent beaucoup de ressources au niveau CPU pour calculer les redondances des disques.
Pour finir, le temps de reconstruction en cas de défaillance de 2 disques est extrêmement long.
Figure 18 – Schéma RAID 6
2.6.5.5 Le RAID 10 (ou 1+0)
C'est un fonctionnement légèrement différent du RAID 5, qui demande moins de ressources
CPU et qui allie également les RAID 0 pour les performances et RAID 1 pour la sécurité. Cela revient à un RAID 0, mais assuré par des
RAID 1.Un seul disque sera vu par le client, mais en réalité il est composé de deux « grappes » de deux disques en RAID 1
(quatre unités au total et au minimum). Le seul inconvénient à retenir est le coût. En effet, il faut pour effectuer cette configuration 4 disques de la même capacité.
Figure 19 – Schéma RAID 10
2.6.5.6 Le JBOD
Le JBOD (pour Just a Bunch of Disks) ou NRAID (Near/Non Redundant Array of
Inexpensive/Independent Disk) est une configuration plutôt simple. Elle permet de lier tous ses
Figure 20 – Schéma JBOD
disques durs en une seule et même unité, sans gain de performances ni de sécurité. Les données sont enregistrées disque par disque de façon totalement transparente pour l'utilisateur.
Donc une fois le premier disque rempli, les données restantes sont enregistrés sur le second disque et ainsi de suite en fonction du nombre de disques. La capacité du volume JBOD obtenu est simplement la somme des capacités des disques durs.
Contrairement au RAID 0, l'endommagement physique d'un mettre en parallèle des disques sans que la taille totale du volume soit définie par celui qui à la plus petite capacité. volume n'entraîne pas la perte des données contenues sur les autres unités. Ce n’est pas vraiment du RAID, mais cela permet de
2.6.6 RAID dans le QNAP TS-459 Pro II
Dans notre cas, le système de fichiers QNAP qui tourne sous un noyau Linux 2.6 utilisé un
RAID logiciel. Il peut supporter des configurations RAID 0, 1, 5, 6, 10, 5+hot Spare et JBOD.
Comme possibilités minimales, on peut mettre en place sur ce NAS : 2 à 4 disques en RAID 0, 2 disques en RAID 1, 3 et 4 disques en RAID 5 et enfin 4 disques en RAID 6.
Après cette étude sur la technologie RAID, je peux tester les différentes possibilités et mettre en
œuvre une configuration qui améliore les performances sur notre NAS.
14
3 Réalisation
3.1 Scénario n°1 : Mise en service et configuration QNAP
Le but de cette partie est de mettre en service cet équipement en identifiant les points importants
à respecter basés sur les bonnes pratiques. Pour ceci, on commencera avec une configuration simple basée sur un seul disque et une seule interface Ethernet connectée au réseau du laboratoire.
Schéma de l’installation
Le port eth1 est connecté au réseau du laboratoire. Ainsi le QNAP peut être accessible depuis n’importe quel PC du réseau.
Figure 21 – Schéma Installation QNAP
Le port eth2 est connecté à un PC dédié aux tests et à l’administration du QNAP. Ceci est possible avec l’adresse par défaut http://169.254.100.100
du NAS.
Configuration best practices
La mise en route et la configuration du QNAP peuvent se faire par deux méthodes. La première consiste à utiliser le CD d’installation fourni et de suivre les instructions
14
. Méthode standard tout public sans aucun besoin de connaissances particulières qui apporte un fonctionnement rapide et automatisé mis en place par le constructeur.
Figure 22 - Principales configurations effectues avec le CD d’installation
La deuxième méthode consiste à effectuer une configuration manuelle en utilisant directement l’administration système QNAP via une interface web. Mon choix s’est porté sur cette méthode, car selon moi elle est plus rapide en finalité.
De plus, elle évite d’installer un programme supplémentaire sur une machine. Ensuite elle, permet de faire des choix plus appropriés selon la configuration locale que ceux proposés sur le cd d’installation qui en finalité doivent être de toute façon affinés.
Les premières étapes que j’ai suivies sont expliquées dans le travail de Bachelor de Benoît Chalut,
« Cloud Management »
15
(Annexes A.2 pages 57 à 59) dans lequel ce NAS a été utilisé comme outil de stockage iSCSI. Voici un bref résumé des étapes à effectuer : a) Mettre sous tension l’appareil b) Choix du type de formatage disque(s) (SINGLE-RAID) c) Brancher le câble RJ45 Cat5e sur le port eth1 (réseau labo) d) Choix de l’obtention d’adresse IP via serveur DHCP
Figure 23 – Panneau LCD
14 http://docs.qnap.com/nas/fr/index.html?getting_started.htm
15 http://www.tdeig.ch/kvm/Chalut_RTB.pdf
15
Les points b) et d) se font directement via l’affichage sur le panneau LCD à l’avant du QNAP.
On peut effectuer des configurations supplémentaires à l’aide de ce panneau
16
, cependant il n’est guère aisé de se retrouver dans les différents menus. C’est pourquoi je déconseillerais une configuration intégrale par ce procédé, sauf si aucun autre moyen n’est à disposition !
À noter que dans ce premier scénario, un seul disque est utilisé, donc le choix SINGLE s’impose, car pour le moment nous n’allons pas utiliser la technologie RAID.
La mise en place d’un disque dur jamais utilisé avec le NAS dans une des 4 baies à disposition entraînera un formatage automatique du disque avec comme conséquence la perte des données s’y trouvant. En effet, des parties configuration système QNAP sont rajoutées sur chaque disque qui n’a pas encore été introduit une fois dans l’appareil. Ses fichiers système permettent entre autres la gestion au niveau RAID ou encore la reconnaissance des volumes.
L’adresse IP attribuée par le serveur DHCP sera affichée sur l’écran LCD de l’appareil, elle va nous permettre d’effectuer une connexion au NAS à travers un browser
17
. Il est aussi possible de se connecter avec l’adresse IP par défaut du serveur NAS qui est 169.254.100.100 :8080 ou encore en tapant http://NASIP:8080 . Une fois l’adresse IP du NAS introduite, sélectionnez « Administration » parmi les différents menus proposés et saisir dans la fenêtre de connexion : admin – admin
Figure 24 – Connexion QNAP
QNAP fenêtre d’affichage par rapport au choix effectué dans la section.
À noter que le système nous propose une mise
à jour du Firmware vers la version 3.8 qui annonce des améliorations, dont la plus notable est la prise en charge de Windows
8. Comptez environ deux heures pour effectuer cet upgrade
Nous allons utiliser la section « Administration du système » pour effectuer les configurations de base. Dans la sous-section Réglages de Base/Administration du Système, on attribue un nom à la machine puis si on le souhaite on active les connexions en SSL.
Dans Réglages de Base/Date et Heure, on définit un serveur NTP par exemple
129.138.98.11 pour la synchronisation des logs système.
On termine par l’attribution d’une adresse IP fixe 10.2.1.200 et un serveur DNS sur l’interface
Ethernet 1, selon le plan réseau du laboratoire
18
dans Réglages de Base/Paramètres Réseau.
16
Utilisation de l’écran LCD
: http://docs.qnap.com/nas/fr/index.html?use_the_lcd_panel.htm
17 http://docs.qnap.com/nas/fr/index.html?connect_to_nas_by_web_browser.htm
8.2 Schéma du réseau du laboratoire
16
D’autres configurations sont possibles selon les besoins de l’administrateur, par exemple changer ou ajouter des utilisateurs ainsi que les mots de passe dans Gestion des droits
d’accès/Utilisateurs. Un simple parcours dans les différentes sections nous laisse comprendre
que le système est très complet et que les possibilités de paramétrage et de services sont multiples.
Pour finir avec cette partie configuration de base, je recommande comme bonne pratique d’utiliser la section Administration du système/Sauvegarde / Rétablir les paramètres pour
effectuer un backup du système. En cas de problème, on pourra tout simplement transférer sur
un nouveau disque la totalité de la configuration, comptes utilisateurs, mots de passe et bien d’autres, sans perte de temps et d’informations.
Le fichier backup se présente sous format binaire et n’est malheureusement pas exploitable en tant que tel. On ne peut pas le modifier ou le lire convenablement avec un éditeur, ce qui est regrettable, car il aurait été intéressant de pouvoir effectuer des modifications si besoin.
3.2 Scénario n°2 : Configuration du partage SMB et NFS
Le but dans cette partie est dans un premier temps de configurer au niveau de l’administration
QNAP le partage SMB pour Windows et NFS pour Linux. Puis dans une deuxième partie de tester et comparer ces deux services.
Configuration partage SMB
19
La configuration SMB se fait dans la section Service Réseau/Réseau Microsoft. Il suffit d’activer le service de fichier pour réseau Microsoft pour que le dossier de partage soit disponible sur Windows. Pour le voir introduire dans barre Windows dans run :
\\
10.2.1.200.
À noter que pour que le QNAP s’affiche dans le réseau Microsoft, il doit faire partie du même
WORKGROUP. De cette façon, on peut y accéder comme un disque réseau.
Pour effectuer des tests de performance lecture/écriture SMB entre un PC sous Windows 7 et le
QNAP, j’ai affecté une lettre réseau Windows au NAS. En effet, certains outils (logiciels) demandent l’affectation d’une lettre réseau pour effectuer des mesures.
Il est évidemment possible d’accéder au dossier partagé avec l’adresse 10.2.1.200 indépendamment de cela. Pour attribuer une lettre réseau sous Windows 7, exécutez: a) Ouvrir Poste de travail.
Cliquez sur Outils, Options, Connecter un lecteur réseau b) Une fenêtre apparaît, choisir lecteur : N (par exemple) puis dossier : \\
10.2.1.200
c) Cliquez Terminer
Figure 26 – Connecter lecteur réseau
Configuration partage NFS
Pour activer le partage NFS sur le QNAP, il faut aller dans la section Service Réseau/Service
NFS. Il suffit d’activer le service en cochant simplement la case « activer le service NFS » puis
appliquer.
Il est possible, toujours dans cette partie d’effectuer des réglages pour régler les droits d'accès
NFS du partage réseau et de créer aussi de nouveaux dossiers de partage. Pour cela, il faut dans l’administration QNAP aller dans Gestion des droits d’accès/Dossier de partage.
19 http://docs.qnap.com/nas/fr/index.html?microsoft_networking.htm
17
Côté client, sous Linux Ubuntu 12.10 pour créer et accéder au partage NFS il faut effectuer la procédure suivante dans le terminal en mode administrateur (root) :
sudo –i apt-get install portmap nfs-common
//ouvrir un terminal en mode root
// installation du package pour prise en charge NFS
mkdir /home/ubuntu/Bureau/NFS
// création du partage NFS sur le bureau
mount –t nfs 10.2.1.200:/test /home/ubuntu/Bureau/NFS // liaison avec le dossier partagé
Il faudrait éditer le fichier /etc/fstab pour effectuer un montage statique à chaque initialisation du système. On peut par exemple insérer une ligne du type suivant à la fin du fichier.
10.2.1.200:/test /home/ubuntu/Bureau/NFS nfs 0 0
Un dossier nommé NFS se trouve maintenant sur le bureau Linux et tous les fichiers mis à l’intérieur seront stockés dans le dossier test qui est partagé dans le QNAP.
Installation outils QPKG
Chez QNAP dans tous les NAS, on a la possibilité d’installer directement sur le noyau des outils supplémentaires existant sur Linux ou de nouveaux outils développés par des communautés
QNAP. Inspiré du fameux pack logiciel de gestion système sur Linux (yum, dpkg, etc) QKPG est spécialement conçu pour être compatible avec les systèmes Linux et pour fournir des logiciels préinstallés.
On peut trouver dans le site du constructeur des informations supplémentaires ainsi que des téléchargements supplémentaires de cette communauté
20
.
Afin d’effectuer des mesures de performance SMB et NFS directement sur le système QNAP, je vais activer cette fonction dans l’administration du NAS. On va installer le package Opware
IPKG qui est un gestionnaire de paquetages léger pour périphériques embarqués. Il va me permettre d’installer des outils directement sur le NAS.
Pour cela, aller dans l’administration QNAP puis dans Serveurs d’applications/QPKG Center.
Puis dans l’onglet Disponible sélectionnez Opware IPKG et Installer. Retour dans l’onglet
Installé et on sélectionne le lien IP correspondant à Optware. On s’identifie admin –admin.
Dans la page actuelle, on pourra installer directement les outils les plus répandus sur les systèmes Linux.
La liste est non exhaustive donc on va faire une sélection concernant ceux qui nous intéressent en effectuant une recherche avec l’option Filter.
Figure 27 – Administration IPKG
Une fois installés, on pourra les lancer après s’être connectés en SSH sur le NAS.
Pour cela, il faut au préalable avoir activé
SSH sur l’administration dans Service réseau/Telnet SSH et y accéder avec l’adresse suivante sur un terminal ou un émulateur de terminal comme « Putty » sur Windows.
[email protected] // mot de passe : admin
20 http://www.qnap.com/fr/index.php?lang=fr&sn=489
18
[~] # iotop // Lancer Iotop dans le terminal en mode root [~] par exemple
Il est aussi possible d’installer directement depuis le terminal des outils IPKG en ligne de commandes comme dans cet exemple.
[~] # ipkg update // mise à jour des outils ipkg
[~] # ipkg list // liste des outils ipkg
[~] # ipkg install iotop // installation de Iotop par exemple
Pour terminer, le jeu de commandes disponibles
21
dans le terminal sont en relation avec le fabricant et donc plus restreintes que sur un système Linux de base. Cependant les commandes principales sont présentes.
Astuce : Une fois dans le terminal effectuer «
cd .. »
puis « ls »
pour se situer au départ dans [/] et pouvoir ainsi visualiser les différents répertoires.
3.3 Scénario n°3 : Étude et mise en œuvre d’une configuration performante en RAID
Après l’étude des différents types de RAID disponibles sur le QNAP
22
dans la partie analyse, le but dans cette partie est de mettre en œuvre une configuration qui améliore les performances
(RAID, 2 interfaces Ethernet, …).
Mise en service de disques supplémentaires
Au départ, nous avions une configuration simple avec un seul disque dur
23
. Ici, nous allons mettre en service des disques additionnels. Le but étant de mettre en place un puis deux et enfin trois disques supplémentaires sur le QNAP. A chaque fois, on effectue des tests de performance avec différents types de RAID pour réaliser une comparaison.
La mise en place de nouveaux disques est assez simple. A chaque nouveau disque introduit, le système le détecte et nous propose le type de RAID qu’il est possible d’effectuer. Notre choix peut être effectué en utilisant le panneau avant de la machine ou directement dans l’administration du NAS dans Gestion de disque/Gestion de volume, ce qui est plus simple.
Il faut cependant faire attention à l’ordre de remplissage des baies disques comme indique sur le haut de l’appareil et savoir que tout nouveau disque introduit dans le NAS pour la première
fois sera automatiquement formaté.
Figure 28 – Gestion de disques RAID QNAP
21 http://www.claus-henning.thecappells.net/QNAP-Wiki/index.php/OS/OS_Documentation
2.6 RAID (Redundant Array of Independent Disks)
3.1 Scénario n°1 : Mise en service et configuration QNAP
19
4 Tests
Hardware PC
- Carte mère ASUS
- Processeur Core2Duo 3 Ghz, 6Mb de cache, FSB de 1333Mhz
- Disque dur de 320GB en S-ATA
- RAM (2x4GB en DDR800)
Connexion au réseau du laboratoire
- Switch Extreme Networks Summit 400-48t – 48 ports x 1Gbps
- Switch Netgear 16 ports x 1 Gbps
Distributions software
- Microsoft Windows 7
- Linux Ubuntu Desktop 12.10
- QNAP TS-459 Pro II avec un Linux 2.6
4.1 Scénario N°1 : Mesures de performances SMB et NFS
Après la mise en place de la configuration SMB et NFS sur le QNAP
24
, dans cette partie on va réaliser des mesures de performance à l’aide de différents outils dans le but d’effectuer une comparaison entre ces deux protocoles.
4.1.1 Méthodologie de mesures SMB
Pour SMB, je réaliserais mes mesures essentiellement sur un système Microsoft Windows 7.
Tout d’abord, j’effectuerais une analyse des paquets échanges entre un PC sous Windows et le QNAP avec Wireshark avec 1 fichier de 5Mo, 50Mo, 500Mo et 1000Mo puis des petits fichiers ayant la même taille au total. Le but étant de déterminer la charge réseau, la charge utile et l’overhead produit par SMB.
Les fichiers utilisés pour les mesures sont créés à l’aide de la commande dans le terminal
Windows selon la syntaxe :
//fsutil file creatnew DestinationNomFichier LongueurFichier (bytes)
fsutil file createnew c:\fichier50Mo.bin 50000000
Dans un deuxième temps, je vais effectuer des mesures de performances en lecture et
écriture entre le même PC sous Windows 7 et le NAS. Dans cette optique, j’ai fait des recherches concernant les outils les plus utilisés pour ce type de tests matériel.
Description des outils de mesure SMB choisis
Mon choix s’est porté sur 5 logiciels assez complémentaires et considérés comme sérieux pour effectuer des mesures de performance sur ce type de matériel. Le but étant de pouvoir faire une comparaison entre les différentes mesures pour avoir des résultats les plus justes possible. Voici une courte présentation de ces logiciels et les résultats obtenus pour les mesures SMB
25
.
Wireshark
La méthode analyse avec Wireshark est assez simple. On démarre la capture puis on transfère le fichier. Une fois le transfert terminé, on arrête l’analyseur puis on effectue un filtre SMB sur les trames capturées. On termine par une analyse et des mesures grâce aux outils dans l’onglet statistiques de Wireshark.
3.2 Scénario n°2 : Configuration du partage SMB et NFS
25
Résultats obtenus pour les mesures
SMB
20
NAS Performance tester 1.4
26
Utilitaire gratuit permettant d’effectuer des mesures de performance de lecture et d'écriture en mégaoctets par seconde sur des systèmes de stockage réseau connecté via les partages réseau
SMB / CIFS. Le fonctionnement est assez simple, des fichiers temporaires de tailles arbitraires sont générés et copiés vers et depuis le NAS un certain nombre de fois, après quoi une moyenne lecture et d'écriture sont calculés.
Iometer
27
Iometer est un outil permettant des mesures d’un sous-système au niveau des entrées/sorties.
Développé à l'origine par la société Intel et actuellement en Open Source, il est largement utilisé dans l'industrie pour effectuer des mesures de performance sur divers équipements réseau. Il a la particularité de laisser à l’utilisateur la possibilité de créer des batteries de tests configurables sur mesure et de pouvoir les sauvegarder.
Il est compatible avec tous les systèmes d’exploitation actuels donc je l’emploierai tant pour les mesures SMB sur Windows que pour NFS sous Linux.
Intel ® NAS Performance Toolkit
28
Outil développé par Intel ayant comme fonction principale l’analyse des performances des systèmes NAS. Cet outil est capable de simuler différents types de trafic et d’enregistrer les réponses des systèmes sous forme de données exploitables graphiquement. Le résultat final permet une comparaison facile et une lecture aisée des performances des appareils testés.
Le logiciel est totalement gratuit. On peut le télécharger sur le site d’Intel, la dernière version
étant la 1.7.1. Après installation, on utilisera la partie NASPT Exerciser pour effectuer différentes captures de performances proposées par le programme. Dans un deuxième temps, on utilisera
NASPT Analyzer pour mettre en forme les données capturées.
Après l’étude du manuel d’installation et de fonctionnement du logiciel
29
, j’ai pu mettre en place des tests dont voici les principaux résultats.
CrystalDiskMark
30
CrystalDiskMark est un logiciel gratuit qui permet d’évaluer facilement les performances de différents supports de stockage. Il est souvent cité en supplément d’Intel ® NAS Performance
Toolkit lors de tests de type benchmark.
On peut réaliser des tests séquentiels en lecture et en écriture, mais aussi des tests aléatoires en lecture et en écriture par paquets de 512 KB et 4 KB. Il est aussi possible de faire varier le nombre d'itérations de ces tests ainsi que la taille des fichiers utilisés : 50, 100, 500 et 1000 Mb dans le but d’obtenir plus de précision. Pour mes mesures, j’ai pris en compte les résultats en lecture écriture séquentiels.
Robocopy
31
Robocopy ou "Robust File Copy", est une commande en CLI d’origine sur Windows.
Commande du même style que copy ou xcopy, elle est pourtant plus complète au niveau des résultats qui sont fournis. Dans notre cas voici la commande qui doit être introduite dans le terminal Windows dans le but d’effectuer une copie d’un dossier nommé « Temp » dans le dossier test du NAS.
C:\Users\albert>robocopy C:\Users\albert\Desktop\Temp \\10.2.1.200\test
26 http://www.808.dk/?code-csharp-nas-performance
27 http://www.iometer.org/
28 http://www.intel.com/products/server/storage/NAS_Perf_Toolkit.htm
29 http://software.intel.com/sites/default/files/m/2/2/8/e/3/6706-NASPT_UG.pdf
30 http://crystalmark.info/software/CrystalDiskMark/index-e.html
31 http://fr.wikipedia.org/wiki/Robocopy
21
Résultats obtenus pour les mesures SMB
SMB
Wireshark
Nombre total de packets échanges
Temps de transmission (ms)
Taille du fichier (Kbytes)
Taille fichier transmit (Kbytes)
Delta bytes SMB (Kbytes)
Delta Données envoyés / taille de fichier [%] tests Nas performance tester 1.4 5passes
Average (W) (MB/s)
Average (R) (MB/s) tests CrystalDiskMark 3.0.2 5 passes
Average (W) (MB/s) en sequenciel
Average (R) (MB/s) en seqenciel tests Robocopy
Average (W) (MB/s)
Average (W) (MB/minutes)
Average (W) Mo/s tests Iometer
Average (W) 100% Sequenciel (MB/s)
Average (W) 50% Seq 50% Rand (MB/s)
Average (W) 100% Random (MB/s)
Average (R) 100% Sequenciel (MB/s)
Average (R) 50% Seq 50% Rand (MB/s)
Average (R) 100% Random (MB/s)
1 fichier
5410
13,31
5000
5204,751
204,751
4,10
5Mo x fichiers
5516
14,19
5000
5212,519
212,519
4,25
1 fichier
53154
7,17
50000
51981,363
1981,363
3,96
50Mo x fichiers
54568
13,06
50000
52082,89
2082,89
4,17
1 fichier
533249
94,51
500000
519876,513
19876,513
3,98
500Mo x fichiers
545572
90,07
500000
520832,304
20832,304
4,17
1000Mo
1 fichier x fichiers
En dehors de la mémoire
96,13
101,47
-----
89,96
96,49
-----
106,33
5398,156
13,29
64,10
3667,978
8,0
79.85
91.61
106,83
6113,297
13,35
79,1
28,5
29,1
92,68
61,4
65,38
-----
69,04
23,67
25,56
86,9
71,5
75,62
-----
-----
59,31
3393,858
7,41
-----
81,61
89,88
70,69
87,45
98,61
5643,043
12,33
61,54
19,82
22,65
86,53
67,09
77,16
-----
-----
53,4
3055,995
6,68
-----
77,23
85,47
69.32
84,1
99,07
5669,321
12,38
49,85
2852,465
6,23
59,91
18,63
21,89
84,32
65,24
84,48
-----
-----
-----
Intel ® NAS Performance Toolkit
File copy to Nas (W) (MB/s)
File copy from Nas (R) (MB/s)
Dir copy to Nas (W) (MB/s)
Dir copy from Nas (R) (MB/s)
81,5
120
49,4
65,6
22
Avec l’aide de NASPT Exerciser du logiciel Intel ® NAS Performance Toolkit, on peut observer la charge moyenne sur le réseau pendant les phases de lecture puis d’écriture. On obtient des résultats de 120 Mb/s en lecture de 81,5 en écriture lors de transferts de fichier comme on peut l’observer sur les deux figures qui suivent. Par contre, cela chute d’environ moitié lors de transferts de dossiers contenant différentes tailles de fichiers.
Figure 29 – Moyenne charge réseau en lecture
Figure 30 – Moyenne charge réseau en écriture
4.1.2 Méthodologie de mesures NFS
Mes mesures seront effectuées essentiellement sur un système Linux Ubuntu 12.10. Je commencerais tout d’abord par analyser des acquisitions avec Wireshark durant les échanges
NFS entre différents types de fichiers ayant des tailles différentes. Les fichiers utilisés sont les mêmes que ceux qui ont été créés pour les mesures de SMB pour pouvoir avoir une comparaison la plus juste possible.
Pour finir, je procéderais à des mesures de performance en lecture écriture disque avec différents outils utilisés avec l’environnement Linux pour ce type de tests.
23
Description des outils de mesure NFS choisis
Mon choix s’est porté sur 4 outils (commandes) assez complémentaires et considérés comme sérieux. Voici une courte présentation de ces utilitaires et les résultats obtenus lors de transferts de données avec le protocole NFS
32
.
Commande rsync
Commande permettant d’effectuer des transferts de fichiers pour des synchronisations de sauvegardes, elle a l’avantage d’afficher le nombre de bytes transférés très précisément. . Ce test permet de relever la différence entre la taille du fichier, débit utile, et le débit réellement transféré sur le réseau et ainsi de savoir les bytes rajoutés par le protocole NFS pour son fonctionnement.
Voici les commandes à utiliser dans un terminal en mode root.
// Ecriture d’un fichier NFS
rsync –rvo /home/ubuntu/Bureau/Fichiers/test /home/ubuntu/Bureau/NFS
// Lecture d’un fichier NFS
rsync –rvo /home/ubuntu/Bureau/NFS /home/ubuntu/Bureau/test
-r : sauvegarde aussi tous les sous-dossiers qui se trouvent dans le dossier à sauvegarder
-v : mode verbeux, affiche des informations détaillées sur la copie en cours.
-o : mettre le propriétaire du fichier de destination identique à celui du fichier source
Iometer
Même utilitaire que celui utilisé sur Windows pour les mesures SMB, mais cette fois sur Linux.
33
.
Iozone
34
Utilitaire de benchmark permettant d’effectuer de multiples opérations de mesures en entrée/sortie sur Linux. Voici les commandes utilisées en mode root dans le terminal.
// Vider le cache à chaque fois
echo 3 > /proc/sys/vm/drop_caches
// Exemple de écriture, réécriture, lecture, relecture, lecture aléatoire, éccriture aléatoire d’un fichier de 5Mo dans le répertoire NFS
iozone –i 0 –i 1 –i 2 –s 5m /home/ubuntu/Bureau/NFS/fichierTest
Commandes time et dd
La commande time permet de mesurer le temps d’exécution d’une tâche en particulier. Dans notre cas nous allons mesurer le temps d’écriture et de lecture avec NFS à l’aide de la commande dd. Cette commande permet d’effectuer une copie d’un fichier ou dossier. Voici les commandes utilisées dans un terminal en mode root.
// Vider le cache à chaque fois
echo 3 > /proc/sys/vm/drop_caches
// Écriture d’un fichier de taille (bytes) déterminé dans partage NFS
time dd if=/dev/zero/ of=/home/ubuntu/Bureau/NFS/fichierTest bs=5000000 count=1
// Lecture d’un fichier du depuis le partage NFS
time dd if= =/home/ubuntu/Bureau/NFS/fichierTest of=/dev/null
32
Résultats obtenus pour les mesures
NFS
34
http://www.iozone.org/docs/IOzone_msword_98.pdf
24
Résultats obtenus pour les mesures NFS
NFS
Commande time et dd
Average (W) (MB/s) temps de transmission (ms)
Average (R) (MB/s) temps de reception (s) commande Rsync taille du fichier (Kbytes) taille fichier transmit (Kbytes) delta bytes NFS (Kbytes)
Delta Données envoyés / taille de fichier [%] tests Iometer
Average (W) 100% sequenciel (MB/s)
Average (W) 50% seq. 50% Random (MB/s)
Average (W) 100% Random (MB/s)
Average (R) 100% sequenciel (MB/s)
Average (R) 50% seq. 50% Random (MB/s)
Average (R) 100% Random (MB/s) iOzone
Ecriture (MB/s)
Réécriture (MB/s)
Lecture (MB/s)
Relecture (MB/s)
Ecriture aléatoire (MB/s)
Lecture aléatoire (MB/s)
96,32
37,20
39,91
113,21
71,68
76,53
89,24
93,35
108,45
114,87
32,69
59,15
1 fichier
69,20
0,072
109
0,046
5Mo x fichiers
71,50
0,070
114
0,044
1 fichier
77,50
0,645
116
0,431
50Mo x fichiers
84,40
0,592
120,2
0,457
1 fichier
72,10
6,936
115
4.34175
500Mo x fichiers
81,80
6,111
118,3
4,257
1000Mo
1 fichier
71,60
13,968
115
8,686 x fichiers
77,40
12,928
116
8,457
5000
5000,73
0,728
0,01
5000
5000,94
0,944
0,02
50000
50006,22
6,22
0,01
50000
50009,25
9,253
0,02
500000 500000 1000000 1000000
500061,15 500094,65 1000122,19 1000192,83
61,154
0,01
94,652
0,02
122,192
0,01
192,826
0,02
----
80,02
25,82
31,30
108,90
80,30
92,80
----
77,76
25,54
28,53
112,30
82,54
95,09
----
73,65
23,54
27,43
111,70
85,43
104,32
----
-----
78,35
85,83
105,98
111,83
27,44
45,68
-----
77,61
80,79
104,50
109,75
13,43
55,79
-----
70,80
68,60
108,45
112,29
9,46
39,15
-----
25
4.1.3 Méthodologie de mesure sur le NAS
Je vais effectuer directement des mesures de performance et d’échange de paquets SMB et
NFS sur le QNAP à l’aide de différents outils de mesure installés grâce à IPKG
35
et ceci en me connectant en SSH sur le NAS.
Mon objectif est de faire une comparaison entre des mesures prises à l’aide d’un client
(Windows 7 et Linux Ubuntu) et des données directement prises sur le matériel en lui-même lors de l’envoi des mêmes types de fichiers en SMB et NFS.
Description des outils utilisés
Pour les mesures sur le matériel, je suis dépendant des outils proposés dans IPKG, j’ai donc choisi 5 outils me permettant de faire des mesures.
Iotop
Même utilitaire que celui utilisé sur Ubuntu pour les mesures NFS
36
.
Ifsat
Outil de reporting et surveillance de la bande passante dans les interfaces réseau.
Commande Iftop
Permets d’afficher la bande passante ainsi que le trafic sur une interface réseau spécifiée par son nom. Le mode d’affichage est donné sous forme d’une table avec l'utilisation actuelle de la bande passante par les machines concernées.
Iostat
Permets de générer des rapports statistiques sur l'entrée et la sortie des disques et fournis des mesures de débit.
Commande hdparm
La commande hdparm permet de visualiser en ligne de commande les performances en lecture du disque se trouvant sur le NAS. La commande est lancée directement sur l’interface Linux du
QNAP en SSH. Voici le résultat obtenu pour la lecture.
~] # hdparm -tT /dev/sda
/dev/sda:
Timing cached reads: 3524 MB in 2.00 seconds = 1763.11 MB/sec
Timing buffered disk reads: 386 MB in 3.01 seconds = 128.37 MB/sec
Résultats obtenus sur le NAS
Les différents résultats obtenus avec les outils installés directement sur le Linux de QNAP ne sont pas concluants tant pour les échanges des paquets SMB que NFS. En effet, les différents instruments permettent seulement d’avoir des résultats en lecture et écriture instantanées et pas en performances maximales.
Cependant, ils permettent d’avoir une tendance qui laisse paraître comme plus performant le protocole NFS, lors des différentes observations instantanées que j’ai pu effectuer.
Pour terminer, la seule mesure obtenue qui semble concluante est celle effectuée avec la commande hdparm pour les performances en lecture sur le disque présent sur les NAS.
Des essais pour utiliser les commandes dd et time en ligne de commande pour effectuer des tests en écriture n’ont pas pu être réalisés, le système QNAP ne le permettant pas.
Cette méthode de mesure n’est donc pas, selon moi, la plus idéale pour ce type de comparaison.
36 http://guichaz.free.fr/iotop/
26
4.1.4 Comparatif performances disque de Western Digital
Western Digital nous indique des performances de 145 MB/s pour les transferts avec les disques que nous avons utilisés lors des tests de performance. Après les différentes mesures effectuées, nous sommes dans des taux de transfert de l’ordre de 128 MB/s. On peut donc conclure que les disques durs ne constituent pas un goulet d’étranglement au niveau des performances.
4.1.5 Comparatif SMB et NFS
Après avoir comparé les données mesurées pour SMB et NFS avec les 3 méthodologies, on est en mesure de faire certaines constatations.
Au niveau charge réseau, on remarque que le protocole SMB à beaucoup plus de pourcentage
en overhead que le protocole NFS. Ainsi, pour pouvoir communiquer SMB rajoute à la charge utile du fichier environ 4% de données supplémentaires pour pouvoir effectuer le transfert et ceci pour toutes les tailles de fichiers.
Pour NFS, il faut compter sur un overhead de 0,02%. Autant dire que c’est négligeable, cependant il est difficile de comprendre comment NFS procède exactement, car c’est un protocole très complexe en fonctionnement, de plus s’appuyant sur deux autres protocoles (RPC et XDR) lors des transferts.
Si nous faisons une nouvelle comparaison, mais cette fois par rapport aux performances en
écriture/lecture de différentes tailles de fichiers, on se rend compte que NFS est une fois
encore plus efficace que SMB. Le protocole NFS est en moyenne 20% plus rapide en lecture et
écriture et ceci pour toutes les tailles de fichiers confondus.
Pour terminer, on doit mettre en avant que pour obtenir des performances d’aussi bonne qualité avec NFS on doit disposer d’un réseau très performant, ce qui est le cas dans le laboratoire. En effet, NFS demande un réseau de très bonne qualité alors que SMB reste stable en performances indépendamment du réseau dans lequel ce protocole est employé.
Conclusion et avis
En conclusion, il existe un réel avantage à mettre en place des partages en NFS indépendamment de l’OS sur lequel le client est installé. Ceci aurait comme avantage d’avoir les meilleures performances possibles lors des échanges de données entre un client et le QNAP.
Cependant, pour des questions de facilité et de mise en place automatique des partages sur ce type de NAS, l’emploi de SMB reste plus que correct pour effectuer des échanges entre un client Windows et le QNAP.
4.2 Scénario N°2 : Mesures de performance RAID
Le but dans ce dernier scénario est d’effectuer des tests en lecture et écriture avec les protocoles
SMB et NFS avec différents types de RAID disponibles avec le QNAP. Ceci pour trouver la configuration la plus performante au niveau RAID. Pour cela, je vais mettre en place une batterie de tests en croisant les deux protocoles avec les différents types de RAID et le nombre de disques.
4.2.1 Méthodologie de mesures RAID
Je vais utiliser l’outil de mesure Iometer pour ce dernier scénario, car il est disponible sur
Windows et sur Linux ce qui rendra plus simple la prise de mesures.
Je vais utiliser un fichier de 5Mo que je transférais sur le NAS en séquentiel puis en random et ceci avec le protocole SMB puis avec NFS.
Pour terminer, j’effectuerais ces mesures par rapport au nombre de disque et de RAID.
27
Résultats obtenus pour les mesures RAID avec SMB et NFS
SMB
Type de RAID Statistique
RAID 0 MB/s
Sequential
READ 5Mo
151,9
2 disques 3 disques
Random Sequential Random Sequential Random Sequential Random
READ 5Mo WRITE 5Mo WRITE 5Mo READ 5Mo
READ 5Mo WRITE 5Mo WRITE 5Mo
125,8 145,3 117,8
239,4
215,9 233,6 202,4
RAID 1 MB/s
89,5 61,7 72,8 37,2
212,6 185,4 195,6 173,5
RAID 5
RAID 6
RAID 10
MB/s
MB/s
MB/s
Sequential
READ 5Mo
322,8
275
219,4
310,2
4 disques
Random
READ 5Mo
293,2
Sequential Random
WRITE 5Mo WRITE 5Mo
275,8 256
255,7
206
278,8
248,8
199,3
264,5
229,4
173,4
236,4
NFS
Type de RAID Statistique
RAID 0 MB/s
Sequential
READ 5Mo
173,6
2 disques 3 disques
Random Sequential Random Sequential Random Sequential Random
READ 5Mo WRITE 5Mo WRITE 5Mo READ 5Mo
READ 5Mo WRITE 5Mo WRITE 5Mo
141,5 168,4 133,3
279,9
245 267,1 231,7
RAID 1 MB/s
109,5 75,7 89,2 46,3
RAID 5 MB/s
247,2 216,7 229,4 195
RAID 6
RAID 10
MB/s
MB/s
Sequential
READ 5Mo
367,3
321,1
251,9
353,3
4 disques
Random
READ 5Mo
234,4
Sequential Random
WRITE 5Mo WRITE 5Mo
319 291,8
296,3
236,4
318,4
288,5
227,1
298,6
261,7
204,6
263,5
28
Comparatif sur les mesures RAID
Après avoir effectué les différents essais, on est en mesure d’affirmer que la mise en place d’une fonction RAID sur ce type de NAS permet une amélioration au niveau des performances en
écriture et lecture disque avec les protocoles SMB ou NFS.
Par rapport aux différents types de RAID possibles sur ce modèle de QNAP, le RAID 0 reste le plus performant en lecture et écriture avec une augmentation de presque 40% à partir de deux disques. Cependant, ce niveau de RAID n’implémentant pas les tolérances aux pannes, il n’est pas intéressant dans un milieu de production comme le laboratoire.
Avec le RAID 1, on augmente le niveau de sécurité. Par contre, les performances en écriture et lecture ne sont pas au rendez-vous. Ensuite, le stockage maximal possible est divisé par deux, les données étant répliquées. Ce type de RAID n’est donc pas convainquant en performances et en taille de stockage.
La mise en place d’un RAID 5 sur le QNAP offre d’excellents débits en lecture, mais moins bons en écriture, ceci avec 3 ou 4 disques, selon les mesures observées. Cela s’explique très simplement par la pénalité en écriture lors du calcul de la parité sur le disque de sauvegarde. Au niveau disponibilité et stockage, ce type de RAID pose cependant deux soucis. Le premier est que la reconstruction lors d’une panne disque ralenti le système. Et ceci, au point qu’il peut devenir inutilisable pendant cette période. Le deuxième souci est lié à l'utilisation de la technique des bits de parité qui fait qu'une partie de l'espace de stockage (n-1), où n est le nombre de disques durs dans la grappe n'est pas utilisé pour le stockage de données de production, mais consommée par les données de contrôle (bits de parités).
Malgré cela, ce type de RAID est adapté aux utilisations exigeantes et pourrait convenir dans un milieu de production de type serveur de fichiers.
Si nous analysons les données prises pour le RAID 6, nous remarquons que les performances sont moins bonnes que pour le RAID 5 d’environ 17%. De plus, 4 disques sont demandés au minimum et ceci à cause de calculs de parité supplémentaires sur les disques. En résume, moins de performances, mais plus de sécurité en cas de perte. En effet, deux disques peuvent tomber en panne simultanément.
Pour finir, le RAID 10 semble le plus adapté en vue des mesures prises. Les performances se rapprochent d’un RAID 0 en écriture et en lecture. Au niveau sécurité, il y a une redondance des données en cas de perte d’un disque. Cependant, l’inconvénient est la capacité de stockage au total qui est moindre, ainsi que l’emploi de 4 disques au minimum ce qui implique un coût matériel supplémentaire.
Au niveau des performances entre le protocole SMB et NFS dans un contexte utilisant la technologie RAID, c’est sans grande surprise que le protocole NFS se démarque au niveau performances du protocole SMB.
Conclusion et avis
La configuration d'un ensemble RAID sur un système NAS comme le QNAP doit être adaptée aux besoins en matière de performances, mais surtout de sécurité. Avant de mettre en place cette technologie, il faut donc commencer par une phase de réflexion. Quels sont les besoins de stockage au final, quelles performances minimales sont acceptables et quel niveau de sécurité par rapport aux données est tolérable. Dans le cas du laboratoire, voici mes choix.
A première vue, le RAID 10 en combinaison du protocole NFS serait le plus adapté dans le contexte du laboratoire si les besoins de stockage de données sont moyens. En effet, il offre une tolérance aux pannes de très bonne qualité et des performances en lecture et écriture très élevées, mais le stockage est diminué.
L’autre possibilité, c’est le RAID 5 avec NFS. Si on veut une plus grande capacité de stockage en gardant de bonnes performances en écriture et en lecture ainsi qu’une excellente tolérance aux pannes c’est le choix idéal. Dans les deux cas, il faut utiliser les 4 disques.
29
5 Difficultés rencontrées
Au début de mon travail, la principale difficulté rencontrée fut de trouver des outils efficaces pour effectuer des tests de type benchmark sur ce système. Le choix ne fut pas simple, car il y a un vaste choix de logiciels et de méthodes possible. Cependant, mon but fut de choisir les plus sérieux et efficaces pour effectuer des tests de performance et de comparaison entre les deux types de protocoles et de RAID demandés.
Cela a pris beaucoup de temps entre essais et problèmes divers d’installation tant sur Windows 7 et encore plus sur Linux. J’aurais préféré employer ce temps plus utilement en testant d’autres fonctionnalités du NAS.
Une fois cette étape surmontée, il ne fut pas simple au départ de mettre en place une méthodologie de mesure pour avoir des résultats les plus probants par rapport aux types de protocoles SMB et NFS et au RAID.
La prise en main sur le Linux intégré sur le QNAP ne fut pas évidente aux premiers abords.
Deux facteurs ayant posé des problèmes. Tout d’abord, la marge de manœuvre au niveau mémoire (très peut à disposition) empêchant le fonctionnement de certaines commandes lors des tests de performance disque. Enfin, le jeu de commandes restreintes par rapport à un Linux de base. C’est pourquoi je déconseille d’effectuer des configurations et des mesures par cette voie.
L’étude du protocole NFS n’étant pas triviale, ceci a rendu les recherches sur cette norme particulièrement compliquée à comprendre dans l’ensemble. En effet, on ne trouve pas de la documentation très précise et surtout concise. Ce protocole reste très obscur tant au niveau documentation que fonctionnement, cependant il est d’une efficacité redoutable au niveau transmission de données.
Pour terminer, les mesures effectuées avec Wireshark pour ce protocole ne sont pas exploitables.
En effet, cet outil de mesure ne capture pas correctement les diverses trames du protocole NFS.
Je dois avouer ne pas avoir trouvé une explication incontestable malgré des recherches.
6 Conclusion technique
Durant ce projet, j’ai pu mettre en place selon des bonnes pratiques un système de stockage de type NAS et ceci très facilement et en peu de temps. Le système de configuration et gestion
QNAP est très complet, professionnel et efficace. Différentes solutions étaient possibles, celle proposée reste la plus simple pour débuter et surtout pour compléter selon les besoins de chaque utilisateur et environnement.
Au niveau de l’étude des protocoles SMB et NFS, la mise en place sur le QNAP est très
élémentaire. La documentation fournie par le constructeur permet de configurer tout aussi simplement les clients avec les deux types de protocole pour avoir les meilleures performances possible avec le NAS.
Les divers tests et mesures effectués pour comparer les deux protocoles montrent une efficacité assez significative, au niveau transfert, de NFS et ceci pour des clients Windows comme Linux.
Cependant, il faut tenir compte de l’environnement dans lesquels ces tests ont été effectués qui pourraient avoir une influence directe sur les résultats. En effet, le réseau du laboratoire est très performant, ce qui combien au protocole NFS. Il est à envisager que dans un autre environnement de test que les résultats obtenus soient quelque peu différents, voire moins performants.
30
Pour l’étude RAID, on peut entrevoir que le choix proposé par le fabricant est assez large. Il laisse à l’utilisateur le libre arbitre de la méthode de sauvegarde de ses données. Après, l’étude de cette technologie et les essais effectués on est en mesure de tirer quelques conclusions.
Les types de RAID les plus efficaces sont le RAID 5 et le RAID 10 dans ce type de NAS. Les performances en lecture et en écriture avec en parallèle du NFS sont très significatives et performantes en comparaison avec SMB. L’emploi de 4 disques durs Western Digital
VelociRaptor 600GB Sata6 (6Gb/sec) permet des débits de très bonne qualité. Les disques durs ne sont en aucun cas un goulet d’étranglement et les performances matérielles du QNAP permettent de les exploiter à leur maximum.
Pour terminer, les résultats obtenus laissent penser que l’utilisation de ce système de stockage dans le cadre d’un environnent de production serait un atout non négligeable et ceci avec un coût matériel tout à fait raisonnable.
7 Conclusion personnelle
Le système de stockage de type NAS QNAP utilisé durant ce projet de semestre est un outil de grande qualité et efficacité. Durant tout le projet, j’ai pu constater pourquoi QNAP est un leader mondial dans ce domaine.
Grâce à ce travail de semestre, j’ai pu me familiariser avec ce type de stockage et étudier les possibilités proposées au niveau protocoles de transfert et de sécurisation de données avec le
RAID sur ce matériel. Les possibilités variées offrent un moyen de gestion performant des données pour des entreprises comme pour les particuliers et ceci à moindre coût.
Pour ma part, j’ai été étonné et séduit par la simplicité de mise en route et de prise en main du produit. Je le conseille à tous ceux qui cherchent un moyen de stockage fiable, robuste et performant au niveau transferts.
31
8 Annexes
8.1 Spécifications QNAP et disques durs
8.2 Schéma du réseau du laboratoire
32
9 Liens & Références
QNAP Turbo NAS Manuel de l’utilisateur : http://docs.qnap.com/nas/fr/index.html?home.htm
Site du constructeur QNAP : http://www.qnap.com/fr/index.php?sn=257&lang=fr
Etude DAS – NAS – SAN, Université de Marne-la-Vallée : http://www-igm.univ-mlv.fr/~dr/XPOSE2007/jdastugNAS_SAN/index.html
Travaux de Bachelor et informations sur le projet : http://www.tdeig.ch
Recherches diverses : http://www.google.ch
Site officiel du logiciel de benchmark IOzone : http://www.iozone.org
Solutions de stockage - livre blanc http://www.adaptec.com/nr/rdonlyres/f4ba0654-8762-444e-8106-
34f1d2f00190/0/fr_3994_raid_whichone_112.pdf
33
10 Table des illustrations
Figure 3 - Face avant et arrière QNAP ...................................................................................................... 7
Figure 5 – Client, serveur SMB ................................................................................................................... 8
Figure 6 – Échanges SMB ............................................................................................................................ 8
Figure 9 – Couches OSI NFS ..................................................................................................................... 9
Figure 11 – Services NFS ........................................................................................................................... 10
Figure 15 - Schéma RAID 0 ...................................................................................................................... 12
Figure 16 - Schéma RAID 1 ...................................................................................................................... 13
Figure 17 – Schéma RAID 5 ..................................................................................................................... 13
Figure 18 – Schéma RAID 6 ..................................................................................................................... 14
Figure 19 – Schéma RAID 10 ................................................................................................................... 14
Figure 20 – Schéma JBOD ........................................................................................................................ 14
Figure 23 – Panneau LCD ......................................................................................................................... 15
Figure 24 – Connexion QNAP ................................................................................................................. 16
Figure 26 – Connecter lecteur réseau ....................................................................................................... 17
Figure 27 – Administration IPKG............................................................................................................ 18
34
Public link updated
The public link to your chat has been updated.