Formats de fichier
6.5.6 Threads de traitement en parallèle
Data Services peut utiliser des threads parallèles pour lire et charger les fichiers pour maximiser la performance.
Pour spécifier des threads parallèles pour traiter les formats de fichier :
1.
Ouvrez l'éditeur de format de fichier de l'une des manières suivantes :
• Dans l'onglet Formats de la bibliothèque d'objets, faites un clic droit sur un nom de format de fichier et cliquez sur Modifier.
• Dans l'espace de travail, double-cliquez sur l'objet source ou cible.
2.
Trouvez les Threads de traitement en parallèle sous la Propriété "Général".
3.
Indiquez le nombre de threads pour lire ou charger ce format de fichier.
Par exemple, si vous avez 4 processeurs sur l'ordinateur du Job Server, saisissez le nombre 4 dans la case Threads de traitement en parallèle.
Rubriques associées
• Guide d'optimisation de la performance : utilisation de l'exécution parallèle, multithread de fichier
6.5.7 Erreur de traitement pour les sources de fichier plat
Lors de l'exécution du job, le logiciel traite les lignes des sources de fichiers plats une par une. Il est possible de configurer l'Editeur de format de fichier pour identifier les lignes dans des sources de fichiers plats qui contiennent les types d'erreur suivants :
• Erreurs de conversion des types de données : par exemple, un champ peut être défini dans l'Editeur de format de fichier comme contenant un type de donné de nombre entier, alors que les données rencontrées sont de type varchar.
• Erreurs de format de lignes : par exemple, en cas d'un fichier de largeur fixe, le logiciel identifie une ligne qui ne correspond pas à la valeur de largeur attendue.
Ces propriétés d'erreur de traitement s'appliquent uniquement aux sources de fichiers plats.
Rubriques associées
• Guide de référence : format de fichier
143 2012-11-22
Formats de fichier
144
6.5.7.1 Options d'erreur de traitement
Dans l'Editeur de format de fichier, l'ensemble de propriétés Erreur de traitement permet de choisir si le logiciel doit effectuer les actions suivantes ou non :
• vérifier l'un ou l'autre des deux types d'erreur de la source de fichier plat
• écrire la/les ligne(s) non valide(s) dans un fichier d'erreur spécifique
• arrêter le traitement du fichier source après avoir atteint un nombre spécifié de lignes non valides
• enregistrer les avertissements de conversion des types de données ou de format de lignes dans le journal des erreurs ; si c'est le cas, il est possible de limiter le nombre d'avertissements à enregistrer sans arrêter le job
6.5.7.2 A propos du fichier d'erreur
S'il est activé, le fichier d'erreur inclue les deux types d'erreurs. Le format est un fichier texte délimité par un point-virgule. Il est possible d'avoir plusieurs fichiers d'entrée sources pour le fichier d'erreur.
Le fichier reste sur le même ordinateur que le Job Server.
Les entrées dans un fichier d'erreur a la syntaxe suivante : source file path and name; row number in source file; Data Services error; column number where the error occurred; all columns from the invalid row
L'entrée suivante illustre une erreur de format de lignes : d:/acl_work/in_test.txt;2;-80104: 1-3-A column delimiter was seen after column number <3> for row number <2> in file <d:/acl_work/in_test.txt>. The total number of columns defined is <3>, so a row delimiter should be seen after column number <3>. Please check the file for bad data, or redefine the input schema for the file by editing the file format in the UI.;3;defg;234;def où 3 indique une erreur qui s'est produite après la troisième colonne, et defg;234;def sont les trois colonnes de données à partir de la ligne non valide.
Remarque :
Si vous définissez l'option Threads de traitement en parallèle du format de fichier sur n'importe quelle valeur supérieure à 0 ou sur {aucun}, le numéro de la ligne dans la valeur du fichier source est -1.
6.5.7.3 Configuration de l'Editeur de mise en forme pour la gestion des erreurs
2012-11-22
Formats de fichier
6.5.7.3.1 Capture d'erreurs de conversion des types de données ou de format de lignes
1.
Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.
2.
Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.
3.
L'Editeur de format de fichier s'ouvre.
4.
Pour capturer les erreurs de conversion des types de données, sous les propriétés Erreur de
traitement pour l'option Capturer les erreurs de conversion des données, cliquez sur Oui.
5.
Pour capturer les erreurs dans les formats de lignes, pour l'option Capturer les erreurs de format
de lignes, cliquez sur Oui.
6.
Cliquez sur Enregistrer ou Enregistrer et fermer.
6.5.7.3.2 Ecrire des lignes non valides dans un fichier d'erreur.
1.
Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.
2.
Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.
L'Editeur de format de fichier s'ouvre.
3.
Sous les propriétés Erreur de traitement, cliquez sur Oui pour l'une des propriétés Capturer les
erreurs de conversion des données ou Capturer les erreurs de format de lignes, ou pour les deux.
4.
Pour l'optionEcrire les lignes d'erreur dans le fichier, cliquez sur Oui.
Deux champs supplémentaires apparaissent : Répertoire racine du fichier d'erreur et Nom du fichier d'erreur.
5.
Saisissez un Répertoire racine du fichier d'erreur dans lequel stocker le fichier d'erreur.
Si vous saisissez un chemin d'accès à un répertoire à cet endroit, saisissez alors uniquement le nom du fichier dans la propriété Nom du fichier d'erreur.
6.
Saisissez un Nom du fichier d'erreur.
Si vous laissez le champ Répertoire racine du fichier d'erreur vide, saisissez alors un chemin complet et le nom du fichier à cet endroit.
7.
Cliquez sur Enregistrer ou Enregistrer et fermer.
Pour plus de flexibilité lors du nommage du fichier d'erreur, il est possible de saisir une variable qui est définie pour un fichier particulier avec un nom de chemin complet. Utilisez des variables pour spécifier des noms de fichier que vous ne pouvez pas saisir autrement, comme ceux qui contiennent des caractères multioctets
6.5.7.3.3 Limiter le nombre de lignes non valides traitées avant l'arrêt du job
1.
Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.
2.
Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.
L'Editeur de format de fichier s'ouvre.
145 2012-11-22
Formats de fichier
3.
Sous les propriétés Erreur de traitement, cliquez sur Oui pour l'une des propriétés Capturer les
erreurs de conversion des données ou Capturer les erreurs de format de lignes, ou pour les deux.
4.
Pour l'option Nombre maximum d'erreurs avant l'arrêt du job, saisissez un nombre.
Remarque :
Cette propriété était anciennement connue comme la Limite des lignes incorrectes.
5.
Cliquez sur Enregistrer ou Enregistrer et fermer.
6.5.7.3.4 Enregistrer les avertissements de conversion des types de données dans le journal des erreurs
1.
Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.
2.
Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.
L'Editeur de format de fichier s'ouvre.
3.
Sous les propriétés Erreur de traitement, pour Journaliser les avertissements de conversion
des données, cliquez sur Oui.
4.
Cliquez sur Enregistrer ou Enregistrer et fermer.
6.5.7.3.5 Enregistrer des avertissements de format de lignes dans le journal des erreurs
1.
Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.
2.
Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.
L'Editeur de format de fichier s'ouvre.
3.
Sous les propriétés Erreur de traitement, pour Journaliser les avertissements de format de
lignes, cliquez sur Oui.
4.
Cliquez sur Enregistrer ou Enregistrer et fermer.
6.5.7.3.6 Limiter le nombre de messages d'avertissement à enregistrer
Si vous choisissez d'enregistrer les avertissements des types de données ou de format de lignes, vous pouvez limiter le nombre total d'avertissements à enregistrer sans interférer avec l'exécution du job.
1.
Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.
2.
Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.
L'Editeur de format de fichier s'ouvre.
3.
Sous les propriétés Erreur de traitement, pour Journaliser les avertissements de format de
lignes ou Journaliser les avertissements de conversion des données (ou les deux), cliquez sur
Oui.
4.
Pour l'option Nombre maximum d'avertissements dans le journal, saisissez un nombre.
5.
Cliquez sur Enregistrer ou Enregistrer et fermer.
146 2012-11-22
