SAP BusinessObjects Data Services 4.1 Support Package 1 Mode d'emploi

•

Mécanismes de récupération

3.11 Utilisation des objets

Cette section traite des tâches courantes que vous réalisez lorsque vous utilisez des objets dans

Designer. Ces tâches font appel à plusieurs parties de Designer : la barre d'outils, la palette d'outils, l'espace de travail et la bibliothèque d'objets locale.

3.11.1 Création d'objets réutilisables

Vous pouvez créer des objets réutilisables à partir de la bibliothèque d'objets ou à l'aide de la palette d'outils. Une fois que vous avez créé un objet, vous pouvez l'utiliser en modifiant sa définition et en ajoutant des appels à d'autres objets.

48 2012-11-22

Interface utilisateur du Designer

3.11.1.1 Pour créer un objet réutilisable (dans la bibliothèque d'objets)

Pour ouvrir la bibliothèque d'objets, sélectionnez Outils > Bibliothèque d'objets.

Cliquez sur l'onglet correspondant au type d'objet.

Cliquez avec le bouton droit n'importe où, hormis sur les objets existants, et sélectionnez Nouveau.

Cliquez avec le bouton droit sur le nouvel objet et sélectionnez Propriétés. Saisissez des options comme le nom et la description pour définir l'objet.

3.11.1.2 Pour créer un objet réutilisable (à l'aide de la palette d'outils)

Dans la palette d'outils, cliquez sur l'icône de l'objet que vous voulez créer.

Déplacez le curseur vers l'espace de travail et cliquez à nouveau.

L'icône de l'objet apparaît à l'endroit où vous avez cliqué dans l'espace de travail.

3.11.1.3 Pour ouvrir la définition d'un objet

Pour ouvrir la définition d'un objet, vous pouvez procéder de l'une ou l'autre des façons suivantes :

Dans l'espace de travail, cliquez sur le nom de l'objet. Un espace de travail vide s'affiche pour vous permettre de définir l'objet.

Dans la zone de projet, cliquez sur l'objet.

Vous définissez un objet à l'aide d'autres objets. Si vous cliquez sur le nom d'un flux de données batch, par exemple, un nouvel espace de travail apparaît pour vous permettre d'assembler les sources, les cibles et les transformations qui constituent le flux réel.

3.11.1.4 Pour ajouter un objet existant (créer un appel pour un objet existant)

Pour ouvrir la bibliothèque d'objets, sélectionnez Outils > Bibliothèque d'objets.

Cliquez sur l'onglet correspondant à un type d'objet.

Sélectionnez un objet.

Faites glisser l'objet vers l'espace de travail.

2012-11-22

Interface utilisateur du Designer

Remarque :

Les objets déposés dans l'espace de travail doivent obéir à la logique de la hiérarchie. Vous pouvez, par exemple, déposer un flux de données dans un job, mais vous ne pouvez pas déposer un workflow dans un flux de données.

Rubriques associées

•

Hiérarchie d'objets

3.11.2 Modification des noms des objets

Vous pouvez modifier le nom d'un objet à partir de l'espace de travail ou de la bibliothèque d'objets.

Vous pouvez également créer une copie d'un objet existant.

Remarque :

Il n'est pas possible de modifier le nom des objets intégrés.

Pour modifier le nom d'un objet dans l'espace de travail, procédez comme suit : a.

Cliquez pour sélectionner l'objet dans l'espace de travail.

Cliquez avec le bouton droit et sélectionnez Renommer.

Modifiez le texte affiché dans la zone de texte de nom.

Pour enregistrer le nouveau nom, cliquez en dehors de la zone de texte ou appuyez sur Entrée.

Pour modifier le nom d'un objet dans la bibliothèque d'objets, procédez comme suit : a.

Sélectionnez l'objet dans la bibliothèque d'objets.

Cliquez avec le bouton droit et sélectionnez Propriétés.

Modifiez le texte dans la première zone de texte.

Cliquez sur OK.

Pour copier un objet, procédez comme suit : a.

Sélectionnez l'objet dans la bibliothèque d'objets.

Cliquez avec le bouton droit et sélectionnez Répliquer.

Le progiciel effectue une copie de l'objet supérieur (mais pas des objets qu'il appelle) et lui donne un nouveau nom que vous pouvez modifier.

3.11.3 Affichage et modification des propriétés des objets

Vous pouvez afficher (et, dans certains cas, modifier) les propriétés d'un objet via sa page de propriétés.

50 2012-11-22

Interface utilisateur du Designer

3.11.3.1 Pour afficher un objet, le modifier et lui ajouter des propriétés

Sélectionnez l'objet dans la bibliothèque d'objets.

Cliquez avec le bouton droit et sélectionnez Propriétés. Vous accédez à l'onglet Général de la fenêtre Propriétés.

Renseignez les feuilles de propriétés. Les feuilles de propriétés diffèrent selon le type d'objet mais les onglets Général, Attributs et Attributs de classe, décrits dans les sections qui suivent, sont les plus communs.

Lorsque vous avez terminé, cliquez sur OK pour enregistrer les modifications apportées aux propriétés de l'objet et fermer la fenêtre.

Vous pouvez également cliquer sur Appliquer pour enregistrer les modifications sans fermer la fenêtre.

3.11.3.2 Onglet Général

L'onglet Général comporte deux propriétés d'objet principales : le nom et la description.

L'onglet Général permet de modifier le nom de l'objet ainsi que de saisir ou modifier la description correspondante. Vous pouvez ajouter des descriptions d'objets à des objets à usage unique ou des objets réutilisables. Vous pouvez activer et désactiver la description d'un objet ; pour cela, cliquez dessus avec le bouton droit dans l'espace de travail et sélectionnez ou désélectionnez Afficher les

descriptions activées.

En fonction de l'objet, d'autres propriétés peuvent être affichées dans l'onglet Général. En voici des exemples :

•

Exécuter une seule fois

•

Restaurer en tant qu'unité

•

Degré de parallélisme

•

Utiliser les liens de base de données

•

Type de cache

Rubriques associées

• Guide d'optimisation de la performance : Using Caches

•

Banques de données liées

• Guide d'optimisation de la performance : Using Parallel Execution

•

•

Création et définition des flux de données

2012-11-22

Interface utilisateur du Designer

3.11.3.3 Onglet Attributs

L'onglet Attributs permet d'affecter des valeurs aux attributs de l'objet en cours.

Pour affecter une valeur à un attribut, sélectionnez l'attribut et saisissez la valeur dans la zone Valeur en bas de la fenêtre.

Certaines valeurs d'attribut sont définies par le progiciel et ne peuvent pas être modifiées. Lorsque vous sélectionnez un attribut qui possède une valeur système, le champ Valeur n'est pas accessible.

3.11.3.4 Onglet Attributs de classe

L'onglet Attributs de classe affiche les attributs disponibles pour le type d'objet sélectionné. Tous les objets de flux de données possèdent, par exemple, les mêmes attributs de classe.

Pour créer un attribut pour une classe d'objets, cliquez avec le bouton droit dans la liste d'attributs et sélectionnez Ajouter. Le nouvel attribut est maintenant disponible pour l'ensemble des objets de la classe.

Pour supprimer un attribut, sélectionnez-le, cliquez avec le bouton droit et sélectionnez Supprimer.

Vous ne pouvez pas supprimer les attributs de classe prédéfinis par Data Services.

3.11.4 Création de descriptions

Les descriptions permettent de donner des informations sur les objets. Elles sont visibles dans les diagrammes de l'espace de travail. De ce fait, les descriptions sont un moyen pratique d'ajouter des commentaires aux objets dans l'espace de travail.

Une description est associée à un objet spécifique. Lorsque vous importez ou exportez cet objet du référentiel (lors de la migration entre environnements de développement, de test et de production, par exemple), vous importez ou exportez également sa description.

Designer détermine quand afficher les descriptions des objets en fonction d'un paramètre au niveau système et d'un paramètre au niveau objet. Les deux paramètres doivent être activés pour que la description d'un objet particulier s'affiche.

Le paramètre au niveau système est spécifique à votre configuration. Il est désactivé par défaut. Pour l'activer, sélectionnez AffichageDescriptions activées ou cliquez sur le bouton Afficher les

descriptions activées dans la barre d'outils.

52 2012-11-22

Interface utilisateur du Designer

Le paramètre au niveau objet est enregistré avec l'objet dans le référentiel. Il est également désactivé par défaut, sauf si vous ajoutez ou modifiez une description à partir de l'espace de travail. Pour activer le paramètre au niveau objet, cliquez avec le bouton droit sur l'objet et sélectionnez Activer la

description de l'objet.

Une ellipse après le texte d'une description indique la présence de texte supplémentaire. Pour voir tout le texte, redimensionnez la description par cliquer-déplacer. Lorsque vous déplacez un objet, sa description est elle aussi déplacée. Pour connaître l'objet associé à une description donnée, affichez le nom de l'objet dans la barre d'état.

3.11.4.1 Pour ajouter une description à un objet

Dans la zone de projet ou la bibliothèque d'objets, cliquez avec le bouton droit sur un objet et sélectionnez Propriétés.

Saisissez vos commentaires dans la zone de texte Description.

Cliquez sur OK.

La description de l'objet s'affiche dans la bibliothèque d'objets.

3.11.4.2 Pour afficher une description dans l'espace de travail

Dans la zone de projet, sélectionnez un objet existant (tel qu'un job) contenant un objet auquel vous avez ajouté une description (tel qu'un workflow).

Dans le menu Affichage, sélectionnez Descriptions activées.

Vous pouvez également cliquer sur le bouton Afficher les descriptions activées dans la barre d'outils.

Cliquez avec le bouton droit sur le workflow et sélectionnez Activer la description d'objets.

La description s'affiche dans l'espace de travail au-dessous de l'objet.

3.11.4.3 Pour ajouter une description à un objet depuis l'espace de travail

Dans le menu Affichage, sélectionnez Descriptions activées.

Dans l'espace de travail, cliquez avec le bouton droit sur un objet et sélectionnez Propriétés.

Dans la fenêtre Propriétés, renseignez la section Description.

Cliquez sur OK.

2012-11-22

Interface utilisateur du Designer

La description s'affiche automatiquement dans l'espace de travail (et l'option Activer la description d'objets est sélectionnée pour l'objet).

3.11.4.4 Pour masquer la description d'un objet particulier

Dans le diagramme de l'espace de travail, cliquez avec le bouton droit sur un objet.

Vous pouvez également sélectionner plusieurs objets en procédant comme suit :

• Appuyez sur la touche Ctrl et maintenez-la enfoncée tout en sélectionnant des objets dans le diagramme de l'espace de travail, puis cliquez avec le bouton droit sur l'un des objets sélectionnés.

• Faites glisser une zone de sélection autour de tous les objets à sélectionner, puis cliquez avec le bouton droit sur l'un des objets sélectionnés.

Dans le menu contextuel, désélectionnez Activer la description d'objets.

La description de l'objet sélectionné est masquée même si l'option Afficher les descriptions activées est sélectionnée car le basculement au niveau objet est prioritaire sur le basculement au niveau système.

3.11.4.5 Pour modifier les descriptions d'objets

Dans l'espace de travail, double-cliquez sur la description d'un objet.

Saisissez, coupez, copiez ou collez du texte dans la description.

Dans le menu Projet, sélectionnez Enregistrer.

Vous pouvez également cliquer avec le bouton droit sur un objet et sélectionner Propriétés pour ouvrir la fenêtre Propriétés de l'objet et créer ou modifier sa description.

Remarque :

Si vous tentez de modifier la description d'un objet réutilisable, le progiciel vous informe que la description sera mise à jour dans chaque occurrence de l'objet au niveau de tous les jobs. Vous pouvez cocher la case Ne plus afficher ce message pour éviter cette alerte. Néanmoins, une fois désactivée, l'alerte ne peut être réactivée qu'avec l'intervention du support technique.

3.11.5 Création d'annotations

54 2012-11-22

Interface utilisateur du Designer

Les annotations décrivent un flux, une partie de flux ou un diagramme dans un espace de travail. Une annotation est associée au job, workflow ou flux de données dans lequel elle apparaît. Lorsque vous importez ou exportez ce job, workflow ou flux de données, les annotations associées sont également transférées.

3.11.5.1 Pour annoter un diagramme d'espace de travail

Ouvrez le diagramme d'espace de travail que vous voulez annoter.

Les annotations permettent de décrire un espace de travail tel qu'un job, un workflow, un flux de données, un bloc Catch, une structure conditionnelle ou une boucle While.

Dans la palette d'outils, cliquez sur l'icône d'annotation.

Cliquez à l'endroit où vous voulez placer l'annotation dans l'espace de travail.

Une annotation s'affiche dans le diagramme.

Vous pouvez ajouter, modifier et supprimer du texte directement dans l'annotation. Il est également possible de redimensionner l'annotation et de la déplacer par cliquer-glisser. Vous pouvez ajouter un nombre illimité d'annotations à un diagramme.

3.11.5.2 Pour supprimer une annotation

Cliquez avec le bouton droit sur une annotation.

Sélectionnez Supprimer.

Vous pouvez également sélectionner une annotation et appuyer sur Supprimer.

3.11.6 Copie d'objets

Vous pouvez couper ou copier des objets, puis les coller à l'emplacement souhaité dans l'espace de travail. Il est possible de copier et coller plusieurs objets dans un même ou dans d'autres flux de données, workflows ou jobs. Par ailleurs, vous pouvez couper ou copier des appels de flux de données et de workflows, puis les coller dans des objets valides au niveau de l'espace de travail.

Les références à des variables globales, à des variables locales, à des paramètres et à des paramètres de substitution sont copiées. Néanmoins, vous devez définir chacun de ces éléments dans son nouveau contexte.

55 2012-11-22

Interface utilisateur du Designer

Remarque :

L'opération de collage duplique les objets sélectionnés dans un flux mais continue à appeler les objets d'origine. Autrement dit, l'opération de collage utilise l'objet d'origine dans un autre emplacement.

L'opération de réplication crée un nouvel objet dans la bibliothèque d'objets.

Pour couper ou copier des objets puis les coller, procédez comme suit :

Dans l'espace de travail, sélectionnez les objets à couper ou à copier.

Pour sélectionner plusieurs objets, utilisez les raccourcis clavier Ctrl-clic, Maj-clic ou Ctrl+A

Cliquez avec le bouton droit et sélectionnez Couper ou Copier.

Cliquez dans le même flux ou sélectionnez-en un autre. Cliquez avec le bouton droit et sélectionnez

Coller.

Si cela s'avère nécessaire pour éviter un conflit d'appellation, un nouveau nom est généré automatiquement.

Remarque :

Si vous cliquez avec le bouton droit et sélectionnez Coller, les objets sont collés à l'emplacement sélectionné.

Les objets sont collés dans l'angle supérieur gauche de l'espace de travail si vous utilisez l'une des méthodes suivantes :

• Clic sur l'icône Coller.

• Clic sur Edition > Coller.

• Utilisation du raccourci clavier Ctrl+V.

Si vous utilisez une méthode qui colle les objets dans l'angle supérieur gauche, les objets collés par la suite sont placés les uns au-dessus des autres.

3.11.7 Enregistrement et suppression des objets

Enregistrer un objet dans le logiciel équivaut à sauvegarder la langue qui décrit cet objet dans le référentiel. Vous pouvez enregistrer les objets réutilisables ; les objets à usage unique sont seulement enregistrés dans le cadre de la définition d'objet réutilisable qui les appelle.

Il est possible d'enregistrer les modifications de l'objet réutilisable actif dans l'espace de travail. Lorsque vous enregistrez l'objet, ses propriétés, les définitions des objets à usage unique qu'il appelle et les appels éventuels d'autres objets réutilisables sont sauvegardés dans le référentiel. Seul l'appel est enregistré, et non le contenu des objets réutilisables pris en compte.

Le progiciel sauvegarde la description même si l'objet n'est pas complet ou comporte une erreur

(validation non effectuée).

56 2012-11-22

Interface utilisateur du Designer

3.11.7.1 Pour enregistrer les modifications apportées à un objet réutilisable

Ouvrez le projet dans lequel figure votre objet.

Sélectionnez Projet > Enregistrer.

Cette commande enregistre tous les objets ouverts dans l'espace de travail.

Répétez ces étapes pour les autres objets à enregistrer.

3.11.7.2 Pour enregistrer tous les objets modifiés dans le référentiel

Sélectionnez Projet > Tout enregistrer.

Le progiciel liste les objets réutilisables qui ont été modifiés depuis la dernière opération d'enregistrement.

(facultatif) Désélectionnez tout objet listé pour éviter de l'enregistrer.

Cliquez sur OK.

Remarque :

Le logiciel vous invite à enregistrer tous les objets modifiés lorsque vous exécutez un job et que vous quittez Designer. L'enregistrement d'un objet réutilisable entraîne l'enregistrement des objets

à usage unique qu'il contient le cas échéant.

3.11.7.3 Pour supprimer une définition d'objet du référentiel

Dans la bibliothèque d'objets, sélectionnez l'objet.

Cliquez avec le bouton droit et sélectionnez Supprimer.

• Si vous tentez de supprimer un objet en cours d'utilisation, le progiciel émet un message d'avertissement et vous propose d'utiliser la fonction Afficher les cas d'emploi.

• Si vous cliquez sur Oui, tous les appels de l'objet sont marqués par une icône rouge de suppression pour indiquer que les appels sont non valides. Pour produire un job exécutable, vous devez supprimer ou remplacer ces appels.

57 2012-11-22

Interface utilisateur du Designer

Remarque :

Les objets intégrés comme les transformations ne peuvent pas être supprimés de la bibliothèque d'objets.

Rubriques associées

•

Utilisation de Afficher les cas d'emploi

3.11.7.4 Pour supprimer un appel d'objet

Ouvrez l'objet qui contient l'appel à supprimer.

Cliquez avec le bouton droit sur l'appel d'objet et sélectionnez Supprimer.

Si vous supprimez un objet réutilisable de l'espace de travail ou de la zone de projet, seul l'appel de l'objet est supprimé. La définition d'objet figure toujours dans la bibliothèque d'objets.

3.11.8 Recherche d'objets

Dans la bibliothèque d'objets, vous pouvez rechercher des objets définis dans le référentiel ou des objets disponibles par le biais d'une banque de données.

3.11.8.1 Pour rechercher un objet

Cliquez avec le bouton droit dans la bibliothèque d'objets et sélectionnez Rechercher.

La fenêtre de recherche s'affiche.

Saisissez les valeurs pertinentes pour la recherche.

Les options disponibles dans la fenêtre de recherche sont décrites en détail après cette procédure.

Cliquez sur Rechercher.

Les objets correspondant à vos entrées sont affichés dans la fenêtre. Le menu contextuel disponible dans la fenêtre de résultats de la recherche permet :

• d'ouvrir un élément,

• d'afficher les attributs (Propriétés),

• d'importer des tables externes en tant que métadonnées du référentiel.

Vous pouvez également faire glisser des objets depuis la fenêtre de résultats de la recherche et les déposer à l'emplacement de votre choix.

2012-11-22

Interface utilisateur du Designer

Option

La fenêtre de recherche propose les options suivantes :

Description

Rechercher dans

Emplacement où effectuer la recherche.

Sélectionnez le référentiel ou une banque de données spécifique.

Lorsque vous désignez une banque de données, vous pouvez également choisir d'effectuer la recherche dans les données importées (Données internes) ou dans la banque de données complète (Données externes).

Type d'objet

Nom

Description

Type d'objet à rechercher.

Dans le cas d'une recherche dans le référentiel, vous disposez des valeurs

Tables, Fichiers, Flux de données, Workflows, Jobs, Hiérarchies, IDocs et Domaines.

Dans le cas d'une recherche dans une banque de données ou une application, effectuez une sélection parmi les types d'objet disponibles par l'intermédiaire de la banque de données.

Nom de l'objet à rechercher.

Si la recherche porte sur le référentiel, le nom n'est pas sensible à la casse. Si la recherche porte sur une banque de données et que le nom est sensible à la casse dans cette banque de données, saisissez le nom tel qu'il figure dans la banque de données ou l'application et mettez-le entre guillemets doubles (") afin de conserver la casse.

Vous pouvez indiquer si l'information à rechercher contient le nom spécifié ou

est égale au nom spécifié à l'aide de la liste déroulante en regard du champ

Nom.

Description de l'objet à rechercher.

Les objets importés dans le référentiel ont une définition provenant de leur source. Par défaut, les objets que vous créez dans Designer ne possèdent aucune description sauf si vous en ajoutez une.

La recherche renvoie les objets dont l'attribut de description contient la valeur saisie.

La fenêtre de recherche comporte également un bouton Avancé qui permet de rechercher les objets d'après leurs valeurs d'attribut. Vous pouvez uniquement effectuer une recherche par valeurs d'attribut dans le référentiel.

Le bouton Avancé permet d'accéder aux options suivantes :

2012-11-22

Interface utilisateur du Designer

Option

Attribut

Valeur

Correspondance

Description

Attribut de l'objet dans lequel effectuer la recherche.

Valeur de l'attribut à rechercher.

Type de recherche exécuté.

Pour rechercher un attribut contenant la valeur indiquée, sélectionnez Co-

ntient. Pour rechercher un attribut contenant uniquement la valeur indiquée, sélectionnez Egal à.

3.12 Options générales et de l'environnement

Pour ouvrir la fenêtre Options, sélectionnez Outils > Options. La fenêtre affiche les groupes d'options relatifs à Designer aux données et aux options du Job Server.

Pour développer les options, cliquez sur le signe plus. Lorsque vous sélectionnez une option ou un groupe d'options, une description s'affiche sur la droite.

3.12.1 Designer : environnement

Tableau 3-9 : Administrateur par défaut pour le reporting des métadonnées

Option Description

Administrateur

Sélectionnez l'Administrateur utilisé par l'outil de reporting des métadonnées. Un Administrateur est défini par un nom d'hôte et un port.

60 2012-11-22

Interface utilisateur du Designer

Tableau 3-10 : Job Server par défaut

Option

Actuel

Nouveau

Description

Affiche la valeur actuelle du Job Server par défaut.

Permet d'indiquer une nouvelle valeur pour le Job

Server par défaut à partir d'une liste déroulante des Job Servers associés au référentiel. Les modifications sont appliquées immédiatement.

Si un référentiel est associé à plusieurs Job Servers, un seul Job Server doit être défini comme Job

Server par défaut à utiliser lors de la connexion.

Remarque :

Les options spécifiques au job et les noms de chemin indiqués dans Designer se rapportent au Job

Server par défaut actuel. Si vous modifiez le Job Server par défaut, modifiez ces options et noms de chemin.

Tableau 3-11 : Ports de communication Designer

Option Description

Autoriser Designer à définir le port de communication du job server

Si la case est cochée, Designer définit automatiquement un port disponible pour la réception des messages du Job Server actuel. Elle est cochée par défaut. Décochez-la pour indiquer un port d'écoute ou une plage de ports.

Saisissez les numéros de port dans les zones de texte correspondantes. Pour indiquer un port d'écoute spécifique, saisissez le même numéro de port dans les deux zones de texte de port De et A. Les modifications seront seulement appliquées au redémarrage du progiciel.

Uniquement activé lorsque vous désélectionnez le paramètre précédent. Permet d'indiquer une plage de ports dans laquelle Designer peut choisir un port d'écoute.

Vous pouvez décider de restreindre le port utilisé pour la communication entre Designer et le Job Server lorsque les deux composants sont séparés par un parefeu.

61 2012-11-22

Interface utilisateur du Designer

Option

Débogueur interactif

Groupe de serveurs pour le référentiel local

Description

Permet de définir un port de communication avec un

Job Server pour Designer, à utiliser lors de l'exécution en mode débogage.

Si le référentiel local auquel vous vous êtes connecté

à l'ouverture de Designer est associé à un groupe de serveurs, le nom du groupe de serveurs apparaît.

Rubriques associées

•

Modification du port du débogueur interactif

3.12.2 Designer : généralités

Option Description

Afficher la taille de l'échantillonnage des données (lignes)

Contrôle la taille de l'échantillon utilisé pour afficher les données dans les sources et cibles des flux de données en cours dans l'espace de travail.

Pour visualiser les données, cliquez sur l'icône de loupe dans les objets sources et cibles.

Nombre de caractères dans le nom de l'icône d'espace de travail

Contrôle la longueur des noms d'objets affichés dans l'espace de travail.

Les noms d'objets peuvent dépasser cette valeur mais Designer affiche seulement le nombre saisi ici. La valeur par défaut est de 17 caractères.

Nombre maximal d'éléments de l'arborescence de schéma à développer automatiquement

Nombre d'éléments affichés dans l'arborescence de schéma. Les noms d'éléments ne doivent pas dépasser cette valeur. Saisissez une valeur pour le schéma d'entrée et le schéma de sortie. La valeur par défaut est de 100.

Paramètres par défaut aux variables portant le même nom

Lorsque vous déclarez une variable au niveau du workflow, le progiciel transmet automatiquement la valeur sous forme de paramètre du même nom à un flux de données appelé par un workflow.

Importer les domaines automatiquement

Cochez cette case pour importer automatiquement les domaines lors de l'importation d'une table faisant référence à un domaine.

62 2012-11-22

Interface utilisateur du Designer

Option Description

Procéder à une validation complète avant l'exécution du job

Cette option permet d'exécuter une validation complète du job préalablement à son exécution. Elle est désactivée par défaut. Si vous conservez ce paramétrage par défaut, vous devez valider la conception manuellement avant l'exécution du job.

Ouvrir le moniteur à l'exécution du job

Détermine le comportement de Designer lors de l'exécution d'un job. Si cette option est activée, Designer bascule de l'espace de travail à la vue du moniteur lors de l'exécution d'un job. Dans le cas contraire, l'espace de travail reste tel quel. L'option est activée par défaut.

Calculer automatiquement les mappages de colonnes

Calcule les informations relatives aux tables et colonnes cible et aux sources utilisées pour les compléter. Le progiciel utilise ces informations pour les rapports de métadonnées (sur l'impact et le lignage des données, par exemple), l'auto-documentation ou les rapports personnalisés. Les informations sur le mappage des colonnes sont sauvegardées dans la table AL_COLMAP (vue ALVW_MAPPING) une fois que vous avez enregistré un flux de données, importé des objets dans un référentiel ou exporté des objets depuis un référentiel. Si l'option est sélectionnée, veillez

à valider le job complet avant de l'enregistrer car le calcul du mappage des colonnes est sensible aux erreurs et les flux de données présentant des problèmes de validation seront ignorés.

Afficher la boîte de dialogue une fois le job terminé

Permet d'indiquer si vous voulez obtenir une alerte ou simplement lire les messages de suivi.

Afficher les onglets dans l'espace de travail

Permet d'indiquer si vous voulez naviguer à l'aide des onglets en bas de l'espace de travail.

Exclure les éléments non exécutables de l'exportation vers le document

XML

Exclut les éléments non traités lors de l'exécution du job des documents

XML exportés. Par exemple, les coordonnées d'affichage de l'espace de travail de Designer ne seraient pas exportées.

Rubriques associées

•

Utilisation de l'affichage des données

• Guide Management Console Guide : onglet Actualiser les données d'utilisation

3.12.3 Designer : éléments graphiques

63 2012-11-22

Interface utilisateur du Designer

Sélectionnez et prévisualisez les éléments de style afin de personnaliser vos espaces de travail. Ces options permettent d'établir une distinction claire entre l'espace de travail de conception de jobs/workflows et l'espace de travail de conception de flux de données.

Option

Type de flux de l'espace de travail

Description

Passez de l'un à l'autre des types de flux d'espace de travail (Job/Workflow et Flux de données) pour visualiser les paramètres par défaut. Modifiez les paramètres de chaque type à l'aide des options restantes.

Type de ligne

Choisissez un style pour les lignes de connecteurs d'objets.

Epaisseur de ligne

Définit l'épaisseur de ligne du connecteur.

Style d'arrière-plan

Choisissez un motif d'arrière-plan simple ou en mosaïque pour le type de flux sélectionné.

Jeu de couleurs

Définit la couleur d'arrière-plan en bleu, gris ou blanc.

Utiliser le filigrane de navigation

Ajoute un filigrane à l'arrière-plan du type de flux sélectionné. Cette option est uniquement disponible avec un style d'arrière-plan simple.

3.12.4 Designer : connexions au référentiel central

Option Description

Connexions au référentiel central

Affiche les connexions au référentiel central et le référentiel central actif.

Pour activer un référentiel central, cliquez avec le bouton droit sur l'une des connexions de la liste et sélectionnez Activer.

Réactiver automatiquement

Indiquez si vous voulez que le référentiel central actif soit réactivé chaque fois que vous vous connectez au progiciel à l'aide du référentiel local en cours.

3.12.5 Données : généralités

64 2012-11-22

Interface utilisateur du Designer

Option

Changement de siècle

Description

Indique la façon dont le progiciel interprète le siècle pour les années à deux chiffres. Les années à deux chiffres supérieures ou égales à cette valeur sont interprétées comme 19##. Les années à deux chiffres inférieures à cette valeur sont interprétées comme 20##. La valeur par défaut est de 15.

Si, par exemple, vous donnez la valeur 15 à l'option Changement de

siècle :

Année à deux chiffres

Interprétation

1999

1916

1915

2014

Convertir les valeurs vides en valeurs nulles pour le Bulk Loader

Oracle

Convertit les valeurs vides en valeurs nulles lors du chargement de données via l'utilitaire Bulk Loader Oracle :

• si la colonne ne fait pas partie de la clé primaire

• et si la colonne accepte la valeur Null.

3.12.6 Job Server : environnement

Option Description

Nombre maximal de traitements de moteur

Définit le nombre limite de traitements parallèles du moteur pour le

Job Server.

3.12.7 Job Server : généralités

Cette fenêtre permet de réinitialiser les options du Job Server ou de faire appel aux conseils du support technique SAP.

65 2012-11-22

Interface utilisateur du Designer

Rubriques associées

•

Modification des options du Job Server

66 2012-11-22

Projets et Jobs

Les objets Projet et Job représentent les deux niveaux supérieurs d'organisation pour les flux d'application que vous créez à l'aide de Designer.

4.1 Projets

Un projet désigne un objet réutilisable qui vous permet de regrouper des jobs. Un projet désigne le niveau le plus élevé d'organisation proposé par le logiciel. L'ouverture d'un projet permet d'accéder facilement à un groupe d'objets dans l'interface utilisateur.

Vous pouvez utiliser un projet pour regrouper des jobs ayant des planifications dépendantes les unes des autres ou pour lesquelles vous souhaitez effectuer un suivi commun..

Les projets ont des caractéristiques communes :

• Les projets sont listés dans la bibliothèque d'objets.

• Vous pouvez ouvrir un seul projet à la fois.

• Les projets ne peuvent pas être partagés entre plusieurs utilisateurs.

4.1.1 Objets constituant un projet

Dans un projet, les objets s'affichent hiérarchiquement dans la zone de projet. Si un signe plus (+) s'affiche en regard d'un objet, développez-le pour afficher les objets de niveau inférieur figurant dans l'objet. Le logiciel indique le contenu comme noms dans la hiérarchie de zone de projet et des icônes dans l'espace de travail.

Dans l'exemple suivant, le job Job_KeyGen contient deux flux de données et le flux de données

DF_EmpMap contient plusieurs objets.

67 2012-11-22

Projets et Jobs

Chaque élément sélectionné dans la zone de projet s'affiche également dans l'espace de travail :

4.1.2 Création d'un projet

Sélectionnez Projet > Nouveau > Projet.

Entrez le nom de votre nouveau projet.

Le nom peut comporter des caractères alphanumériques et des traits de soulignement (_). Il ne peut pas contenir d'espaces.

Cliquez sur Créer.

Le nouveau projet s'affiche dans la zone de projet. Si vous ajoutez des jobs et d'autres objets de niveau inférieur, ils apparaissent également dans la zone de projet.

4.1.3 Ouverture de projets existants

68 2012-11-22

Projets et Jobs

4.1.3.1 Pour ouvrir un projet existant

Sélectionnez Projet > Ouvrir.

Sélectionnez le nom d'un projet existant dans la liste.

Cliquez sur Ouvrir.

Remarque :

Si un autre projet a déjà été ouvert, le logiciel le ferme et ouvre le nouveau.

4.1.4 Enregistrement de projets

4.1.4.1 Pour enregistrer toutes les modifications apportées à un projet

Sélectionnez Projet > Tout enregistrer.

Le logiciel liste les jobs, les workflows et les flux de données modifiés depuis le dernier enregistrement.

(facultatif) Désélectionnez tout objet listé pour éviter de l'enregistrer.

Cliquez sur OK.

Remarque :

à usage unique qu'il contient le cas échéant.

4.2 Jobs

Un job est le seul objet que vous pouvez exécuter. Vous pouvez exécuter manuellement des jobs et les tester en mode développement. En mode production, vous pouvez planifier des jobs batch et configurer des jobs en temps réel comme services qui exécutent un processus lorsque le logiciel reçoit une demande de message.

69 2012-11-22

Projets et Jobs

Un job se compose d'étapes que vous souhaitez exécuter ensemble. Chaque étape est représentée par une icône objet que vous placez dans l'espace de travail pour créer un diagramme de jobs. Un diagramme de jobs se compose de deux objets ou plus reliés ensemble. Vous pouvez inclure l'un des objets suivants dans une définition de job :

• Flux de données

• Sources

• Cibles

• Transformations

• Workflows

• Scripts

• Structures conditionnelles

• Boucles WHILE

• Blocs Try/Catch

Si un job devient complexe, organisez son contenu en workflows individuels puis créez un job individuel qui appelle ces workflows.

Les jobs en temps réel utilisent les mêmes composants que les jobs batch. Vous pouvez ajouter des workflows et des flux de données aux jobs batch et aux jobs en temps réel. Lorsque vous faites glisser une icône de workflow ou de flux de données dans un job, vous demandez au logiciel de valider ces objets selon les exigences du type de job (batch ou temps réel).

Il existe certaines restrictions en ce qui concerne l'utilisation de certaines fonctions du logiciel avec les jobs en temps réel.

Rubriques associées

•

Worflows

•

Jobs en temps réel

4.2.1 Création de jobs

4.2.1.1 Pour créer un job dans la zone de projet

Dans la zone de projet, sélectionnez le nom du projet.

Cliquez avec le bouton droit de la souris et sélectionnez Nouveau jobJob ou Job en temps réel.

2012-11-22

Projets et Jobs

Modifiez le nom.

Le nom peut comporter des caractères alphanumériques et des traits de soulignement (_). Il ne peut pas contenir d'espaces.

Le logiciel ouvre un nouvel espace de travail où vous définissez le job.

4.2.1.2 Pour créer un job dans la bibliothèque d'objets

Accédez à l'onglet Jobs.

Cliquez avec le bouton droit de la souris sur Jobs batch ou Jobs en temps réel et sélectionnez

Nouveau.

Un nouveau job s'affiche avec un nom par défaut.

Cliquez avec le bouton droit de la souris et sélectionnez Propriétés pour modifier le nom des objets et ajouter une description.

Le nom peut comporter des caractères alphanumériques et des traits de soulignement (_). Il ne peut pas contenir d'espaces.

Pour ajouter le job au projet en cours, faites-le glisser dans la zone de projet.

4.2.2 Conventions d'appellation pour objets dans jobs

Nous vous recommandons de suivre les conventions d'appellation cohérentes pour simplifier l'identification d'objet dans tous les systèmes de votre entreprise. Vous pourrez ainsi travailler plus facilement avec des métadonnées dans toutes les applications, par exemple :

• Applications de modélisation des données

• Applications ETL

• Applications de reporting

• Kits de développement de logiciel Adapter

Des exemples de conventions recommandées pour l'utilisation de jobs et autres objets sont indiqués dans le tableau suivant.

Préfixe

DF_

EDF_

Suffixe

n/a

_Input

Objet

Flux de données

Flux de données imbriquées

Exemple

DF_Currency

EDF_Example_Input

71 2012-11-22

Projets et Jobs

Préfixe

EDF_

RTJob_

WF_

JOB_ n/a

DC_

SC_ n/a

PROC_

Suffixe

_Output n/a n/a n/a

_DS n/a n/a

_Memory_DS n/a

Objet

Flux de données imbriquées

Job en temps réel

Workflow

Job

Banque de données

Exemple

EDF_Example_Output

RTJob_OrderStatus

WF_SalesOrg

JOB_SalesOrg

ORA_DS

Configuration de banque de données

Configuration du système

DC_DB2_production

SC_ORA_test

Banque de données en mémoire Catalog_Memory_DS

Procédure stockée PROC_SalesStatus

Bien que Designer soit une interface utilisateur graphique avec des icônes représentant des objets dans sa fenêtre, d'autres interfaces peuvent vous amener à identifier les types d'objets par le texte seul. En utilisant un préfixe ou un suffixe vous pouvez plus facilement identifier votre type d'objet.

Outre les préfixes et les suffixes, vous pouvez être amené à fournir des noms standardisés pour des objets identifiant une action spécifique dans tous les types d'objets. Par exemple : DF_OrderStatus,

RTJob_OrderStatus.

Outre les préfixes et les suffixes, les conventions d'appellation peuvent également inclure des identificateurs de nom du chemin. Par exemple, la convention d'appellation de procédure stockée peut

être la suivante :

72 2012-11-22

Banques de données

Cette section décrit les différents types de banques de données, fournit des détails sur la banque de données du connecteur Attunity et des instructions pour la configuration des banques de données.

5.1 Qu'est-ce qu'une banque de données

Les banques de données représentent des configurations de connexion entre le logiciel et les bases de données ou les applications. Ces configurations peuvent être directes ou via un adaptateur. Les configurations de banque de données permettent au logiciel d'accéder aux métadonnées d'une base de données ou d'une application, et de lire depuis ou d'écrire dans cette base de données ou application pendant que le logiciel exécute un job.

Les banques de données SAP BusinessObjects Data Services peuvent se connecter à :

• Des bases de données et des systèmes de fichier de l'ordinateur principal.

• Des applications qui ont des adaptateurs pré-packagés ou écrits par l'utilisateur.

• One World et World de JD Edwards, Oracle Applications, PeopleSoft, applicationsSAP, SAP Master

Data ServicesSAP NetWeaver BW et les applications Siebel. Voir les guides suppléments appropriés.

Remarque :

Le logiciel lit et écrit des données stockées dans des fichiers plats à l'aide de formats de fichiers plats.

Le logiciel lit et écrit des données stockées dans des documents XML à l'aide de schémas DTD et XML.

Les informations spécifiques auxquelles un objet de banque de données peut accéder dépendent de la configuration de connexion. Lorsque la base de données ou l'application est modifiée, apportez les modifications correspondantes dans les informations de banque de données dans le logiciel. Le logiciel ne détecte pas automatiquement les nouvelles informations.

Remarque :

Les objets supprimés d'une connexion à la banque de données sont identifiés dans la zone du projet et dans l'espace de travail par une icône rouge "supprimé".

Cet indicateur visuel permet de trouver et de mettre à jour les flux de données affectés par les modifications de la banque de données.

Il est possible de créer plusieurs configurations pour une banque de données. Cela vous permet de prévoir en avance les différents environnements dans lesquels la banque de données peut être utilisée et limite le travail impliqué par la migration de jobs. Par exemple, il est possible d'ajouter un ensemble de configurations(DEV, TEST et PROD) au même nom de banque de données. Ces paramètres de connexion restent avec la banque de données lors de l'exportation ou de l'importation. Il est possible

73 2012-11-22

Banques de données de grouper tous les ensembles de configurations de la banque de données dans une configuration système. Lors de l'exécution ou de la planification d'un job, sélectionnez une configuration système et ainsi l'ensemble des configurations de la banque de données pour l'environnement actuel.

Rubriques associées

•

Banques de données de bases de données

•

Banques de données de l'adaptateur

•

Formats de fichier

•

Mise en forme des documents XML

•

Création et gestion de plusieurs configurations de banques de données

5.2 Banques de données de bases de données

Les banques de données de bases de données représentent des connexions uniques ou multiples avec :

• Des systèmes hérités à l'aide de Attunity Connect

• Des bases de données IBM DB2, HP Neoview, Informix, Microsoft SQL Server, Oracle, Sybase

ASE, Sybase IQ, MySQL, Netezza, SAP HANA, SAP BusinessObjects Data Federator, et Teradata

(à l'aide de connexions natives)

• D'autres bases de données (par ODBC)

• Un référentiel, à l'aide d'une banque de données en mémoire ou d'une banque de données de cache persistant

Vous créez une connexion à la plupart des sources de données à l'aide du nom de serveur au lieu du nom du DSN (nom de source de données) ou du nom du TNS (Transparent Network Substrate). Les connexions avec nom de serveur (également appelées connexions sans DSN et connexions sans TNS) suppriment le besoin de configurer les mêmes entrées DSN ou TNS sur chaque ordinateur dans un environnement distribué.

Rubriques associées

• Administrator Guide: DSN-less and TNS-less connections

5.2.1 Interface de l'ordinateur central

Le logiciel fournit la banque de données du connecteur Attunity qui accède aux sources de données de l'ordinateur central par Attunity Connect. Les sources de données auxquelles Attunity Connect accède sont dans la liste suivante : Pour une liste complète des sources, consultez la documentation d'Attunity.

74 2012-11-22

Banques de données

• Adabas

• DB2 UDB pour OS/390 et DB2 UDB pour OS/400

• IMS/DB

• VSAM

• Fichiers plats sur OS/390 et fichiers plats sur OS/400

5.2.1.1 Conditions préalables pour une banque de données Attunity

Le connecteur Attunity accède aux données de l'ordinateur central à l'aide du logiciel que vous devez installer manuellement sur le serveur de l'ordinateur central et sur l'ordinateur du client local (Job

Server). Le logiciel se connecte au connecteur Attunity à l'aide de son interface ODBC.

Il n'est pas nécessaire d'acheter un gestionnaire de pilotes ODBC distinct pour UNIX et pour les plateformes Windows.

Serveurs

Installez et configurez le produit Attunity Connect sur le serveur (par exemple, un ordinateur z Series).

Clients

Pour accéder aux données de l'ordinateur central à l'aide du connecteur Attunity, installez le produit

Attunity Connect. Le pilote ODBC est requis. Attunity offre également un outil facultatif appelé Attunity

Studio, qu'il est possible d'utiliser pour la configuration et l'administration.

Configurez les sources de données ODBC sur le client (Job Server de SAP BusinessObjectsData

Services).

Lorsque vous installez un Job Server sur UNIX, l'installateur vous invite à fournir un chemin du répertoire d'installation pour le logiciel du connecteur Attunity. De plus, il n'est pas nécessaire d'installer un gestionnaire de pilotes parce que le logiciel charge les pilotes ODBC directement sur les plateformes

UNIX.

Pour plus d'informations sur la manière d'installer et de configurer ces produits, consultez leur documentation.

5.2.1.2 Configuration d'une banque de données Attunity

Pour utiliser l'option de la banque de données du connecteur Attunity, mettez à niveau le référentiel vers la version 6.5.1 ou ultérieure de SAP BusinessObjectsData Services.

Pour créer une banque de données du connecteur Attunity :

2012-11-22

Banques de données

Dans l'onglet Banques de données de la bibliothèque d'objets, faites un clic droit et sélectionnez

Nouveau.

Saisissez un nom pour la banque de données.

Dans la case Type de la banque de données, sélectionnez Base de données.

Dans la case Type de la base de données, sélectionnez Connecteur Attunity.

Saisissez le nom de la source de données Attunity, l'emplacement du démon Attunity (Emplacement

de l'hôte), le numéro du port du démon Attunity, et un nom unique de l'espace de travail du serveur

Attunity.

Pour modifier les options par défaut (telles que Lignes par validation ou Langue), cliquez sur le bouton Avancé.

Cliquez sur OK.

Vous pouvez désormais utiliser la nouvelle connexion à la banque de données pour importer les tables de métadonnées dans le référentiel actuel.

5.2.1.3 Spécification de plusieurs sources de données dans une banque de données Attunity

Il est possible d'utiliser la banque de données du connecteur Attunity pour accéder à plusieurs sources de données Attunity sur le même emplacement de démon Attunity. Si plusieurs types de données existent sur le même ordinateur, par exemple une base de données DB2 et VSAM, il est possible que vous souhaitiez accéder aux deux types de données à l'aide d'une seule connexion. Par exemple, vous pouvez utiliser une connexion unique pour relier les tables (et pousser vers le bas l'opération de jointure vers un serveur distant), ce qui réduit la quantité de données transmises par le réseau.

Pour spécifier plusieurs sources dans l'éditeur de banque de données :

Séparez les noms des sources de données par des points virgules dans la case de la source de données Attunity à l'aide du format suivant :

AttunityDataSourceName;AttunityDataSourceName

Par exemple, si vous possédez une source de données DB2 appelée DSN4 et une source de données VSAM appelée Navdemo, saisissez les valeurs suivantes dans la case Source de données :

DSN4;Navdemo

Si vous faites une liste de plusieurs noms de source de données pour une banque de données du connecteur Attunity, assurez-vous de respecter les conditions suivantes :

• Toutes les sources de données Attunity doivent être accessibles avec le même nom d'utilisateur et mot de passe.

• Toutes les sources de données Attunity doivent utiliser le même espace de travail. Lorsque vous configurez l'accès aux sources de données dans Attunity Studio, utilisez le même nom d'espace de travail pour chaque source de données.

2012-11-22

Banques de données

5.2.1.4 Convention d'appellation Data Services pour les tables Attunity

Le format Data Services pour l'accès aux tables Attunity est particulier à Data Services. Puisqu'une seule banque de données peut accéder à plusieurs systèmes logiciels qui ne partagent pas le même espace de noms, le nom de la source de données Attunity doit être indiqué lorsqu'elle fait référence à une table. Avec un connecteur Attunity, faites précéder le nom de la table avec les noms de la source de données et du propriétaire, séparés par deux points. Le format est le suivant :

AttunityDataSource:OwnerName.TableName

Lors de l'utilisation de Designer pour créer les jobs avec des tables Attunity importées, Data Services génère automatiquement l'expression SQL correcte pour ce format. Cependant, lorsque vous créez

SQL, assurez-vous d'utiliser ce format. Il est possible de créer SQL dans les constructions suivantes :

• Fonction SQL

• Transformation SQL

• Fonction pushdown_sql

• Commandes de pré-chargement dans un chargeur de table

• Commandes de post-chargement dans un chargeur de table

Remarque :

Pour toutes les tables dans Data Services, la taille maximale du nom du propriétaire est de 64 caractères.

Dans le cas des tables Attunity, la taille maximale du nom de la source de données Attunity et du nom du propriétaire réel est de 63 caractères (les deux points comptent pour 1 caractère). Data Services ne peut pas accéder à une table dont le nom du propriétaire est plus long que 64 caractères.

5.2.1.5 Limitations

Toutes les fonctionnalités Data Services sont disponibles lorsque vous utilisez une banque de données du connecteur Attunity, excepté les fonctionnalités suivantes :

• Chargement par lots

• Fonctions importées (importe les métadonnées pour les tables uniquement)

• Tables de modèle (création de tables)

• Le type de données date-heure prend en charge jusqu'à 2 multiples décimaux de secondes uniquement

2012-11-22

Banques de données

• Data Services ne peut pas charger des données d'horodatage dans une colonne d'horodatage dans une table car Attunity tronque les données varchar à 8 caractères, ce qui n'est pas assez pour représenter correctement une valeur d'horodatage.

• Lors de l'exécution d'un job sur UNIX, le job peut échouer avec l'erreur suivante :

[D000] Cannot open file /usr1/attun/navroot/def/sys System error 13: The file access permissions do not allow the specified action.; (OPEN)

Cette erreur se produit à cause des autorisations de fichier insuffisantes pour certains des fichiers dans le répertoire d'installation Attunity. Pour éviter cette erreur, remplacez les autorisations de fichier pour tous les fichiers dans le répertoire Attunity par 777 en exécutant la commande suivante depuis le répertoire d'installation Attunity :

$ chmod -R 777 *

5.2.2 Définition d'une banque de données d'une base de données

Définissez au moins une banque de données d'une base de données pour chaque base de données ou système de fichier central avec lesquels vous échangez des données.

Pour définir une banque de données, obtenez les privilèges d'accès à la base de données ou au système de fichier appropriés décrits par la banque de données.

Par exemple, le fait de permettre au logiciel d'utiliser le SQL paramétré lors de la lecture ou de l'écriture sur des bases de données DB2 autorise l'utilisateur (de la banque de données/base de données) à créer, exécuter et déposer les procédures stockées. Si l'utilisateur n'est pas autorisé à créer, exécuter et déposer les procédures stockées, les jobs continuent d'exécuter. Cependant, les jobs produiront un message d'avertissement et exécuteront moins efficacement.

5.2.2.1 Définir une banque de données d'une base de données

Dans l'onglet Banques de données de la bibliothèque d'objets, faites un clic droit et sélectionnez

Nouveau.

Saisissez le nom de la nouvelle banque de données dans le champ Nom de la banque de données.

Le nom peut contenir tous les caractères alphabétiques ou numériques, ou des tirets de soulignement

(_). Il ne peut pas contenir d'espace.

Sélectionnez le Type de banque de données.

Sélectionnez la base de données. Lorsque vous sélectionnez un type de banque de données, le logiciel affiche les autres options pertinentes pour ce type.

Sélectionnez le Type de base de données.

78 2012-11-22

Banques de données

Saisissez les informations appropriées pour le type de base de données sélectionné.

Si vous avez sélectionné Oracle et que vous souhaitez utiliser des connexions sans TNS, définissez la valeur de Utiliser le nom du TNS sur Non.

Si vous avez sélectionné un type de base de données prenant en charge des connexions sans

DSN (par exemple, DB2, Informix, MySQL, Netezza, ou SAP HANA) et que vous souhaitez utiliser des connexions sans DSN, définissez la valeur de Utiliser le nom de source de données

(DSN) sur Non.

Pour obtenir la dernière liste des bases de données prises en charge pour les connexions sans

DSN, reportez-vous à la documentation relative aux plateformes prises en charge (Matrice de disponibilité des produits) https://service.sap.com/PAM .

Si vous avez sélectionné Data Federator, vous devez également indiquer le nom du catalogue et le nom du schéma dans l'URL. Si vous ne le faites pas, il est possible que vous voyiez toutes les tables de chaque catalogue.

Sélectionnez Admin ODBC puis l'onglet Système DNS.

Mettez en surbrillance Data Federator, puis cliquez sur Configurer.

Dans l'option URL, saisissez le nom du catalogue et le nom du schéma ; par exemplejdbc:leselect://localhost/catalognameschéma=schema=.

La case à cocher Activer le transfert automatique des données est sélectionnée par défaut lorsque vous créez une nouvelle banque de données et que vous sélectionnez Base de données pour Type de banque de donnée. Cette case à cocher s'affiche pour toutes les bases de données, sauf le connecteur Attunity, Data Federator, le cache mémoire et le cache persistant.

Gardez la case Activer le transfert automatique des données sélectionnée pour activer les tables de transfert dans cette banque de données que la transformation Data_Transfer peut utiliser pour pousser vers le bas les opérations de base de données ultérieures.

A ce stade, il est possible d'enregistrer la banque de données ou d'y ajouter plus d'informations :

• Pour enregistrer la banque de données et fermer l'éditeur de banque de données, cliquez sur

OK.

• Pour ajouter plus d'informations, sélectionnez Avancé.

Pour saisir des valeurs pour chaque option de configuration, cliquez sur les cellules en-dessous de chaque nom de configuration.

Pour l'ensemble de la banque de données, les options et les boutons suivants sont disponibles :

Boutons Description

Importer les types de données non pris en charge comme VARCHAR de taille

Les types de données pris en charge par le logiciel sont documentés dans le Guide de référence. Si vous souhaitez que le logiciel convertisse un type de données de votre source qu'il ne prendrait normalement pas en charge, sélectionnez cette option et saisissez le nom de caractères que vous autorisez.

79 2012-11-22

Banques de données

Boutons

Modifier

Afficher l'ATL

Annuler

Appliquer

Description

Ouvre la Configuration pour la boîte de dialogue Banque de données. Utilisez la barre d'outils de cette fenêtre pour ajouter, configurer et gérer plusieurs configurations pour une banque de données.

Ouvre une fenêtre de texte qui affiche la manière dont le logiciel code vos sélections pour cette banque de données dans son langage de script.

Enregistre les sélections and ferme la fenêtre Editeur de banque de données (Créer une banque de données).

Annule les sélections et ferme la fenêtre Editeur de banque de données

Enregistre les sélections.

Cliquez sur OK.

Remarque :

Sur les versions de Data Integrator antérieures à la version 11.7.0, le type de base de données approprié

à utiliser lors de la création d'une banque de données sur Netezza était ODBC. SAP

BusinessObjectsData Services 11.7.1 fournit une option Netezza spécifique comme Type de base de

données à la place d'ODBC. Lors de l'utilisation de Netezza comme base de données avec le logiciel, nous recommandons de sélectionner l'option Netezza du logiciel comme le Type de base de données plutôt qu'ODBC.

Rubriques associées

• Administration Guide: DSN-less and TNS-less connections

• Guide d'optimisation de la performance : transformation DataTransfer pour opérations poussées vers le bas

• Guide de référence : objets, banque de données

•

Création et gestion de plusieurs configurations de banques de données

•

Comment importer des métadonnées

80 2012-11-22

Banques de données

5.2.3 Configuration des sources de données ODBC sur UNIX

Pour utiliser les sources de données ODBC sur les plateformes UNIX, il est possible que vous deviez effectuer une configuration supplémentaire.

Data Services fournit le Gestionnaire de connexions pour simplifier la configuration des sources de données ODBC nativement prises en charges telles que MySQL et Teradata. Les autres sources de données ODBC peuvent exiger une configuration manuelle.

Rubriques associées

• Guide d'administration : configuration des sources de données ODBC sur UNIX.

5.2.4 Modification d'une définition de banque de données

Comme tous les objets, les banques de données sont définies par des options et des propriétés :

• Les options contrôlent l'opération des objets. Par exemple, le nom de la base de données à laquelle se connecter est une option de banque de données.

• Les propriétés documentent l'objet. Par exemple, le nom de la banque de données et la date à laquelle elle a été créée sont des propriétés de banque de données. Les propriétés sont simplement des descriptions de l'objet et n'affectent pas son opération.

5.2.4.1 Modifier les options de la banque de données

Accédez à l'onglet Banques de données dans la bibliothèque d'objets.

Faites un clic droit sur le nom de la banque de données et sélectionnez Modifier.

L'éditeur de banque de données apparaît (la barre de titre pour cette boîte de dialogue affiche

Modifier la banque de données). Il est possible de réaliser les tâches suivantes :

• Modifier les informations de connexion pour la configuration de banque de données actuelle.

• Cliquez sur Avancé et modifiez les propriétés pour la configuration actuelle.

• Cliquez sur Modifier pour ajouter, modifier ou supprimer des configurations supplémentaires.

La boîte de dialogue Configurations pour la banque de données s'ouvre lorsque vous sélectionnez

Modifier dans l'éditeur de banque de données. Après avoir ajouté une nouvelle configuration à une banque de données existante, vous pouvez utiliser les champs dans la grille pour modifier les valeurs et les propriétés de connexion pour la nouvelle configuration.

2012-11-22

Banques de données

Cliquez sur OK.

Les options prennent immédiatement effet.

Rubriques associées

• Guide de référence : banques de données de base de données.

5.2.4.2 Modifier les propriétés de la banque de données

Accédez à l'onglet Banque de données dans la bibliothèque d'objets.

Faites un clic droit sur le nom de la banque de données et sélectionnez Propriétés.

La fenêtre Propriétés s'ouvre.

Modifiez les propriétés de la banque de données.

Cliquez sur OK.

Rubriques associées

• Guide de référence : banque de données

5.2.5 Parcourir les métadonnées depuis une banque de données de base de données

Le logiciel enregistre les informations de métadonnées pour tous les objets importés dans une banque de données. Il est possible d'utiliser le logiciel pour afficher les métadonnées pour les objets importés et non importés, et pour contrôler si les métadonnées ont changé pour les objets déjà importés.

5.2.5.1 Afficher les objets importés

Accédez à l'onglet Banques de données dans la bibliothèque d'objets.

Cliquez sur le signe plus (+) à côté du nom de la banque de données pour afficher les types d'objet dans la banque de données. Par exemple, les banques de données de base de données ont des fonctions, des tables, et des tables de modèle.

Cliquez sur le signe plus (+) à côté d'un type d'objet pour afficher les objets de ce type importés depuis la banque de données. Par exemple, cliquez sur le signe plus (+) à côté des tables pour afficher les tables importées.

82 2012-11-22

Banques de données

5.2.5.2 Trier la liste des objets

Cliquez sur l'en-tête de colonne pour trier par ordre alphabétique les objets dans chaque regroupement, et les regroupements dans chaque banque de données. Cliquez à nouveau pour trier par ordre alphabétique inversé.

5.2.5.3 Afficher les métadonnées de banque de données

Sélectionnez l'onglet Banques de données dans la bibliothèque d'objets.

Sélectionnez une banque de données, faites un clic droit et sélectionnez Ouvrir. (Il est également possible de double-cliquer sur l'icône de la banque de données.)

Le logiciel ouvre l'explorateur de banque de données dans l'espace de travail. L'explorateur de banque de données liste les tables dans la banque de données. Il est possible de voir des tables dans la base de données externe ou dans le référentiel interne. Il est également possible de faire une recherche dans ces composants.

Sélectionnez Métadonnées externes pour afficher les tables dans la base de données externe.

Si vous sélectionnez une table ou plus, il est possible de faire un clic droit pour plus d'options.

Commande Description

Ouvrir (uniquement disponible si vous sélectionnez une seule table).

Ouvre l'éditeur pour les métadonnées de table.

Importer

Rapprocher

Importe (ou réimporte) des métadonnées de la base de données vers le référentiel.

Contrôle les différences entre les métadonnées de la base de données et celles dans le référentiel.

Sélectionnez Métadonnées du référentiel pour afficher les tables importées.

Si vous sélectionnez une table ou plus, il est possible de faire un clic droit pour plus d'options.

2012-11-22

Banques de données

Commande Description

Ouvrir (uniquement disponible si vous sélectionnez une seule table).

Ouvre l'éditeur pour les métadonnées de table.

Rapprocher

Réimporter

Contrôle les différences entre les métadonnées du référentiel et celles de la base de données.

Réimporte les métadonnées de la base de données vers le référentiel.

Supprime la table ou les tables du référentiel.

Supprimer

Propriétés (uniquement disponible si vous sélectionnez une seule table).

Affiche les propriétés de la table sélectionnée.

Afficher les données

Ouvre la fenêtre Afficher les données qui permet de voir les données qui sont actuellement dans la table.

Rubriques associées

•

Importer par recherche

5.2.5.4 Déterminer si un schéma a changé depuis son importation

Dans la fenêtre du navigateur qui affiche la liste des tables du référentiel, sélectionnez Métadonnées

externes.

Sélectionnez la table ou les tables dont vous souhaitez contrôler les modifications.

Faites un clic droit et sélectionnez Rapprocher.

La colonne Modifiée affiche OUI pour indiquer que les tables de la base de données sont différentes des métadonnées importées dans le logiciel. Pour utiliser les métadonnées du logiciel les plus récentes, réimportez la table.

La colonne Importée affiche OUI pour indiquer que la table a été importée dans le référentiel.

84 2012-11-22

Banques de données

5.2.5.5 Parcourir les métadonnées pour une table externe

Dans la fenêtre du navigateur qui affiche la liste des tables externes, sélectionnez la table que vous souhaitez afficher.

Faites un clic droit et sélectionnez Ouvrir.

Un éditeur de table apparait dans l'espace de travail et affiche le schéma et les attributs de la table.

5.2.5.6 Afficher les métadonnées pour une table importée

Sélectionnez le nom de la table dans la liste des tables importées.

Faites un clic droit et sélectionnez Ouvrir.

Un éditeur de table apparait dans l'espace de travail et affiche le schéma et les attributs de la table.

5.2.5.7 Voir les informations d'index secondaires pour les tables

Les informations d'index secondaires peuvent aider à comprendre le schéma d'une table importée.

Dans l'onglet des banques de données de Designer, cliquez avec le bouton droit de la souris sur la table pour ouvrir le menu contextuel.

Dans le menu contextuel, cliquez sur Propriétés pour ouvrir la fenêtre Propriétés.

Dans la fenêtre Propriétés, cliquez sur l'onglet Index. La partie gauche de la fenêtre affiche la liste d'index.

Cliquez sur un index pour voir le contenu.

5.2.6 Importation de métadonnées par une banque de données de base de données

Pour les banques de données de base de données, il est possible d'importer les métadonnées pour des tables et des fonctions.

85 2012-11-22

Banques de données

5.2.6.1 Informations de table importée

Le logiciel détermine et enregistre un set spécifique d'informations de métadonnées pour les tables.

Après avoir importé les métadonnées, il est possible de modifier les noms de colonne, les descriptions et les types de données. Les modifications sont propagées vers tous les objets qui appellent ces objets.

Métadonnées Description

Nom de table

Le nom de la table tel qu'il apparait dans la base de données.

Remarque :

La longueur maximale du nom de table prise en charge par le logiciel est de 64 caractères. Si le nom de la table dépasse les 64 caractères, il est possible que vous ne puissiez pas importer la table.

Description de la table

Nom de colonne

Description de la colonne

Type de données de la colonne

Type de contenu de la colonne

La description de la table.

Le nom de la colonne.

La description de la colonne.

Le type de données pour la colonne.

Si une colonne est définie comme un type de données non pris en charge, le logiciel convertit le type de données en un type pris en charge. Dans certains cas, si le logiciel ne peut pas convertir le type de données, il ignore la colonne entière.

Le type de contenu identifie le type de données dans le champ.

86 2012-11-22

Banques de données

Métadonnées

Colonne de la clé primaire

Attribut de la table

Nom du propriétaire

Description

La/Les colonne(s) qui contient/contiennent la clé primaire pour la table.

Après qu'une table ait été ajoutée à un diagramme de flux de données, ces colonnes sont indiquées dans la liste de colonne par une icône de clé à côté du nom de colonne.

Les informations enregistrées par le logiciel sur la table telles que la date de création et la date de modification si ces valeurs sont disponibles.

Nom du propriétaire de la table.

Remarque :

Le nom du propriétaire pour les sources de données

MySQL et Netezza correspond au nom de la base de données ou du schéma dans lequel la table apparait.

Informations de varchar et de colonne à partir des tables SAP BusinessObjects Data Federator

Toutes les colonnes de décimales importées dans Data Serves depuis une source de données SAP

BusinessObjects Data Federator sont converties à la précision et à l'échelle décimale (28,6)

Toutes les colonnes varchar importées dans le logiciel à partir d'une source de données SAP

BusinessObjects Data Federator sont de type varchar (1024)

Il est possible de modifier la précision ou l'échelle décimale et la taille du varchar dans le logiciel après les avoir importés de la source de données SAP BusinessObjects Data Federator.

5.2.6.2 Informations importées de procédure et de fonction stockées

Le logiciel peut importer des procédures stockées depuis les bases de données DB2, MS SQL Server,

Oracle, SAP HANA, Sybase ASE, Sybase IQ, et Teredata. Il est également possible d'importer des fonctions stockées et des packages depuis Oracle. Il est possible d'utiliser ces fonctions et procédures dans les spécifications d'extraction que vous avez données à Data Services.

Les informations importées pour les fonctions incluent :

• Les paramètres de fonction

• Le type de renvoi

2012-11-22

Banques de données

• Le nom, le propriétaire

Les fonctions et les procédures importées apparaissent sur l'onglet Banques de données de la bibliothèque d'objets. Les fonctions et les procédures apparaissent dans la branche Fonction de chaque arborescence de banque de données.

Il est possible de configurer les fonctions et les procédures importées grâce à l'assistant de fonction et l'éditeur rapide dans une catégorie identifiée par le nom de la banque de données.

Rubriques associées

• Guide de référence : à propos des procédures

5.2.6.3 Comment importer des métadonnées

Cette section décrit les méthodes d'importation des métadonnées.

5.2.6.3.1 Importer par navigation

Remarque :

Les fonctions ne peuvent pas être importées par navigation.

Ouvrez la bibliothèque d'objets.

Accédez à l'onglet Banques de données.

Sélectionnez la banque de données que vous souhaitez utiliser.

Faites un clic droit et sélectionnez Ouvrir.

Les éléments disponibles pour importer via la banque de données apparaissent dans l'espace de travail.

Dans certains environnements, les tables sont organisées et affichées sous forme d'arborescence.

Si c'est le cas, un signe plus (+) se trouve à gauche du nom. Cliquez sur le signe plus pour naviguer dans l'arborescence.

L'espace de travail contient des colonnes qui indiquent si la table a déjà été importée dans le logiciel

(Importée) et si le schéma de table a été modifié depuis qu'il a été importé (Modifié). Pour vérifier si le référentiel contient les métadonnées les plus récentes pour un objet, faites un clic droit sur l'objet et sélectionnez Rapprocher.

Sélectionnez les éléments pour lesquels vous souhaitez importer des métadonnées.

Par exemple, pour importer une table, vous devez sélectionner une table plutôt qu'un dossier qui contient des tables.

Faites un clic droit et sélectionnez Importer.

Dans la bibliothèque d'objets, accédez à l'onglet Banques de données pour afficher la liste des objets importés.

2012-11-22

Banques de données

5.2.6.3.2 Importer par nom

Ouvrez la bibliothèque d'objets.

Cliquez sur l'onglet Banques de données.

Sélectionnez la banque de données que vous souhaitez utiliser.

Faites un clic droit et sélectionnez Importer par nom

Dans la fenêtre Importer par nom, sélectionnez le type d'élément que vous souhaitez importer de la liste Type.

Si vous importez une procédure stockée, sélectionnez Fonction.

Pour importer des tables : a.

Saisissez un nom de table dans la case Nom pour indiquer une table particulière, ou sélectionnez la case à cocher Tout, si disponible, pour spécifier toutes les tables.

Si le nom respecte la casse dans la base de données (et non pas tout en majuscules), saisissez le nom tel qu'il apparait dans la base de données et utilisez les guillemets doubles (") autour du nom pour conserver la casse.

Saisissez un nom de propriétaire dans la case Propriétaire pour limiter les tables indiquées à un propriétaire particulier. Si vous laissez le nom de propriétaire vide, vous indiquez des tables correspondantes qui ne tiennent pas compte du propriétaire (c'est-à-dire, toutes les tables avec le nom de table indiqué).

Importer des fonctions et des procédures :

• Dans la case Nom, saisissez le nom de la fonction ou de la procédure stockée.

Il est également possible de saisir le nom d'un package. Un package Oracle est une collection encapsulée d'objets de programme reliés (par exemple des procédures, fonctions, variables, curseurs et exceptions) stockés ensemble dans une base de données. Le logiciel permet d'importer des procédures ou des fonctions créées dans des packages et de les utiliser comme des procédures ou des fonctions de niveau supérieur.

Si vous saisissez un nom de package, le logiciel importe toutes les fonctions et les procédures stockées définies dans le package Oracle. Il est impossible d'importer une fonction ou une procédure individuelle définie dans un package.

• Saisissez un nom de propriétaire dans la casePropriétaire pour limiter les fonctions indiquées

à un propriétaire particulier. Si vous laissez le nom de propriétaire vide, vous indiquez des fonctions correspondantes qui ne tiennent pas compte du propriétaire (c'est-à-dire, toutes les fonctions avec le nom indiqué).

• Si vous importez une fonction Oracle ou une procédure stockée et que l'une des conditions suivantes s'applique, décochez la case Joignable depuis l'expression SQL. Une procédure stockée ne peut pas être poussée vers le bas vers une base de données à l'intérieur d'une autre instruction SQL lorsque la procédure stockée contient une instruction DDL, qu'elle termine la

2012-11-22

Banques de données transaction actuelle avec COMMIT ou ROLLBACK, ou qu'elle émet une commande ALTER

SESSION ou ALTER SYSTEM.

Cliquez sur OK.

5.2.6.3.3 Importer par recherche

Remarque :

Les fonctions ne peuvent pas être importées par recherche

Ouvrez la bibliothèque d'objets.

Cliquez sur l'onglet Banques de données.

Sélectionnez le nom de la banque de données que vous souhaitez utiliser.

Faites un clic droit et sélectionnez Rechercher.

La fenêtre Rechercher apparait.

Saisissez le nom entier de l'élément ou une partie dans la zone de texte Nom.

Sélectionnez Contient ou Egal à depuis la liste déroulante à droite en fonction de si vous avez fourni une valeur de recherche complète ou partielle.

Egal à sélectionne uniquement la chaîne de recherche complète. C'est à dire que vous devez rechercher nom_table.propriétaire plutôt que nom_table.

(Facultatif) Saisissez une description dans la zone de texte Description.

Sélectionnez le type d'objet dans la case Type.

Sélectionnez la banque de données dans laquelle vous souhaitez faire la recherche à partir de la case Rechercher dans.

10.

Sélectionnez Externe dans la boîte déroulante à droite de la boîte Rechercher dans.

Externe indique que le logiciel recherche l'élément dans la base de données entière définie par la banque de données.

Interne indique que le logiciel recherche uniquement les éléments qui ont été importés.

11.

Accédez à l'onglet Avancé pour faire une recherche à l'aide des valeurs d'attribut du logiciel.

Les options avancées s'appliquent uniquement aux recherches d'éléments importés.

12.

Cliquez sur Rechercher.

Le logiciel liste les tables qui correspondent à vos critères de recherche.

13.

Pour importer une table à partir de la liste retournée, sélectionnez la table, faites un clic droit et sélectionnez Importer.

90 2012-11-22

Banques de données

5.2.6.4 Réimportation d'objets

Si vous avez déjà importé un objet tel qu'une banque de données, une fonction ou une table, il est possible de le réimporter, ce qui met à jour les métadonnées de l'objet depuis la base de données (la réimportation remplace toutes les modifications que vous avez apportées à l'objet dans le logiciel).

Dans les anciennes versions du logiciel, pour réimporter les objets, vous ouvriez la banque de données, affichiez les métadonnées du référentiel et sélectionniez les objets à réimporter. Dans cette version du logiciel, il est possible de réimporter les objets à l'aide de la bibliothèque d'objets à plusieurs niveaux :

• Objets individuels : réimporte les métadonnées pour un objet individuel tel qu'une table ou une fonction

• Niveau de nœud de catégorie : réimporte les définitions de tous les objets de ce type dans cette banque de données, par exemple, toutes les tables dans la banque de données

• Niveau de banque de données : réimporte l'ensemble de la banque de données et tous les objets dépendants, dont les tables, les fonctions, les IDOC et les hiérarchies

5.2.6.4.1 Réimporter les objets depuis la bibliothèque d'objets

Dans la bibliothèque d'objets, cliquez sur l'onglet Banques de données.

Faites un clic droit sur un objet individuel et cliquez sur Réimporter, ou faites un clic droit sur un nœud de catégorie ou sur un nom de banque de données et cliquez sur Tout réimporter.

Il est également possible de sélectionner plusieurs objets individuels en appuyant sur Ctrl ou Shift et en cliquant.

Cliquez sur Oui pour réimporter les métadonnées.

Si vous avez sélectionné plusieurs objets à réimporter (par exemple avec Tout réimporter), le logiciel demande confirmation pour chaque objet à moins que vous cochiez la caseNe plus me

poser la question pour les objets restants.

Il est possible d'ignorer des objets à réimporter en cliquant sur Non pour cet objet.

Si vous n'êtes pas sur de vouloir réimporter (et donc remplacer) l'objet, cliquez sur Afficher utilisation pour afficher l'emplacement où l'objet est actuellement utilisé dans les jobs.

5.2.7 Banques de données en mémoire

Le logiciel permet de créer une banque de données de base de données à l'aide de la Mémoire comme

Type de la base de données. Les banques de données en mémoire sont conçues pour améliorer la performance de traitement des flux de données qui exécutent des jobs en temps réel. Les données

91 2012-11-22

Banques de données

(en petite quantité en général dans un job en temps réel) sont stockées en mémoire pour offrir un accès immédiat plutôt que d'accéder aux données sources d'origine.

Une banque de données en mémoire est un conteneur pour des tables en mémoire. Une banque de données offre normalement une connexion à une base de données, à une application ou à un adaptateur.

En revanche, une banque de données en mémoire contient des schémas de tables en mémoire enregistrés dans le référentiel.

Les tables en mémoire sont des schémas qui permettent de cacher les données intermédiaires. Les tables en mémoire peuvent cacher les données des tables de base de données relationnelles ou des fichiers de données hiérarchiques tels que les messages XML et les IDocs SAP (qui contiennent tous les deux des schémas imbriqués).

Les tables en mémoire peuvent être utilisées pour :

• Déplacer les données entre des flux de données dans des jobs en temps réel. En cachant les données intermédiaires, la performance des jobs en temps réel avec plusieurs flux de données est largement meilleure qu'elle le serait si des fichiers ou des tables ordinaires étaient utilisés pour stocker les données intermédiaires. Pour obtenir la meilleure performance, utilisez uniquement les tables en mémoire lors du traitement de petites quantités de données.

• Stockez les données de table en mémoire pour la durée du job. En enregistrant les données de table en mémoire, la fonction LOOKUP_ECT et les autres transformations et fonctions qui ne nécessitent pas d'opérations de base de données peuvent accéder aux données sans avoir à les lire depuis une base de données distante.

La durée de vie des données de table en mémoire correspond à la durée du job. Les données des tables en mémoire ne peuvent pas être partagées entre plusieurs jobs en temps réel. La prise en charge de l'utilisation des tables en mémoire pour les jobs batch n'est pas disponible.

5.2.7.1 Création de banques de données en mémoire

Il est possible de créer des banques de données en mémoire à l'aide de la fenêtre Editeur de banque de données.

5.2.7.1.1 Définir une banque de données en mémoire

A partir du menu Projet, sélectionnez Nouveau > Banque de données.

Dans la case Nom, saisissez le nom de la nouvelle banque de données.

Assurez-vous d'utiliser la convention d'appellation ''Memory_DS". Les noms des banques de données sont ajoutés aux noms des tables lorsque les icônes de table apparaissent dans l'espace de travail.

Les tables en mémoire sont représentées dans l'espace de travail avec des icônes de table ordinaires.

Par conséquent, étiquetez une banque de données en mémoire pour distinguer ses tables en mémoire des tables de base de données ordinaires dans l'espace de travail.

Dans la case Type de la banque de données, laissez le paramètre par défaut Base de données.

Dans la case Type de la base de données, sélectionnez Mémoire.

2012-11-22

Banques de données

Aucun attribut supplémentaire n'est requis pour la banque de données en mémoire.

Cliquez sur OK.

5.2.7.2 Création de tables en mémoire

Lors de la création d'une table en mémoire, il n'est pas nécessaire d'indiquer le schéma de la table ou d'importer les métadonnées de la table. A la place, le logiciel crée automatiquement le schéma pour chaque table en mémoire en fonction du schéma précédent, qui peut être soit un schéma d'une table de base de données relationnelle, soit un schéma des fichiers de données hiérarchiques tels que les messages XML. Lors de la première sauvegarde du job, le logiciel définit le schéma de la table en mémoire et enregistre la table. Par la suite, la table apparait avec une icône de table dans l'espace de travail et dans la bibliothèque d'objets sous la banque de données en mémoire.

5.2.7.2.1 Créer une table en mémoire

A partir de la palette d'outils, cliquez sur l'icône de table de modèle.

Cliquez dans un flux de données pour placer la table de modèle.

La fenêtre Créer une table s'ouvre.

A partir de la fenêtre Créer une table, sélectionnez la banque de données en mémoire.

Saisissez un nom de table.

Si vous souhaitez une colonne d'ID de ligne générée par le système dans la table, cliquez sur la case à cocher Créer un ID de ligne.

Cliquez sur OK.

La table en mémoire apparait dans l'espace de travail comme une icône de table de modèle.

Connectez la table en mémoire au flux de données comme une cible.

Depuis le menu Projet, sélectionnez Enregistrer.

Dans l'espace de travail, l'icône de la table en mémoire est remplacée par une icône de table cible, et la table apparait dans la bibliothèque d'objets sous la liste des tables de la banque de données en mémoire.

Rubriques associées

•

Option Créer un ID de ligne

5.2.7.3 Utilisation des tables en mémoire comme des sources et des cibles

93 2012-11-22

Banques de données

Après avoir créé une table en mémoire comme une cible dans un flux de données, il est possible d'utiliser une table en mémoire comme une source ou une cible dans n'importe quel flux de données.

Rubriques associées

•

Jobs en temps réel

5.2.7.3.1 Utiliser une table en mémoire comme une source ou une cible

Dans la bibliothèque d'objets, cliquez sur l'onglet Banques de données.

Développez la banque de données en mémoire qui contient la table en mémoire que vous souhaitez utiliser.

Développez Tables.

Une liste des tables apparait.

Sélectionnez la table en mémoire que vous souhaitez utiliser comme une source ou une cible, et faites-la glisser dans un flux de données ouvert.

Connectez la table en mémoire comme une source ou une cible dans le flux de données.

Si vous utilisez une table en mémoire comme une cible, ouvrez l'éditeur de table cible de la table en mémoire pour définir les options de table.

Enregistrez le job

Rubriques associées

•

Options de cible de la table en mémoire

5.2.7.4 Option Mettre à jour le schéma

Il est possible que vous souhaitiez mettre à jour rapidement un schéma de table cible en mémoire si le schéma précédent a été modifié. Pour ce faire, utilisez l'option Mettre à jour le schéma. Autrement, vous devriez ajouter une nouvelle table en mémoire pour mettre à jour un schéma.

5.2.7.4.1 Mettre à jour le schéma d'une table cible en mémoire

Faites un clic droit sur l'icône de la table cible en mémoire dans l'espace de travail.

Sélectionnez Mettre à jour le schéma.

Le schéma de l'objet précédent est utilisé pour mettre à jour le schéma de la table cible en mémoire.

La table en mémoire actuelle est mise à jour dans le référentiel. Toutes les occurrences de la table en mémoire actuelle sont mises à jour avec le nouveau schéma.

94 2012-11-22

Banques de données

5.2.7.5 Options de cible de la table en mémoire

L'option Supprimer les données de la table avant le chargement est disponible pour les cibles de la table en mémoire. L'option est activée par défaut (la case est sélectionnée). Pour définir cette option, ouvrez l'éditeur de table cible en mémoire. Si vous décochez cette option, de nouvelles données sont ajoutées aux données de table existantes.

5.2.7.6 Option Créer un ID de ligne

Si l'option Créer un ID de ligne est cochée dans la fenêtre Créer table en mémoire, le logiciel génère une colonne d'entier appelée DI_Row_ID dans laquelle la première ligne insérée obtient la valeur 1, la deuxième ligne insérée obtient la valeur 2, etc. Cette nouvelle colonne permet d'utiliser une expression

LOOKUP_EXT comme un itérateur dans un script.

Remarque :

La même fonctionnalité est disponible pour les autres types de banque de données qui utilisent la fonction SQL.

Utilisez la colonne DI_Row_ID pour itérer sur une table à l'aide d'une fonction lookup_ext dans un script. Par exemple :

$NumOfRows = total_rows (memory_DS..table1)

$I = 1;

$count=0 while ($count < $NumOfRows) begin

$data = lookup_ext([memory_DS..table1, 'NO_CACHE','MAX'],[A],[O],[DI_Row_ID,'=',$I]);

$1 = $I + 1; if ($data != NULL) begin

$count = $count + 1; end end

Dans le script précédent, table1 est une table en mémoire. Le nom de la table est précédé par son nom de banque de données (memory_DS), d'un point, d'un espace vide (où se trouverait le propriétaire de la table pour une table ordinaire), puis d'un second point. Il n'existe pas de propriétaires pour les banques de données en mémoire, donc les tables sont uniquement identifiées par le nom de la banque de données et le nom de la table comme indiqué.

Sélectionnez les arguments de la fonction LOOKUP_EXT (ligne 7) depuis l'éditeur de fonctions lorsque vous définissez une fonction LOOKUP_EXT.

La fonction TOTAL_ROWS(DatastoreName.Owner.TableName) renvoie le nombre de lignes d'une table particulière dans une banque de données. Cette fonction peut être utilisée avec tout type de

2012-11-22

Banques de données banque de données. Dans le cas d'une utilisation avec une banque de données en mémoire, utilisez la syntaxe suivante : LIGNES_TOTALES( DatastoreName..TableName )

Le logiciel fournit également une fonction intégrée qu'il est possible d'utiliser pour effacer explicitement les données d'une table en mémoire. Cette fonction offre un meilleur contrôle que le celui qu'offre le job actif sur les données et l'utilisation de la mémoire. La fonction TRUNCATE_TABLE ( Datastore

Name..TableName

) peut uniquement être utilisée avec les tables en mémoire.

Rubriques associées

• Guide de référence : fonctions et procédures, descriptions de fonctions intégrées

5.2.7.7 Dépannage des tables en mémoire

• Une erreur possible, particulièrement avec l'utilisation des tables en mémoire, est que le logiciel exécute en dehors de la zone de mémoire virtuelle. Le logiciel quitte s'il exécute en dehors de la mémoire en exécutant une opération.

• Une erreur de validation et d'exécution se produit si le schéma d'une table en mémoire ne correspond pas au schéma de l'objet précédent dans le flux de données.

Pour corriger cette erreur, utilisez l'option Mettre à jour le schéma ou créez une nouvelle table en mémoire qui correspond au schéma de l'objet précédent dans le flux de données.

• Deux fichiers journaux contiennent les informations spécifiques aux tables en mémoire : le journal trace_memory_reader et le journal trace_memory_loader.

5.2.8 Banques de données de cache persistant

Le logiciel permet de créer une banque de données de base de données à l'aide d'un Cache persistant comme Type de la base de données. Les banques de données de cache persistant offrent les avantages ci-dessous pour les flux de données qui traitent de larges volumes de données.

• Il est possible de stocker une grande quantité de données dans un cache persistant que le logiciel charge rapidement dans la mémoire pour fournir un accès immédiat durant un job. Par exemple, il est possible d'accéder à une table de recherche ou à une table de comparaison localement (plutôt que de les lire depuis une base de données distante).

• Il est possible de créer des tables de cache qui peuvent être partagées par les flux de données (à la différence d'une table en mémoire qui ne peut pas être partagée entre plusieurs jobs en temps réel). Par exemple, si une grande table de recherche utilisée dans une fonction lookup_ext est rarement modifiée, il est possible de créer un cache une seule fois, et les jobs ultérieurs peuvent utiliser ce cache plutôt que d'en créer un à chaque fois.

96 2012-11-22

Banques de données

Une banque de données de cache persistent est un conteneur pour ces tables de cache. Une banque de données offre normalement une connexion à une base de données, à une application ou à un adaptateur. En revanche, une banque de données de cache persistant contient des schémas de tables de cache enregistrés dans le référentiel.

Les tables de cache persistant permettent de cacher de grandes quantités de données. Les tables de cache persistant peuvent cacher des données provenant de tables de base de données relationnelles et de fichiers.

Remarque :

Il est impossible de cacher les données des fichiers de données hiérarchiques tels que les messages

XML et les IDocs SAP (qui contiennent tous les deux des schémas imbriqués). Il est impossible d'effectuer des insertions, des suppressions ou des mises à jour incrémentielles sur une table de cache persistant.

Vous créez une table de cache persistant en chargeant les données dans la table cible de cache persistant qui utilise un flux de données. Vous pouvez ensuite lire depuis la table de cache dans un autre flux de données. Lorsque vous chargez des données dans une table de cache persistant, le logiciel tronque et recrée systématiquement la table.

5.2.8.1 Création de banques de données de cache persistant

Il est possible de créer des banques de données de cache persistant à l'aide de la fenêtre Editeur de banque de données.

5.2.8.1.1 Définir une banque de données de cache persistant

A partir du menu Projet, sélectionnez Nouveau > Banque de données.

Dans la case Nom, saisissez le nom de la nouvelle banque de données.

Assurez-vous d'utiliser une convention d'appellation telle que ''Persist_DS". Les noms des banques de données sont ajoutés aux noms des tables lorsque les icônes de table apparaissent dans l'espace de travail. Les tables de cache persistant sont représentées dans l'espace de travail avec des icônes de table ordinaires. Par conséquent, étiquetez une banque de données de cache persistant pour distinguer ses tables de cache persistant des tables de base de données ordinaires dans l'espace de travail.

Dans la case Type de la banque de données, laissez le paramètre par défaut Base de données.

Dans la case Type de la base de données, sélectionnez Cache persistant.

Dans la case Répertoire du cache, vous pouvez soit saisir soit naviguer vers un répertoire dans lequel vous souhaitez stocker le cache persistant

Cliquez sur OK.

97 2012-11-22

Banques de données

5.2.8.2 Création de tables de cache persistant

Lors de la création d'une table de cache persistant, il n'est pas nécessaire d'indiquer le schéma de la table ou d'importer les métadonnées de la table. A la place, le logiciel crée automatiquement le schéma pour chaque table de cache persistant en fonction du schéma précédent. Lors de la première sauvegarde du job, le logiciel définit le schéma de la table de cache persistant et enregistre la table. Par la suite, la table apparait avec une icône de table dans l'espace de travail et dans la bibliothèque d'objets sous la banque de données de cache persistant.

Vous créez une table de cache persistant sous l'une des formes suivantes :

• Comme une table de modèle cible dans un flux de données

• Comme une partie de la transformation Data_Transfer lors de l'exécution d'un job

Rubriques associées

• Guide de référence : Data_Transfer

5.2.8.2.1 Créer une table de cache persistant comme une cible dans un flux de données

Utilisez l'une des méthodes suivantes pour ouvrir la fenêtre Créer un modèle :

• Depuis la palette d'outils :

Cliquez sur l'icône de table de modèle.

Cliquez dans un flux de données pour placer la table de modèle dans l'espace de travail.

Sur la fenêtre Créer un modèle, sélectionnez la banque de données de cache persistant.

• Depuis la bibliothèque d'objets :

Développez une banque de données de cache persistant.

Cliquez sur l'icône de table de modèle et faites-la glisser dans l'espace de travail.

Sur la fenêtre Créer un modèle, saisissez un nom de table.

Cliquez sur OK.

La table de cache persistant apparait dans l'espace de travail comme une icône de table de modèle.

Connectez la table de cache persistant au flux de données comme une cible (généralement une transformation Query).

Dans la transformation Query, mappez les colonnes Entrée de schéma que vous souhaitez inclure dans la table de cache persistant.

Ouvrez l'éditeur de table cible de la table de cache persistant pour définir les options de table.

2012-11-22

Banques de données

Sur l'onglet Options de l'éditeur de table cible de cache persistant, il est possible de modifier les options suivantes pour la table de cache persistant.

• Comparaison des colonnes : indique la manière dont les colonnes d'entrée sont mappées aux colonnes de table de cache persistant. Il existe deux options :

• Comparer_par_position : le logiciel ne prend pas en compte les noms de colonnes et mappe les colonnes sources aux colonnes cibles par position.

• Comparer_par_nom : le logiciel mappe les colonnes sources aux colonnes cibles par le nom.

Cette option est celle par défaut

• Inclure les clés en double : sélectionnez cette case à cocher pour cacher les clés en double.

Cette option est sélectionnée par défaut.

Sur l'onglet Clés, indiquez la/les colonne(s) clé(s) à utiliser comme clé dans la table de cache persistant.

Depuis le menu Projet, sélectionnez Enregistrer. Dans l'espace de travail, l'icône de la table de modèle est remplacée par une icône de table cible, et la table apparait dans la bibliothèque d'objets sous la liste des tables de la banque de données de cache persistant.

Rubriques associées

• Guide de référence : tables de cache persistant cible

5.2.8.3 Utilisation de tables de cache persistant comme des sources

Après avoir créé une table de cache persistant comme une cible dans un flux de données, il est possible d'utiliser une table de cache persistant comme une source dans n'importe quel flux de données. Il est

également possible de l'utiliser comme une table de recherche ou une table de comparaison.

Rubriques associées

• Guide de référence : source de cache persistant.

5.2.9 Banques de données liées

Plusieurs fournisseurs de base de données prennent en charge des chemins de communication à sens unique entre un serveur de base de données à un autre. Oracle appelle ces chemins liens de base de donnés. Dans DB2, le chemin de communication à sens unique d'un serveur de base de données à un autre est fourni par un serveur d'informations qui permet à un set de serveurs d'obtenir des données des sources de données distantes. Dans Microsoft SQL Server, les serveurs liés fournissent le chemin de communication à sens unique d'un serveur de base de données à un autre. Ces solutions permettent

99 2012-11-22

Banques de données aux utilisateurs locaux d'accéder à des données sur une base de données distante, qui peut se trouver sur l'ordinateur local ou distant, du même type de base de données ou d'un type différent.

Par exemple, un serveur de base de données local Oracle, appelé Ordres, peut stocker un lien de base de données pour accéder aux informations dans une base de données Oracle distante, appelée Clients.

Les utilisateurs connectés à Clients ne peuvent cependant pas utiliser le même lien pour accéder aux données dans Ordres. Les utilisateurs connectés à la base de données Client doivent définir un lien différent, stocké dans le dictionnaire de données de la base de données Client, pour accéder aux données sur Ordres.

Le logiciel fait référence aux chemins de communication entre les bases de données sous le nom de liens de base de données. Les banques de données dans une relation de lien de base de données sont appelées banques de données liées. Le logiciel utilise les banques de données liées pour améliorer sa performance en poussant vers le bas des opérations vers une base de données cible à l'aide d'une banque de données cibles.

Rubriques associées

• Guide d'optimisation de la performance : prise en charge des liens de base de données pour les opérations poussées vers le bas dans les banques de données.

5.2.9.1 Relations entre les liens de base de données et les banques de données

Un lien de base de données enregistre les informations sur la manière de se connecter à une source de données distante, telles que son nom d'hôte, le nom de la base de données, le nom de l'utilisateur, le mot de passe et le type de base de données. Les mêmes informations sont stockées dans une banque de données de base de données SAP BusinessObjects Data Services. Il est possible d'associer la banque de données à une autre banque de données et ensuite d'importer un lien de base de données externe comme une option de la banque de données. Les banques de données doivent se connecter aux bases de données définies dans le lien de base de données.

Les conditions supplémentaires sont les suivantes :

• Un serveur local pour des liens de base de données doit être un serveur cible dans le logiciel

• Un serveur distant pour des liens de base de données doit être un serveur source dans le logiciel

• Un lien de base de données externe (qui existe en premier dans une base de données) établit la relation entre une banque de données cible et une banque de données source

• Une banque de données locale peut être reliée à zéro ou plusieurs banques de données à l'aide d'un lien de base de données pour chaque base de données distante

• Deux banques de données peuvent être reliées ensemble à l'aide d'un seul lien

Le diagramme ci-dessous affiche les relations possibles entre les liens de base de données et les banques de données liées :

100 2012-11-22

Banques de données

Quatre liens de base de données, les DBLink 1 à 4, sont sur la base de données DB1 et le logiciel les lit par la banque de données Ds1.

• Le DBlink 1 relie la banque de données Ds1 à la banque de données Ds2. Cette relation est appelée banque de données liée Dblink1 (la banque de données liée porte le même nom que le lien de base de données externe).

• Dblink2 n'est mappé à aucune banque de données dans le logiciel car il relie Ds1 à Ds2, qui sont

également reliées à Dblink1. Bien qu'il ne s'agisse pas d'un cas ordinaire, il est possible de créer plusieurs liens de base de données externe qui connectent à la même source distante. Cependant, le logiciel n'autorise qu'un seul lien de base de données entre une banque de données cible et une paire de banques de données source. Par exemple, si vous sélectionnez DBLink1 pour lier la banque de données cible DS1 à la banque de données source DS2, vous ne pouvez pas importer DBLink2 pour réaliser la même chose.

• Dblink3 n'est mappé à aucune banque de données dans le logiciel car il n'existe aucune banque de données définie pour la source de données distante à laquelle le lien de base de données externe fait référence.

• Dblink4 relie Ds1 avec Ds3.

Rubriques associées

• Guide de référence : éditeur de banque de données

5.3 Banques de données de l'adaptateur

En fonction de l'implémentation de l'adaptateur, les adaptateurs permettent de :

• Parcourir les métadonnées d'application

• Importer les métadonnées d'application dans un référentiel

• Déplacer les données batch et en temps réel entre le logiciel et les applications

SAP offre un kit de développement de logiciel (SDK) pour adaptateur pour développer vos propres adaptateurs personnalisés. Vous pouvez également acheter les adaptateurs pré-packagés du logiciel

101 2012-11-22

Banques de données pour accéder aux métadonnées et aux données d'applications dans n'importe qu'elle application. Pour plus d'informations sur ces produits, contactez votre représentant commercial SAP.

Les adaptateurs sont représentés dans Designer par des banques de données d'adaptateur. Les jobs fournissent un mouvement de données batch et en temps réel entre le logiciel et les applications par des objets subordonnés d'une banque de données d'adaptateur :

Objets subordonnés Utilisés comme Pour

Tables Source ou cible

Documents

Fonctions

Source ou cible

Appel de fonction dans une requête

Mouvement de données batch

Fonctions de message

Messages sortants

Appel de fonction dans une requête

Cible uniquement

Les adaptateurs peuvent donner accès aux données et aux métadonnées d'une application, ou simplement aux métadonnées. Par exemple, si la source de données est compatible avec SQL, l'adaptateur peut être conçu pour accéder aux métadonnées, tandis que le logiciel extrait les données de ou charge les données directement dans l'application.

Rubriques associées

• Guide Management Console Guide : adaptateurs

•

Objets sources et cibles

•

Modification du nom du propriétaire de table et de fonction

5.3.1 Définition d'une banque de données d'adaptateur

Vous devez définir au moins une banque de données pour chaque adaptateur par lequel vous extrayez ou chargez des données.

Pour définir une banque de données, vous devez avoir les privilèges d'accès à l'application servie par l'adaptateur.

102 2012-11-22

Banques de données

103

5.3.1.1 Définir une banque de données d'adaptateur

Pour créer une banque de données d'adaptateur, vous devez d'abord installer l'adaptateur sur l'ordinateur du Job Server, configurer le Job Server pour prendre en charge les adaptateurs locaux à l'aide de l'utilitaire Gestionnaire de serveurs et vérifier que le service du Job Server est en cours d'exécution.

Dans la bibliothèque d'objets, cliquez pour sélectionner l'onglet Banques de données.

Faites un clic droit et sélectionnez Nouveau.

La fenêtre Créer une banque de données s'ouvre.

Saisissez un nom d'identification unique pour la banque de données.

Le nom de la banque de données apparaît uniquement dans Designer. Il peut être identique à celui de l'adaptateur.

Dans la liste Type de la banque de données, sélectionner Adaptateur.

Sélectionnez un Job Server dans la liste.

Les adaptateurs qui se trouvent sur l'ordinateur du Job Server et qui sont enregistrés avec le Job

Server sélectionné apparaissent dans la liste du Job Server.

Sélectionnez une instance d'adaptateur dans la liste Nom de l'instance de l'adaptateur.

Saisissez toutes les informations de l'adaptateur requises pour terminer la connexion à la banque de données.

Remarque :

Si le développeur a inclut une description pour chaque option, le logiciel l'affiche en dessous de la grille. La documentation de l'adaptateur doit lister toutes les informations requises pour une connexion

à la banque de données.

Pour l'ensemble de la banque de données, les boutons suivants sont disponibles

Boutons Description

Modifier

Afficher l'ATL

Ouvre la Configuration pour la boîte de dialogue Banque de données.

Utilisez la barre d'outils de cette fenêtre pour ajouter, configurer et gérer plusieurs configurations pour une banque de données.

Ouvre une fenêtre de texte qui affiche la manière dont le logiciel code vos sélections pour cette banque de données dans son langage de script.

Enregistre les sélections and ferme la fenêtre Editeur de banque de données (Créer une banque de données).

2012-11-22

Banques de données

104

Boutons

Annuler

Appliquer

Description

Annule les sélections et ferme la fenêtre Editeur de banque de données

Enregistre les sélections.

Cliquez sur OK.

La configuration de banque de données est enregistrée dans le référentiel de métadonnées et la nouvelle banque de données apparait dans la bibliothèque d'objets.

Après avoir créé une connexion à la banque de données, il est possible de parcourir et/ou d'importer les métadonnées depuis la source de données par le biais de l'adaptateur.

5.3.1.2 Modifier la configuration d'une banque de données d'adaptateur

Faites un clic droit sur la banque de données que vous souhaitez parcourir et sélectionnez Modifier pour ouvrir la fenêtre Editeur de banques de données.

Modifiez les informations de configuration.

Lorsque vous modifiez une banque de données d'adaptateur, saisissez ou sélectionnez une valeur.

Le logiciel recherche le Job server et le nom de l'instance de l'adaptateur que vous avez indiqués.

Si le Job Server et l'instance de l'adaptateur existent tous les deux, et que Designer peut communiquer pour obtenir les propriétés de l'adaptateur, alors il les affiche en conséquence. Si Designer ne peut pas obtenir les propriétés de l'adaptateur, il conserve les anciennes propriétés.

Cliquez sur OK.

La configuration modifiée de la banque de données est enregistrée dans le référentiel de métadonnées.

5.3.1.3 Supprimer une banque de données d'adaptateur et les objets de métadonnées associés

Faites un clic droit sur la banque de données que vous souhaitez supprimer et sélectionnez

Supprimer.

Cliquez sur OK dans la fenêtre de confirmation.

2012-11-22

Banques de données

Le logiciel supprime du référentiel de métadonnées la banque de données et tous les objets de métadonnées contenus dans cette banque de données.

Si ces objets existent dans des flux établis, ils apparaissent avec une icône de suppression.

5.3.2 Parcourir les métadonnées depuis une banque de données d'adaptateur

Les métadonnées que vous pouvez parcourir dépendent de l'adaptateur spécifique.

5.3.2.1 Parcourir les métadonnées d'application

Faites un clic droit sur la banque de données que vous souhaitez parcourir puis sélectionnez Ouvrir.

Une fenêtre s'ouvre et affiche les métadonnées sources.

Faites défiler pour voir les attributs de nom et de description des métadonnées.

Cliquez sur le signe plus (+) pour développer les objets et afficher les objets subordonnés.

Faites un clic droit sur un objet pour contrôler l'importabilité.

5.3.3 Importation de métadonnées par une banque de données d'adaptateur

Les métadonnées que vous pouvez importer dépendent de l'adaptateur spécifique. Après avoir importé les métadonnées, il est possible de les modifier. Les modifications sont propagées vers tous les objets qui appellent ces objets.

5.3.3.1 Importer les métadonnées d'application en naviguant

Faites un clic droit sur la banque de données que vous souhaitez parcourir puis sélectionnez Ouvrir.

Trouvez dans la liste navigable l'objet de métadonnées que vous souhaitez importez.

Faites un clic droit sur l'objet et sélectionnez Importer.

L'objet est importé dans un des conteneurs de banque de données de l'adaptateur (documents, fonctions, tables, messages sortants ou fonctions de message).

105 2012-11-22

Banques de données

5.3.3.2 Importer les métadonnées d'application par nom

Faites un clic droit sur la banque de données de laquelle vous souhaitez les métadonnées, puis sélectionnez Importer par nom.

La fenêtre Importer par nom apparait ; elle contient les paramètres d'importation avec les zones de texte correspondantes.

Cliquez sur chaque zone de texte des paramètres d'importation et saisissez les informations spécifiques liées à l'objet que vous souhaitez importer.

Cliquez sur OK. Tous les objets qui correspondent à vos contraintes de paramètres sont importés dans l'une des catégories correspondantes indiquées dans la banque de données.

5.4 Banques de données de services Web

Les banques de données de services Web représentent une connexion depuis Data Services vers une source de données externe basée sur les services Web.

5.4.1 Définition d'une banque de données de services Web

Vous devez définir au moins une banque de données pour chaque service Web avec lequel vous

échangez des données.

Pour définir une banque de données, vous devez avoir les privilèges d'accès aux services Web appropriés décrits par la banque de données.

5.4.1.1 Définir une banque de données de services Web

Dans l'onglet Banques de données de la bibliothèque d'objets, faites un clic droit et sélectionnez

Nouveau.

Saisissez le nom de la nouvelle banque de données dans le champ Nom de la banque de données.

Le nom peut contenir tous les caractères alphabétiques ou numériques, ou des tirets de soulignement

(_). Il ne peut pas contenir d'espace.

106 2012-11-22

Banques de données

Sélectionnez le Type de banque de données.

Sélectionnez service Web. Lorsque vous sélectionnez un type de banque de données, Data Services affiche les autres options pertinentes pour ce type.

Indiquez l'URL du service Web.

L'URL doit accepter les connexions et renvoyer le WSDL.

Cliquez sur OK.

La configuration de banque de données est enregistrée dans le référentiel de métadonnées et la nouvelle banque de données apparait dans la bibliothèque d'objets.

Après avoir terminé la connexion à la banque de données, il est possible de parcourir et/ou d'importer les métadonnées du service Web par le biais de la banque de données.

5.4.1.2 Modifier la configuration d'une banque de données de services Web

Faites un clic droit sur la banque de données que vous souhaitez parcourir et sélectionnez Modifier pour ouvrir la fenêtre Editeur de banques de données.

Modifiez les informations de configuration.

Cliquez sur OK.

La configuration modifiée de la banque de données est enregistrée dans le référentiel de métadonnées.

5.4.1.3 Supprimer une banque de données de services Web et les objets de métadonnées associés

Faites un clic droit sur la banque de données que vous souhaitez supprimer et sélectionnez

Supprimer.

Cliquez sur OK dans la fenêtre de confirmation.

Data Services supprime du référentiel de métadonnées la banque de données et tous les objets de métadonnées contenus dans cette banque de données. Si ces objets existent dans des flux de données établis, ils apparaissent avec une icône de suppression.

5.4.2 Parcourir les métadonnées WSDL depuis une banque de données de services

Web

107 2012-11-22

Banques de données

Data Services enregistre les informations de métadonnées pour tous les objets importés dans une banque de données. Il est possible d'utiliser Data Services pour afficher les métadonnées pour les objets importés et non importés, et pour contrôler si les métadonnées ont changé pour les objets déjà importés.

5.4.2.1 Afficher les objets importés

Accédez à l'onglet Banques de données dans la bibliothèque d'objets.

Cliquez sur le signe plus (+) à côté du nom de la banque de données pour afficher les types d'objet dans la banque de données. Les banques de données de services Web possèdent des fonctions.

Cliquez sur le signe plus (+) à côté d'un type d'objet pour afficher les objets de ce type importés depuis la banque de données.

5.4.2.2 Trier la liste des objets

5.4.2.3 Afficher les métadonnées WSDL

Sélectionnez l'onglet Banques de données dans la bibliothèque d'objets.

Sélectionnez une banque de données, faites un clic droit et sélectionnez Ouvrir. (Il est également possible de double-cliquer sur l'icône de la banque de données.)

Data Services ouvre l'explorateur de banque de données dans l'espace de travail. L'explorateur de banque de données liste les ports et les opérations de services Web dans la banque de données.

Il est possible de voir les ports et les opérations dans le service Web externe ou dans le référentiel interne. Il est également possible de faire une recherche dans ces composants.

Sélectionnez Métadonnées externes pour afficher les ports et opérations de services Web à partir d'un WSDL externe.

Si vous sélectionnez une opération ou plus, il est possible de faire un clic droit pour plus d'options.

108 2012-11-22

Banques de données

Commande

Importer

Description

Importe (ou ré-importe) des opérations de la base de données vers le référentiel.

Sélectionnez Métadonnées du référentiel pour afficher les opérations de services Web importées.

Si vous sélectionnez une opération ou plus, il est possible de faire un clic droit pour plus d'options.

Commande

Supprimer

Propriétés

Description

Supprime l'opération ou les opérations du référentiel.

Affiche les propriétés de l'opération de service Web sélectionnée.

5.4.3 Importation de métadonnées par une banque de données de services Web

Pour les banques de données de services Web, il est possible d'importer les métadonnées pour des opérations de service Web.

5.4.3.1 Importer les opérations de services Web

Faites un clic droit sur la banque de données que vous souhaitez parcourir puis sélectionnez Ouvrir.

Trouvez dans la liste navigable l'opération de services Web que vous souhaitez importez.

Faites un clic droit sur l'opération et sélectionnez Importer.

L'opération est importée dans le conteneur de fonctions de la banque de données de services Web.

5.5 Création et gestion de plusieurs configurations de banques de données

La création de plusieurs configurations pour une seule banque de données permet de consolider des connexions aux banques de données distinctes pour des sources ou des cibles similaires dans une banque de données source ou cible avec plusieurs configurations. Il est alors possible de sélectionner un ensemble de configurations qui inclut les sources et les cibles que vous souhaitez en sélectionnant une configuration système lorsque vous exécutez ou planifiez le job. La possibilité de créer plusieurs configurations de banque de données offre une plus grande facilité d'utilisation pour les scénarios de portabilité de job, tels que :

109 2012-11-22

Banques de données

• OEM (différentes bases de données pour la conception et la distribution)

• Migration (différentes connexions pour DEV, TEST et PROD)

• Multi-instance (bases de données avec des versions différentes ou des paramètres régionaux)

• Multi-utilisateurs (bases de données pour les référentiels centraux et locaux)

Rubriques associées

•

Solutions de portabilité

5.5.1 Définitions

Faites référence aux termes suivants lors de la création et la gestion de plusieurs configurations de banque de donnés

110 2012-11-22

Banques de données

Terme

Configuration de banque de données

Configuration de banque de données par défaut

Configuration de banque de données actuelle

Objets de base de données

Définition

Permet de fournir plusieurs sources ou cibles de métadonnées pour les banques de données. Chaque configuration est une propriété d'une banque de données qui fait référence à un ensemble d'options configurables (telles que le nom de connexion à la base de données, le type de base de données, le nom d'utilisateur, le mot de passe, et le paramètre régional) et à leurs valeurs.

La configuration de banque de données utilisée par le logiciel pour parcourir et importer les objets de la base de données (tables et fonctions), et pour exécuter les jobs si aucune configuration système n'est indiquée. Si une banque de données a plus d'une configuration, sélectionnez une configuration par défaut au besoin.

Si la banque de données a une seule configuration, le logiciel l'utilise comme configuration par défaut.

La configuration de banque de données utilisée par le logiciel pour exécuter un job. Si vous définissez une configuration système, le logiciel exécute le job à l'aide de la configuration de système. Indiquez une configuration actuelle pour chaque configuration système. Si vous ne créez pas une configuration de système, ou que la configuration système ne spécifie pas de configuration pour une banque de données, le logiciel utilise la configuration de banque de données par défaut comme la configuration actuelle lors de l'exécution du job.

Les tables et les fonctions qui sont importées d'une banque de données. Les objets de base de données possèdent normalement des propriétaires. Certains objets de base de données n'ont pas de propriétaire. Par exemple, les objets de base de données dans une banque de données ODBC connectée à une base de données

Access n'ont pas de propriétaire.

111 2012-11-22

Banques de données

Terme

Nom du propriétaire

Alias

Objets dépendants

Définition

Le nom du propriétaire pour un objet de base de données (par exemple, une table) dans une base de données sous-jacente.

Egalement connu comme nom du propriétaire de la base de données ou nom du propriétaire physique.

Un nom de propriétaire logique. Créez un alias pour les objets qui sont dans des environnements de base de données différents s'il existe des noms de propriétaire différents dans ces environnements. Il est possible de créer un alias depuis un éditeur de banque de données pour n'importe quelle configuration de banque de données.

Les objets dépendants sont les jobs, les workflows, les flux de données et les fonctions personnalisées dans lesquels un objet de base de données est utilisé. Les informations d'objets dépendants sont générées par l'utilitaire cas d'emploi.

5.5.2 Pourquoi utiliser plusieurs configurations de banque de données ?

En créant plusieurs configurations de banque de données, il est possible de réduire le temps de développement de bout en bout dans un environnement d'entrepôt des données d'entreprise multi-source,

24h/24, 7j/7, car il est possible de transporter facilement les jobs dans différents types, versions et instances de base de données.

Par exemple, le déplacement peut être aussi simple que :

Créer une nouvelle configuration dans une banque de données source ou cible existante.

Ajouter un alias de banque de données puis de mapper les configurations avec des noms de propriétaire d'objets différents à cet alias.

Définir une configuration système puis d'ajouter des configurations de banque de données requises pour un environnement particulier. Sélectionner une configuration système lors de l'exécution d'un job.

5.5.3 Création d'une nouvelle configuration

Il est possible de créer plusieurs configurations pour tous les types de banque de données, hormis les banques de données en mémoire. Utilisez l'éditeur de banque de données pour créer et modifier les configurations de banque de données.

112 2012-11-22

Banques de données

Rubriques associées

• Guide de référence : descriptions d'objets, banques de données

113

5.5.3.1 Créer une nouvelle configuration de banque de données

A partir de l'onglet Banques de données de la bibliothèque d'objets, faites un clic droit sur une banque de données existante et sélectionnez Modifier.

Cliquez sur Avancé pour afficher les informations de la configuration existante.

Chaque banque de données doit avoir au moins une configuration. Si une seule configuration existe, c'est la configuration par défaut.

Cliquez sur Modifier pour ouvrir la fenêtre Configurations pour la banque de données.

Cliquez sur l'icône Créer une configuration dans la barre d'outils.

La fenêtre Créer une configuration s'ouvre.

Dans la fenêtre Créer une configuration : a.

Saisissez un Nom de configuration unique et logique.

Sélectionnez un Type de la base de données dans le menu déroulant.

Sélectionnez une Version de la base de données dans le menu déroulant.

Dans la section Valeurs des tables cibles et des transformations SQL, le logiciel présélectionne la valeur Utiliser les valeurs de en fonction du type et de la version de la base de données existante. Designer utilise automatiquement la transformation SQL et les valeurs cible existantes pour le même type et version de base de données.

De plus, si la base de données que vous souhaitez associer à la nouvelle configuration est une version postérieure à celle associée aux autres configurations existantes, Designer renseigne automatiquement l'option "Utiliser les valeurs de" avec l'ancienne version.

Cependant, si un type et une version de base de données ne sont pas déjà indiqués dans la configuration existante, ou si la version de la base de données est plus ancienne que la configuration existante, il est possible de choisir d'utiliser les valeurs d'une autre configuration existante ou de la configuration par défaut pour le type et la version de base de données.

Cochez ou décochez l'option Restaurer des valeurs si elles existent déjà.

Lorsque vous supprimez les configurations de banque de données, le logiciel enregistre toutes les valeurs de cible et les transformations SQL associées. Si vous créez une nouvelle configuration de banque de données avec le même type et la même version de base de données que celle précédemment supprimée, l'option Restaurer des valeurs si elles existent déjà permet d'accéder et de profiter des paramètres de valeur enregistrés.

• Si vous conservez cette option (sélectionnée par défaut), le logiciel utilise les valeurs personnalisées cibles et de transformation SQL des anciennes configurations de banque de données supprimées.

2012-11-22

Banques de données

• Si vous désélectionnez Restaurer des valeurs si elles existent déjà, le logiciel n'essaye pas de restaurer les valeurs de cible et de transformation SQL, vous permettant de fournir de nouvelles valeurs.

Cliquez sur OK pour enregistrer la nouvelle configuration.

Si la banque de données contient des flux de données préexistants avec des transformations

SQL ou des objets cibles, le logiciel doit ajouter de nouvelles valeur de type et de version de base de données pour ces transformations et objets cibles. Dans ce cas, lorsque vous ajoutez une nouvelle configuration de banque de données, le logiciel affiche la fenêtre "Nouvelles valeurs ajoutées - Objets modifiés" qui fournit des informations détaillées sur les flux de données affectés et les objets modifiés. Ces mêmes résultats s'affichent également dans la fenêtre Sortie de

Designer.

Pour chaque banque de données, le logiciel requiert qu'une configuration soit désignée comme la configuration par défaut. Le logiciel utilise la configuration par défaut pour importer les métadonnées et conserve également la configuration par défaut lors de l'exportation et des opérations multi-utilisateurs.

La première configuration de banque de données est automatiquement désignée comme la configuration par défaut ; cependant, après avoir ajouté une ou plusieurs configurations de banque de données supplémentaires, il est possible d'utiliser l'éditeur de banque de données pour marquer une configuration différente comme configuration par défaut.

Lorsque vous exportez un référentiel, le logiciel conserve toutes les configurations de toutes les banques de données, y compris les paramètres de texte de transformation SQL et de l'éditeur de table cible. Si la banque de données que vous exportez existe déjà dans le référentiel cible, le logiciel remplace les configurations dans la cible par les configurations sources. Le logiciel exporte les configurations système séparément des autres objets de jobs reliés.

5.5.4 Ajout d'un alias de banque de données

Depuis l'éditeur de banque de données, il est également possible de créer plusieurs alias pour une banque de données puis de mapper les configurations de banque de données à chaque alias.

114

5.5.4.1 Créer un alias

Dans l'éditeur de banque de données, cliquez sur Avancé, puis sur Alias (cliquez ici pour les

créer).

La fenêtre Créer un alias s'ouvre.

Sous Nom de l'alias dans Designer, utilisez uniquement des caractères alphanumériques et le symbole de tiret de soulignement (_) pour saisir un nom d'alias.

Cliquez sur OK.

2012-11-22

Banques de données

La fenêtre "Créer un alias" se ferme et le nouvel alias apparaît sous la catégorie Alias.

Lorsque vous définissez un alias de banque de données, le logiciel remplace l'alias de la configuration de banque de données indiqué pour le nom du propriétaire réel lors de l'importation de métadonnées pour les objets de base de données. Il est également possible de renommer les tables et les fonctions après les avoir importées.

Rubriques associées

•

5.5.5 Fonctions pour identifier la configuration

Le logiciel fournit 6 fonctions qui sont utiles lors de l'utilisation de plusieurs configurations de banque de données cible et source.

Fonction Catégorie Description

type_de_BdD db_version

Divers

Renvoie le type de base de données de la configuration de banque de données actuelle.

Renvoie la version de base de données de la configuration de banque de données actuelle.

db_database_name db_owner current_configuration current_system_configura tion

Divers

Renvoie le nom de la base de données de la configuration de banque de données actuelle si le type de base de données est MS SQL Server ou Sybase ASE.

Renvoie le nom du propriétaire réel qui correspond au nom d'alias donné sous la configuration de banque de données actuelle.

Renvoie le nom de la configuration de banque de données qui est utilisée lors de l'exécution.

Renvoie le nom de la configuration système actuelle.

Si aucune configuration système n'est définie, renvoie une valeur nulle.

115 2012-11-22

Banques de données

Le logiciel lie les paramètres de transformation SQL et d'éditeur de table cible utilisés dans un flux de données aux configurations de banque de données. Il est également possible d'utiliser une interpolation de variable dans un texte SQL avec ces fonctions pour permettre à la transformation SQL de s'effectuer correctement sans tenir compte de la configuration utilisée par Job server lors de l'exécution du job.

Utilisez l'Administrateur pour sélectionner une configuration système ainsi que pour afficher la configuration de banque de données sous-jacente associée lorsque vous :

• Exécutez des jobs batch

• Planifiez des jobs batch

• Affichez l'historique d'un job batch

• Créez des services pour les jobs en temps réel

Pour utiliser plusieurs configurations correctement, concevez les jobs pour ne pas avoir à modifier les schémas, types de données, fonctions, variables, etc. lorsque vous passez d'une configuration de banque de données à une autre. Par exemple, si vous avez une banque de données avec une configuration pour des sources Oracle et des sources SQL, assurez-vous que les schémas de métadonnées de table correspondent exactement. Utilisez les mêmes noms de table, noms d'alias, numéros et ordre de colonnes, ainsi que les mêmes noms de colonne, types de données et types de contenu.

Rubriques associées

• Guide de référence : descriptions de fonctions intégrées

• Guide de référence : SQL

•

Astuces de portabilité des jobs

5.5.6 Solutions de portabilité

Définissez plusieurs configurations sources ou cibles pour une seule banque de données si vous souhaitez modifier rapidement les connexions à une base de données source ou cible différente. Le logiciel offre plusieurs solutions différentes pour les job de déplacement.

Rubriques associées

•

Développement multi-utilisateurs

•

Configuration d'environnement multi-utilisateurs

5.5.6.1 Migration entre environnements

116 2012-11-22

Banques de données

Lorsque vous devez déplacer les métadonnées du référentiel vers un autre environnement (par exemple du développement au test, ou du test à la production) qui utilise des bases de données sources et cibles différentes, le processus inclut généralement les caractéristiques suivantes :

• Les environnements utilisent le même type de base de données mais peuvent avoir des versions ou des paramètres régionaux de base de données uniques.

• Les objets de base de données (tables et fonctions) peuvent appartenir à des propriétaires différents.

• Chaque environnement a un nom de connexion à la base de données, un nom d'utilisateur, un mot de passe, d'autres propriétés de connexion et un mappage du propriétaire uniques.

• Vous utilisez une procédure de migration du référentiel typique. Soit vous exportez les jobs vers un fichier ATL puis importez le fichier ATL dans un autre référentiel, soit vous exportez directement les jobs d'un référentiel à un autre.

Puisque le logiciel remplace les configurations de banques de données lors de l'exportation, il est recommandé d'ajouter des configurations pour l'environnement cible (par exemple, ajouter des configurations pour l'environnement test lors de la migration du développement au test) au référentiel source (par exemple, ajouter au référentiel de développement avant la migration vers l'environnement test). L'utilitaire Exportation enregistre les configurations supplémentaires dans l'environnement cible, ce qui signifie que vous n'avez pas besoin de modifier les banques de données avant d'exécuter des jobs déplacés dans l'environnement cible.

Cette solution offre les avantages suivants :

• Temps d'arrêt de production minimal. Vous pouvez démarrer les jobs dès que vous les avez importés.

• Problèmes de sécurité minimaux. Les testeurs et les opérateurs en production n'ont pas besoin d'autorisation pour modifier les objets du référentiel.

Rubriques associées

• Guide d'administration : exportation/importation

117

5.5.6.2 Chargement de plusieurs instances

Si vous devez charger plusieurs instances d'une source de données dans un entrepôt de données cible, la tâche est la même que pour un scénario de migration, sauf que vous utilisez un seul référentiel.

5.5.6.2.1 Charger plusieurs instances d'une source de données dans un entrepôt de données cible

Créez une banque de données qui se connecte à une instance particulière.

Définissez la première configuration de banque de données. Cette configuration de banque de données contient toutes les propriétés configurables telles que le type de base de données, le nom de connexion à la base de données, le nom d'utilisateur, le mot de passe, la version de la base de données, et les informations des paramètres régionaux.

2012-11-22

Banques de données

Lorsque vous définissez une configuration d'une banque de données d'adaptateur, assurez-vous que le Job Server pertinent s'exécute afin que Designer puisse rechercher toutes les instances d'adaptateur disponibles pour la banque de données.

Définissez un ensemble de mappage alias-au-propriétaire dans la configuration de banque de données. Lorsque vous utilisez un alias pour une configuration, le logiciel importe tous les objets à l'aide de l'alias de métadonnées plutôt qu'à l'aide des noms de propriétaire réels. Cela permet d'utiliser les objets de base de données pour les jobs qui sont transparents pour les autres instances de base de données.

Utilisez l'outil de renommage du propriétaire de l'objet de la base de données pour renommer les propriétaires des objets de base de données existants.

Importez les objets de la base de données et développez des jobs à l'aide de ces objets, puis exécutez les jobs.

Pour prendre en charge les jobs qui exécutent sous différentes instances, ajoutez des configurations de banque de données pour chaque instance supplémentaire.

Mappez les noms du propriétaire à partir des nouvelles configurations d'instance de base de données aux alias que vous avez définis dans une étape précédente.

Exécutez les jobs dans toutes les instances de base de données.

Rubriques associées

•

Modification du nom du propriétaire de table et de fonction

118

5.5.6.3 Déploiement d'OEM

Si vous concevez des jobs pour un type de base de données et déployez ces jobs vers d'autres types de base de données comme partenaire OEM, le déploiement possède généralement les caractéristiques suivantes :

• L'instance nécessite plusieurs types et versions de base de données source.

• Puisqu'une banque de données peut seulement accéder à une instance à la fois, il est possible que vous deviez déclencher des fonctions lors de l'exécution pour correspondre aux différentes instances.

Si c'est le cas, le logiciel nécessite un texte SQL différent pour les fonctions (telles que lookup_ext et sql) et les transformations (telles que la transformation SQL). Le logiciel nécessite également des paramètres différents pour la table cible (configurables dans l'éditeur de table cible).

• Les instances peuvent utiliser des paramètres régionaux différents.

• Les tables de base de données dans différentes bases de données appartiennent à des propriétaires différents.

• Chaque instance a un nom de connexion à la base de données, un nom d'utilisateur, un mot de passe, d'autres propriétés de connexion et des mappages du propriétaire uniques.

• Vous exportez les jobs vers des fichiers ATL pour le déploiement.

2012-11-22

Banques de données

119

5.5.6.3.1 Déployer des jobs vers d'autres types de base de données comme des partenaires

OEM.

Développez des jobs pour un type particulier de base de données en suivant les étapes décrites dans le scénario

Chargement de plusieurs instances

Pour prendre en charge une nouvelle instance sous un nouveau type de base de données, le logiciel copie les propriétés de base de données de la table cible et de la transformation SQL à partir de la configuration précédente vers chaque configuration supplémentaire lorsque vous l'enregistrez.

Si vous avez sélectionné une méthode de chargeur par lots pour une ou plusieurs table(s) cible dans les flux de données du job, et que de nouvelles configurations s'appliquent à des types de base de données différents, ouvrez les cibles et définissez manuellement l'option de chargeur par lots (si vous souhaitez toujours utiliser la méthode de chargeur par lots avec le nouveau type de base de données). Le logiciel ne copie pas les options de chargeur par lot pour les cibles d'un type de base de données à un autre.

Lorsque le logiciel enregistre une nouvelle configuration, il génère également un rapport qui fournit une liste des cibles automatiquement définies pour le chargement par lots. Faites référence à ce rapport pour apporter des modifications manuelles si besoin.

Si le texte SQL dans une transformation SQL ne s'applique pas au nouveau type de base de données, modifiez le texte SQL pour le nouveau type de base de données.

Si le texte SQL contient des noms de propriétaire ou de base de données codés en dur, pensez à remplacer ces noms avec des variables pour fournir des noms de propriétaire et des noms de base de données pour plusieurs types de base de données. Ainsi, vous ne devez pas modifier le texte

SQL pour chaque environnement.

Puisque le logiciel ne prend pas en charge un texte SQL unique pour chaque type ou version de base de données des fonctions sql(), lookup_ext(), et pushdown_sql(), utilisez la fonction db_type et les fonctions similaires pour obtenir le type et la version de base de données de la configuration de banque de données actuelle et fournir le texte SQL correct pour ce type et cette version de base de données à l'aide de la technique de substitution (interpolation) de variables.

Rubriques associées

• Guide de référence : SQL

5.5.6.4 Développement multi-utilisateurs

Si vous utilisez un système de gestion du référentiel central qui permet à plusieurs développeurs, chacun avec leur propre référentiel local, de recharger et d'extraire les jobs, l'environnement de développement possède généralement les caractéristiques suivantes :

• Il possède un référentiel central et un nombre de référentiels locaux.

2012-11-22

Banques de données

120

• Plusieurs environnements de développement sont parfois fusionnés (via des opérations de référentiel central telles que les rechargements et les extractions). Lorsque la fusion se produit, les noms de propriétaire réels (utilisés au départ pour l'importation d'objets) doivent être ensuite mappés à un ensemble d'alias partagés entre tous les utilisateurs.

• Le logiciel conserve l'historique des objets (versions et étiquettes).

• Les instances partagent le même type de base de données mais peuvent avoir des versions ou des paramètres régionaux de base de données différents.

• Les objets de base de données peuvent appartenir à des propriétaires différents.

• Chaque instance a un nom de connexion à la base de données, un nom d'utilisateur, un mot de passe, d'autres propriétés de connexion et un mappage du propriétaire uniques.

Dans le scénario de développement multi-utilisateurs, vous devez définir des alias pour que le logiciel puisse conserver correctement l'historique pour tous les objets dans l'environnement partagé.

5.5.6.4.1 Déplacement de jobs dans un environnement multi-utilisateurs

Lors du déplacement de jobs dans un environnement multi-utilisateurs, prenez en compte ces points :

• Renommez les propriétaires de table et les propriétaires de fonction pour consolider les noms de propriétaire des objets de base de données d'objets dans des alias

• La modification du nom se produit dans les référentiels locaux. Pour renommer les objets de base de données stockés dans le référentiel central, extrayez la banque de données vers un référentiel local et appliquez l'outil de renommage dans le référentiel local.

• Si les objets à renommer ont des objets dépendants, le logiciel vous demande d'extraire les objets dépendants.

• Si tous les objets dépendants peuvent être extraits, le renommage crée un nouvel objet qui possède l'alias et supprime l'objet d'origine qui possède le nom du propriétaire d'origine.

• Si tous les objets dépendants ne peuvent pas être extraits (les flux de données sont extraits par un autre utilisateur), le logiciel affiche un message qui vous laisse l'option de continuer ou d'annuler l'opération. Si vous ne pouvez pas extraire certains objets dépendants, l'outil de renommage affecte uniquement les flux que vous pouvez extraire. Après le renommage, l'objet d'origine coexiste avec le nouvel objet. Le nombre de flux touchés par le processus de renommage affecte les informations sur l'utilisation et les cas d'emploi dans Designer pour l'objet d'origine et le nouvel objet.

• Vous êtes responsable du rechargement de tous les objets dépendants qui ont été extraits durant le processus de renommage du propriétaire. Le rechargement de nouveaux objets n'entraine pas automatiquement le rechargement des objets dépendants qui ont été extraits.

• Le logiciel ne supprime pas les objets d'origine du référentiel central lorsque vous rechargez les nouveaux objets.

• Soyez prudents car le fait de recharger dans les banques de données et de les extraire comme des opérations multi-utilisateur peut remplacer les configurations de banque de données.

• Conservez les configurations de banque de données de tous les utilisateurs en ne remplaçant pas les configurations qu'ils ont créées. Ajoutez plutôt une configuration et définissez-la comme configuration par défaut lorsque vous travaillez dans votre propre environnement.

• Lorsque votre groupe termine la phase de développement, il est recommandé que le dernier développeur supprime les configurations qui s'appliquent aux environnements de

2012-11-22

Banques de données développement et ajoutez les configurations qui s'appliquent aux environnements de test ou de production.

5.5.7 Astuces de portabilité des jobs

• Le logiciel suppose que les métadonnées d'une table ou d'une fonction sont les mêmes dans les différents types et versions de base de données indiqués dans les différentes configurations d'une même banque de données. Par exemple, si vous importez une table lorsque la configuration par défaut de la banque de données est Oracle, puisque vous utilisez la table dans un job pour extraire depuis DB2, le job exécutera.

• Importez les métadonnées pour un objet de base de données à l'aide de la configuration par défaut et utilisez les mêmes métadonnées avec toutes les configurations définies dans la même banque de données.

• Le logiciel prend en charge ses options dans certains types ou versions de base de données qu'il ne prend pas en charge dans d'autres. Par exemple, le logiciel prend en charge la lecture parallèle sur les tables partitionnées par hachage Oracle, mais pas sur les tables partitionnées par hachage de DB2 ou d'autres bases de données. Si vous importez une table partitionnée par hachage Oracle et définissez le flux de données pour exécuter en parallèle, le logiciel lit à partir de chaque partition en parallèle. Cependant, lorsque vous exécutez un job à l'aide des sources de l'environnement DB2, la lecture parallèle ne se produit pas.

• Les fonctionnalités suivantes prennent en charge la portabilité de job :

• Transformation SQL améliorée

Avec la transformation SQL améliorée, il est possible de saisir un texte SQL différent pour les différents types/versions de base de données, et d'utiliser une substitution de variables dans le texte SQL pour permettre au logiciel de lire le bon texte pour la configuration de banque de données associée.

• Editeur de table cible amélioré

A l'aide des options de l'éditeur de table cible amélioré, il est possible de configurer les cibles de table de base de données pour les différents types/versions de base de données pour correspondre à leurs configurations de banque de données.

• Editeur de banque de données amélioré

A l'aide de l'éditeur de banque de données amélioré, il est possible de choisir lors de la création d'une nouvelle configuration de banque de données de copier les propriétés de la base de données (y compris les options de cible de table et de banque de données, ainsi que le texte de la transformation SQL) à partir d'une configuration existante, ou d'utiliser les valeurs actuelles.

• Lors de la conception d'un job qui est exécuté à partir de types ou versions de base de données différentes, nommez les tables de base de données, les fonctions, et les procédures stockées de la même façon pour toutes les sources. Si vous créez des configurations pour des bases de données

121 2012-11-22

Banques de données non sensibles à la casse et pour des bases de données sensibles à la casse dans la même banque de données, il est recommandé de nommer les tables, fonctions, et procédures stockées avec des caractères tout en majuscules.

• Les schémas de table doivent correspondre dans les bases de données de la banque de données.

Cela signifie que le nombre de colonnes, les noms des colonnes, et les positions des colonnes doit

être exactement les mêmes. Les types de données de la colonne doivent être les mêmes ou compatibles. Par exemple, si vous avez une colonne VARCHAR dans une source Oracle, utilisez

également une colonne VARCHAR dans la source Microsoft SQL Server. Si vous avez une colonne

DATE dans une source Oracle, utilisez une colonne DATETIME dans la source Microsoft SQL

Server. Définissez les clés primaires et étrangères de la même manière.

• Les schémas de procédures stockées doivent correspondre. Lorsque vous importez une procédure stockées depuis une configuration de banque de données, et que vous l'utilisez pour une autre configuration de banque de données, le logiciel suppose que la signature de la procédure stockées est exactement la même pour les deux bases de données. Par exemple, si une procédure stockée est une fonction stockée (uniquement les fonctions stockées prises en charge par Oracle), alors vous devez l'utiliser comme une fonction avec toutes les autres configurations dans une banque de données (en d'autres termes, toutes les bases de données doivent être Oracle). Si la procédure stockée a trois paramètres dans une base de données, elle doit avoir exactement trois paramètres dans les autres bases de données. De plus, les noms, positions, types de données et les types in/out des paramètres doivent correspondre exactement.

Rubriques associées

•

Développement multi-utilisateurs

•

Configuration d'environnement multi-utilisateurs

5.5.8 Modification du nom du propriétaire de table et de fonction

Le logiciel permet de renommer le propriétaire des tables importées, tables de modèle ou des fonctions.

Ce processus est appelé renommage de propriétaire.

Utilisez le renommage de propriétaire pour affecter un alias de métadonnées unique au lieu du nom du propriétaire réel pour les objets de la base de données dans la banque de données. La consolidation de métadonnées sous un nom d'alias unique permet d'accéder à des informations cohérentes et précises sur les dépendances à tout moment tout en permettant également de passer plus facilement d'une configuration à une autre lorsque vous déplacez les jobs dans différents environnements.

Lors de l'utilisation d'objets stockés dans un référentiel central, un alias partagé permet de suivre facilement les objets rechargés par plusieurs utilisateurs. Si tous les utilisateurs des référentiels locaux utilisent le même alias, le logiciel peut suivre les dépendances pour les objets rechargés et extraits du référentiel central par votre équipe.

Lorsque vous renommez un propriétaire, les instances d'une table ou d'une fonction dans un flux de données sont affectées, et non pas la banque de données depuis laquelle elles ont été importées.

122 2012-11-22

Banques de données

123

5.5.8.1 Renommer le propriétaire d'une table ou d'une fonction

A partir de l'onglet Banque de données de la bibliothèque d'objets locale, développez une table, une table de modèle ou une catégorie de fonction.

Faites un clic droit sur la table ou sur la fonction et sélectionnez Renommer le propriétaire.

Saisissez un Nouveaunom du propriétaire puis cliquez sur Renommer.

Lorsque vous saisissez un Nouveau nom du propriétaire, le logiciel l'utilise comme un alias de métadonnées pour la table ou la fonction.

Remarque :

Si l'objet que vous renommez existe déjà dans la banque de données, le logiciel détermine si les deux objets ont le même schéma. Si c'est le cas, alors le logiciel poursuit. Si les schémas sont différents, alors le logiciel affiche un message à cet effet. Il est possible que vous deviez choisir un nom d'objet différent.

Le logiciel prend en charge les renommages de propriétaire sensibles à la casse ou non sensibles à la casse.

• Si les objets que vous souhaitez renommer proviennent d'une base de données sensible à la casse, le mécanisme de renommage du propriétaire conserve la sensibilité à la casse.

• Si les objets que vous souhaitez renommer proviennent d'une banque de données qui contient des bases de données sensibles à la casse et non sensibles à la casse, le logiciel reposera la sensibilité

à la casse des nouveaux noms de propriétaire sur la sensibilité à la casse de la configuration par défaut. Pour s'assurer que tous les objets sont portables dans toutes les configurations de ce scénario, saisissez tous les noms de propriétaire et les noms d'objet avec des caractères tout en majuscules.

Lors du processus de renommage du propriétaire :

• Le logiciel met à jour les objets dépendants (jobs, workflows et flux de données qui utilisent l'objet renommé) pour utiliser le nouveau nom du propriétaire.

• La bibliothèque d'objets affiche l'entrée de l'objet avec le nouveau nom du propriétaire. Les informations d'utilisation et de cas d'emploi affichées reflètent le nombre d'objets dépendants mis

à jour.

• Si le logiciel met à jour avec succès tous les objets dépendants, il supprime les métadonnées pour l'objet avec le nom du propriétaire d'origine de la bibliothèque d'objets et du référentiel.

5.5.8.2 Utilisation de la fenêtre Renommer dans un scénario multi-utilisateurs

2012-11-22

Banques de données

Cette section offre une description détaillée du comportement de la fenêtre Renommer le propriétaire dans un scénario multi-utilisateurs.

L'utilisation d'un alias pour tous les objets stockés dans un référentiel central permet au logiciel de suivre tous les objets rechargés par plusieurs utilisateurs. Si tous les utilisateurs des référentiels locaux utilisent le même alias, le logiciel peut suivre les dépendances pour les objets rechargés et extraits du référentiel central par votre équipe.

Lorsque vous rechargez et extrayez les objets d'un référentiel central, en fonction de l'état d'extraction d'un objet renommé et de si l'objet est associé à des objets dépendants, il existe plusieurs comportements possible lorsque vous sélectionnez le bouton Renommer.

Cas 1

L'objet n'est pas extrait et n'a aucun objet dépendant dans le référentiel local ou central.

Comportement : lorsque vous cliquez sur Renommer, le logiciel renomme le propriétaire de l'objet.

Cas 2

L'objet est extrait et n'a aucun objet dépendant dans le référentiel local ou central.

Comportement : identique à celui du cas 1

Cas 3

L'objet n'est pas extrait et a un ou plusieurs objet(s) dépendant(s) (dans le référentiel local).

Comportement : lorsque vous cliquez sur Renommer, le logiciel affiche une seconde fenêtre avec une liste des objets dépendants (qui utilisent ou font référence à l'objet renommé).

Si vous cliquez sur Continuer, le logiciel renomme les objets et modifie les objets dépendants qui font référence à l'objet renommé à l'aide du nouveau nom du propriétaire. Si vous cliquez sur Annuler,

Designer renvoie à la fenêtre Renommer le propriétaire.

Remarque :

Il est possible qu'un objet ait toujours un ou plusieurs objet(s) dépendant(s) dans le référentiel central.

Cependant, si l'objet à renommer n'est pas extrait, le mécanisme Renommer le propriétaire (par dessein) n'affecte pas les objets dépendants dans le référentiel central.

Cas 4

L'objet est extrait et a un ou plusieurs objet(s) dépendant(s).

Comportement : ce cas est complexe.

• Si vous n'êtes pas connecté au référentiel central, le message de statut lit :

This object is checked out from central repository X. Please select Tools | Central Repository… to activate that repository before renaming.

• Si vous êtes connecté au référentiel central, la fenêtre Renommer le propriétaire s'ouvre.

124 2012-11-22

Banques de données

125

Lorsque vous cliquez sur Renommer, une deuxième fenêtre s'ouvre pour afficher les objets dépendants et un statut qui indique leur état d'extraction et leur emplacement. Si un objet dépendant se trouve dans le référentiel local uniquement, le message de statut lit :

Used only in local repository. No check out necessary.

• Si l'objet dépendant se trouve dans le référentiel central et qu'il n'est pas extrait, le message de statut lit :

Not checked out

• Si l'objet dépendant est extrait ou extrait par un autre utilisateur, le message de statut affiche le nom du référentiel extrait. Par exemple : Oracle.production.user1

Comme dans le cas 2, le but de cette deuxième fenêtre est d'afficher les objets dépendants. De plus, cette fenêtre permet d'extraire les objets dépendants nécessaires du référentiel central, sans avoir à accéder à la fenêtre Bibliothèque d'objets centrale.

Cliquez sur le bouton Actualiser la liste pour mettre à jour le statut d'extraction dans la liste. Cette mise à jour est utile lorsque le logiciel identifie un objet dépendant dans le référentiel central mais qu'un autre utilisateur l'a extrait. Lorsque cet utilisateur recharge l'objet dépendant, cliquez sur

Actualiser la liste pour mettre à jour le statut et vérifier que l'objet dépendant n'est plus extrait.

Pour tirer le meilleur parti de la fonctionnalité Renommer le propriétaire, extrayez les objets dépendants associés du référentiel central. Cette extraction aide à éviter d'avoir des objets dépendants qui font référence à des objets avec des noms de propriétaire qui n'existent pas. A partir du référentiel central, sélectionnez un ou plusieurs objet(s), puis faites un clic droit et sélectionnez

Extraire.

Après avoir extrait l'objet dépendant, Designer met à jour le statut. Si l'extraction était réussie, le statut affiche le nom du référentiel local.

Cas 4a

Vous cliquez sur Continuer, mais un ou plusieurs objet(s) dépendant(s) ne sont pas extraits du référentiel central.

Dans cette situation, le logiciel affiche une autre boîte de dialogue pour vous prévenir des objets pas encore traités et pour confirmer votre désir de continuer.

Cliquez sur Non pour revenir à la boîte de dialogue précédente qui affiche les objets dépendants.

Cliquez sur Oui pour continuer le renommage de l'objet sélectionné et pour modifier ses objets dépendants. Le logiciel modifie les objets qui ne sont pas extraits dans le référentiel local pour faire référence au nouveau nom de propriétaire. Il est de votre responsabilité de maintenir une cohérence avec les objets dans le référentiel central.

Cas 4b

Vous cliquez sur Continuer et tous les objets dépendants sont extraits du référentiel central.

Le logiciel renomme le propriétaire de l'objet sélectionné et modifie tous les objets dépendants pour faire référence au nouveau nom du propriétaire. Bien qu'il semble que l'objet d'origine ait un nouveau nom du propriétaire, le logiciel n'a en réalité pas modifié l'objet d'origine ; il a créé un nouvel objet identique à l'original mais utilise le nouveau nom du propriétaire. L'objet d'origine avec l'ancien nom du

2012-11-22

Banques de données propriétaire existe toujours. Le logiciel effectue alors une "annulation de l'extraction" sur l'objet d'origine.

C'est alors à vous de devoir recharger l'objet renommé.

Lorsque l'opération de renommage est réussie, dans l'onglet Banque de données de la bibliothèque d'objets locale, le logiciel met à jour la table ou la fonction avec le nouveau nom du propriétaire et la fenêtre Sortie affiche le message suivant :

Object <Object_Name>: owner name <Old_Owner> successfully renamed to <New_Owner>, including references from dependent objects.

Si le logiciel n'a pas renommé avec succès le propriétaire, la fenêtre Sortie affiche le message suivant :

Object <Object_Name>: Owner name <Old_Owner> could not be renamed to <New_Owner >.

5.5.9 Définition d'une configuration système

Quelle est la différence entre des configurations de banque de données et des configurations systèmes ?

Configurations de banque de données

Configurations système

: chaque configuration de banque de données définit une connexion à une base de données particulière depuis une banque de données unique.

Chaque configuration système définit un ensemble de configurations de banque de données qu'il est préférable d'utiliser ensemble lors de l'exécution d'un job. Il est possible de définir une configuration de système si le référentiel contient au moins une banque de données avec plusieurs configurations. Il est également possible d'associer des configurations de paramètres de substitution à des configurations système.

Lors de la conception de jobs, déterminez et créez des configurations de banque de données et des configurations système en fonction de votre environnement et de vos règles d'entreprise. Créez des configurations de banque de données pour les banques de données du référentiel avant de créer des configurations système pour les organiser et les associer.

Sélectionnez une configuration de système à utiliser au moment de l'exécution. Dans de nombreuses entreprises, un concepteur de jobs définit les configurations de banque de données et de système requises, puis un administrateur système détermine quelle configuration de système utiliser lors de la planification et du lancement d'un job.

Le logiciel conserve les configurations système séparément des jobs. Il est impossible de recharger ou d'extraire les configurations système dans un environnement multi-utilisateurs. Cependant, il est possible d'exporter des configurations système vers un fichier plat distinct que vous pouvez ensuite importer.

Rubriques associées

•

Création d'une nouvelle configuration

126 2012-11-22

Banques de données

127

5.5.9.1 Créer une configuration système

Dans la barre de menu de Designer, sélectionnez Outils > Configurations système.

La fenêtre "Modifier les configurations système" s'affiche.

Pour ajouter une nouvelle configuration système, réalisez l'une des opérations suivantes :

• Cliquez sur l'icône Créer une configuration pour ajouter une configuration qui fait référence à la configuration par défaut des paramètres de substitution et à chaque connexion à la base de données.

• Sélectionnez une configuration existante et cliquez sur l'icône Dupliquer la configuration pour créer une copie de la configuration sélectionnée.

Il est possible d'utiliser la copie comme modèle et de modifier les sélections de paramètres de substitution ou de configuration de banque de données pour qu'elles s'adaptent à vos besoins.

Renommez la nouvelle configuration système si vous le souhaitez.

Sélectionnez la configuration système que vous souhaitez renommer.

Cliquez sur l'icône Renommer la configuration pour activer le mode de modification pour le champ du nom de la configuration.

Saisissez un nouveau nom unique et cliquez en dehors du champ du nom pour accepter votre choix.

Il est recommandé de suivre une convention d'appellation cohérente et d'utiliser le préfixe CS_ dans chaque nom de configuration système pour pouvoir identifier facilement ce fichier comme

étant une configuration système. Cette pratique est particulièrement utile lorsque vous exportez la configuration système.

A partir de la liste, sélectionnez une configuration de paramètres de substitution à associer avec la configuration système.

Pour chaque banque de données, sélectionnez la configuration de banque de données que vous souhaitez utiliser lors de l'exécution d'un job à l'aide de la configuration système.

Si vous ne mappez pas une configuration de banque de données à une configuration système, le

Job Server utilise la configuration de banque de données par défaut au moment de l'exécution.

Cliquez sur OK pour enregistrer les paramètres de la configuration système.

Rubriques associées

•

Association d'une configuration des paramètres de substitution à une configuration système

5.5.9.2 Exporter une configuration système

2012-11-22

Banques de données

Dans la bibliothèque d'objets, sélectionnez l'onglet Banques de données et faites un clic droit sur une banque de données.

Sélectionnez Référentiel > Exporter les configurations système.

Il est recommandé d'ajouter le préfixe CS_ à chaque fichier .atl de configuration système exportée pour identifier facilement ce fichier comme étant une configuration système.

Cliquez sur OK.

128 2012-11-22

Formats de fichier

Cette section évoque les formats de fichier, de la manière d'utiliser l'éditeur de format de fichier, et de la manière de créer un format de fichier dans le logiciel.

Rubriques associées

• Guide de référence : format de fichier

6.1 Comprendre les formats de fichier

Un format de fichier est un ensemble de propriétés qui décrivent la structure d'un fichier plat (ASCII).

Les formats de fichier décrivent la structure de métadonnées. Un format de fichier décrit un fichier spécifique. Un modèle de format de fichier est une description générique qui peut être utilisé pour plusieurs fichiers de données.

Le logiciel peut utiliser les données stockées dans des fichiers pour les sources et les cibles de données.

Un format de fichier définit une connexion à un fichier. Par conséquent, vous utilisez un format de fichier pour connecter aux données sources ou cibles lorsque les données sont stockées dans un fichier plutôt que dans une table de base de données. La bibliothèque d'objets enregistre les modèles de format de fichier que vous utilisez pour définir les formats de fichier spécifiques comme des sources ou des cibles dans des flux de données.

Pour travailler avec des formats de fichier, effectuez les tâches suivantes :

• Créez un modèle de format de fichier qui définit la structure pour un fichier.

• Créez un format de fichier source ou cible dans un flux de données. Le format de fichier source ou cible est basé sur un modèle et indique les informations de connexion telles que le nom du fichier.

Les objets de format de fichier peuvent décrire les fichiers des types suivants :

• Délimité : les caractères comme les virgules ou les tabulations séparent chaque champ.

• Largeur fixe : vous indiquez la largeur de la colonne.

• Transport SAP : permet de définir les objets de transport de données dans les flux de données des applications SAP.

• Texte non structuré : permet de lire un ou plusieurs fichiers de texte non structuré à partir d'un répertoire.

• Binaire non structuré : permet de lire un ou plusieurs documents binaires à partir d'un répertoire.

129 2012-11-22

Formats de fichier

Rubriques associées

•

Formats de fichier

6.2 Editeur de format de fichier

Utilisez l'éditeur de format de fichier pour définir des propriétés pour les modèles de format de fichier et les formats de fichier source et cible. Les propriétés disponibles varient selon le mode de l'éditeur de format de fichier :

• Mode Nouveau : créer un nouveau modèle de format de fichier

• Mode Modification : modifier un modèle de format de fichier existant

• Mode Source : modifier le format de fichier d'un fichier source particulier

• Mode Cible : modifier le format de fichier d'un fichier cible particulier

L'éditeur de format de fichier est composé de trois zones de travail :

• Propriétés-Valeurs : modifier les valeurs pour les propriétés de format de fichier. Développez et réduisez les groupes de propriétés en cliquant sur le signe plus ou le signe moins principal.

• Attributs de la colonne : modifier et définir les colonnes ou les champs dans le fichier. Les formats spécifiques au champ remplacent le format par défaut défini dans la zone Propriétés-Valeurs.

• Aperçu des données : afficher la manière dont les paramètres affectent les exemples de données.

L'éditeur de format de fichier contient des barres de "fractionnement" pour permettre le redimensionnement de la fenêtre et de toutes les zones de travail. Il est possible d'étendre l'éditeur de format de fichier en plein écran.

Les propriétés et les apparences des zones de travail varient avec le format du fichier.

130 2012-11-22

Formats de fichier

Il est possible de naviguer dans l'éditeur de format de fichier de la manière suivante :

• Passez d'une zone de travail à une autre à l'aide de la touche Tab.

• Naviguez dans les champs dans la zone Aperçu des données avec les touches Page suivante,

Page précédente, et les flèches.

• Ouvrez un menu déroulant dans la zone Propriétés-Valeurs en appuyant sur les touches ALT + flèche du bas.

• Lorsque le type de format de fichier est de largeur fixe, il est également possible de modifier la structure des métadonnées de colonnes dans la zone Aperçu des données.

Remarque :

Le bouton Afficher l'ATL affiche une copie en lecture seule du fichier Transformation Language généré pour le format de fichier. Il est possible que l'assistance des utilisateurs professionnels SAP vous dise d'utiliser ce bouton.

Rubriques associées

• Guide de référence : format de fichier

6.3 Création de formats de fichier

Pour indiquer un fichier source ou cible, vous créez un modèle de format de fichier qui définit la structure pour un fichier. Lorsque vous glissez-déplacez le format de fichier dans un flux de données, le format

131 2012-11-22

Formats de fichier représente un fichier qui est basé sur le modèle et indique les informations de connexion telles que le nom du fichier.

6.3.1 Créer un nouveau format de fichier

Dans la bibliothèque d'objets locale, accédez à l'onglet Formats, faites un clic droit sur Fichiers

plats et sélectionnez Nouveau.

Pour l'option Type, sélectionnez :

• Délimité : pour un fichier qui utilise une séquence de caractères pour séparer les colonnes.

• Largeur fixe : pour un fichier qui utilise des largeurs spécifiées pour chaque colonne

• Transport SAP : pour les objets de transport de données dans les flux de données des applications SAP.

• Texte non structuré : pour un ou plusieurs fichiers de texte non structuré à partir d'un répertoire.

Le schéma est fixé pour ce type.

• Binaire non structuré : pour un ou plusieurs documents binaires et de texte non structurés à partir d'un répertoire. Le schéma est fixé pour ce type.

Les options changent dans l'éditeur en fonction du type sélectionné.

Pour l'option Nom, saisissez un nom qui décrit le modèle de format de fichier.

Après avoir sauvegardé ce modèle de format de fichier, il est impossible de changer le nom.

Pour les fichiers Délimités et de Largeur fixe, il est possible de lire et de charger des fichiers à l'aide d'un programme de transfert de fichiers tiers en cochant Oui à Programme de transfert

personnalisé.

Remplissez les autres propriétés pour décrire les fichiers représentés par ce modèle.

Recherchez les propriétés disponibles lorsque l'éditeur de format de fichier est en mode source ou en mode cible.

Pour les fichiers sources, certains formats de fichier permettent de spécifier la structure des colonnes dans la zone de travail Attributs de la colonne (le volet supérieur à droite) : a.

Saisissez un nom de champ.

Définissez les types de données c.

Saisissez des tailles de champ pour les types de données.

Saisissez les informations d'échelle et de précision pour les types de données décimales et numériques.

Saisissez le Type de contenu. Si vous avez ajouté une colonne lors de la création d'un nouveau format, le type de contenu peut être fourni en fonction du nom de champ. Si un type de contenu approprié n'est pas disponible, le type de contenu est vide par défaut.

Saisissez les informations dans le champ Format pour les types de données appropriés si vous le souhaitez. Ces informations remplacent le format par défaut défini dans la zone

Propriétés-Valeurs pour ce type de données.

Il est possible de modeler un format de fichier sur un exemple de fichier.

132 2012-11-22

Formats de fichier

Remarque :

• Vous n'avez pas besoin d'indiquer les colonnes pour les fichiers utilisés comme des cibles. Si vous indiquez des colonnes et qu'elles ne correspondent pas au schéma de sortie de la transformation précédente, le logiciel écrit dans le fichier cible à l'aide du schéma de sortie de la transformation.

• Pour le type de données décimale ou réelle, si vous indiquez seulement un format de colonne source et que les noms de colonnes et les types de données dans le schéma cible ne correspondent pas à ceux dans le schéma source, le logiciel ne peut pas utiliser le format de colonne source spécifié. A la place, il utilise par défaut le format utilisé par la page de code sur l'ordinateur où le Job Server est installé.

Cliquez sur Enregistrer et fermer pour enregistrer le modèle de format de fichier et fermer l'éditeur de format de fichier.

Rubriques associées

• Guide de référence : paramètres régionaux et fonctionnalité multi-octets

•

Transferts de fichiers

• Guide de référence : format de fichier

6.3.2 Modélisation d'un format de fichier sur un exemple de fichier.

Depuis l'onglet Formats dans la bibliothèque d'objets locale, créez un nouveau modèle de format de fichier ou modifiez un modèle de format de fichier plat existant.

Sous Fichier(s) de données :

• Si le modèle de fichier se trouve sur l'ordinateur de Designer, définissez l'Emplacement sur

Local. Naviguez pour définir les options Répertoire racine et Fichier(s) pour spécifier l'exemple de fichier.

Remarque :

Lors de la conception, il est possible de spécifier un fichier qui se trouve sur l'ordinateur où

Designer s'exécute ou sur l'ordinateur où le Job Server s'exécute. Indiquez l'emplacement du fichier dans la propriété Emplacement. Lors de l'exécution, vous devez spécifier un fichier qui se trouve sur l'ordinateur du Job Server qui exécute le job.

• Si l'exemple de fichier se trouve sur l'ordinateur du Job Server actuel , définissez l'Emplacement sur Local. Saisissez les options Répertoire racine et Fichier(s) pour spécifier l'exemple de fichier. Lorsque vous sélectionnez Job Server, l'icône Parcourir est désactivée ; vous devez donc saisir le chemin d'accès au fichier. Vous pouvez saisir un chemin absolu ou un chemin relatif mais le job server doit pouvoir y accéder. Par exemple, un chemin sur UNIX devrait être

/usr/data/abc.txt

. Un chemin sur Windows devrait être C:\DATA\abc.txt.

Remarque :

Dans le système d'exploitation Windows, les fichiers ne sont pas sensibles à la casse ; cependant, les noms de fichier sont sensibles à la casse dans l'environnement UNIX. (Par exemple, abc.txt

et aBc.txt sont deux fichiers différents dans le même répertoire UNIX.)

133 2012-11-22

Formats de fichier

Pour réduire le risque de saisir des erreurs, il est possible d'effectuer un telnet sur l'ordinateur du Job Server (UNIX ou Windows) et de trouver le nom complet du chemin du fichier que vous souhaitez utiliser. Ensuite, copiez-collez le nom du chemin depuis l'application de telnet directement dans la zone de texte Répertoire racine dans l'éditeur de format de fichier. Il est impossible d'utiliser Windows Explorer pour déterminer l'emplacement exact du fichier sur

Windows.

Si le type de fichier est délimité, définissez le séparateur de colonne approprié pour l'exemple de fichier. Il est possible de choisir dans la liste déroulante ou de spécifier des séparateurs Unicodes en saisissant directement le code de caractère Unicode sous la forme /XXXX où XXXX est un code de caractère Unicode décimal. Par exemple, /44 est le caractère Unicode pour la virgule (,).

Sous Entrée/Sortie, définissez Ignorer l'en-tête de la ligne sur Oui si vous souhaitez utiliser la première ligne dans le fichier pour désigner les noms de champ.

L'éditeur de format de fichier affiche les noms de colonne dans la zone Aperçu des données et crée automatiquement la structure des métadonnées.

Modifiez la structure des métadonnées si nécessaire.

Pour les fichiers délimités et de largeur fixe, il est possible de modifier la structure des métadonnées dans la zone de travail Attributs de la colonne : a.

Faites un clic droit pour insérer ou supprimer des champs.

Renommez les champs.

Définissez les types de données d.

Saisissez des longueurs de champ pour les types de données Blob et Varchar.

Saisissez les informations d'échelle et de précision pour les types de données Numérique et

Décimale.

Saisissez les informations du champ Format pour les types de données appropriés si vous le souhaitez. Ces informations de format remplacent le format par défaut défini dans la zone Valeurs dans les Propriétés pour ce type de données.

Saisissez les informations de Type de contenu. Vous n'avez pas besoin d'indiquer les colonnes pour les fichiers utilisés comme des cibles. Si vous avez ajouté une colonne lors de la création d'un nouveau format, le type de contenu peut automatiquement se renseigner en fonction du nom de champ. Si un type de contenu approprié ne peut pas être automatiquement renseigné, il est vide par défaut.

Pour les fichiers de largeur fixe, il est possible de modifier la structure des métadonnées dans la zone de travail Attributs de la colonne : a.

Cliquez pour sélectionner et mettre en surbrillance les colonnes b.

Faites un clic droit pour insérer ou supprimer des champs.

Remarque :

Le volet Aperçu des données ne peut pas afficher les données Blob.

Cliquez sur Enregistrer et Fermer pour enregistrer le modèle de format de fichier et fermer l'éditeur de format de fichier.

134 2012-11-22

Formats de fichier

6.3.3 Réplication et renommage des formats de fichier

Après avoir créé un schéma de format de fichier, il est possible de créer rapidement un autre objet de format de fichier avec le même schéma en répliquant le format de fichier existant et en le renommant :

Pour gagner du temps dans la création d'objets de format de fichier, répliquez et renommez au lieu de configurer en partant de zéro.

6.3.3.1 Créer un format de fichier à partir d'un format de fichier existant

Dans l'onglet Formats de la bibliothèque d'objets, faites un clic droit sur un format de fichier existant et sélectionnez Répliquer dans le menu.

L'Editeur de format de fichier s'ouvre et affiche le schéma du format de fichier copié.

Double-cliquez pour sélectionner la valeur de la propriété Nom (qui contient le même nom que l'objet de format de fichier d'origine).

Saisissez un nouveau nom unique pour le format de fichier répliqué.

Remarque :

Vous devez saisir un nouveau nom pour le fichier répliqué. Le logiciel ne vous autorise pas à enregistrer le fichier répliqué avec le même nom que celui d'origine (ou que celui d'un autre objet de format de fichier existant). De plus, c'est votre seule chance de modifier la valeur de la propriété

Nom. Une fois enregistré, il n'est plus possible de modifier à nouveau le nom.

Modifiez les autres propriétés comme souhaité.

Recherchez les propriétés disponibles lorsque l'éditeur de format de fichier est en mode source ou en mode cible.

Pour enregistrer et afficher le nouveau schéma de format de fichier, cliquez sur Enregistrer.

Pour terminer le processus de réplication (même après avoir modifié le nom et cliqué sur Enregistrer), cliquez sur Annuler ou appuyez sur le bouton Ech du clavier.

Cliquez sur Enregistrer et fermer.

Rubriques associées

• Guide de référence : format de fichier

135 2012-11-22

Formats de fichier

6.3.4 Créer un format de fichier à partir d'un schéma de table plate existant

Depuis l'éditeur de requêtes, faites un clic droit sur un schéma et sélectionnez Créer un format de

fichier.

L'éditeur de format de fichier s'ouvre, rempli avec le schéma que vous avez sélectionné.

Modifiez le nouveau schéma de façon appropriée et cliquez sur Enregistrer et Fermer.

Le logiciel enregistre le format de fichier dans le référentiel. Vous pouvez y accéder depuis l'onglet

Formats de la bibliothèque d'objets.

6.3.5 Créer un fichier source ou cible spécifique

Sélectionnez un modèle de format de fichier plat dans l'onglet Formats de la bibliothèque d'objets locale.

Faites glisser le modèle de format de fichier vers l'espace de travail du flux de données.

Sélectionnez Créer la source pour définir un format de fichier source, ou sélectionnez Créer la

cible pour définir un format de fichier cible.

Cliquez sur le nom de l'objet de format de fichier dans l'espace de travail pour ouvrir l'éditeur de format de fichier.

Saisissez les propriétés spécifiques au fichier source ou cible.

Recherchez les propriétés disponibles lorsque l'éditeur de format de fichier est en mode source ou en mode cible.

Sous Nom(s) de fichier, assurez-vous de spécifier le nom et l'emplacement du fichier dans les propriétés Fichier et Emplacement.

Remarque :

Il est possible d'utiliser des variables comme des noms de fichier.

Connectez l'objet de format de fichier à d'autres objets dans le flux de données.

Rubriques associées

• Guide de référence : format de fichier

•

Définition de noms de fichier lors de l'exécution à l'aide de variables

136 2012-11-22

Formats de fichier

6.4 Edition de formats de fichier

Il est possible de modifier des modèles de format de fichier existants pour correspondre aux modifications apportées dans le format ou la structure d'un fichier. Il est impossible de modifier le nom d'un modèle de format de fichier.

Par exemple, si vous avez un champ de date dans un fichier source ou cible dont le format est mm/jj/aa et que les données pour ce champ passent au format jj-mm-aa à cause de changements dans le programme qui génère le fichier source, vous pouvez modifier le modèle de format de fichier correspondant et les informations sur le format de la date.

Pour les formats de fichier source ou cible spécifiques, il est possible de modifier les propriétés qui définissent uniquement cette source ou cette cible telles que le nom et l'emplacement du fichier.

Attention :

Si le modèle est utilisé dans d'autres jobs (l'utilisation est supérieure à 0), les modifications que vous apportez au modèle sont également apportées aux fichiers qui utilisent le modèle.

6.4.1 Modifier un modèle de format de fichier

Dans l'onglet Formats de la bibliothèque d'objets, double-cliquez sur un format de fichier plat existant

(ou faites un clic droit et sélectionnez Modifier).

L'éditeur de format de fichier s'ouvre avec les valeurs du format existant.

Modifiez les valeurs selon vos besoins.

Recherchez les propriétés disponibles lorsque l'éditeur de format de fichier est en mode source ou en mode cible.

Attention :

Si le modèle est utilisé dans d'autres jobs (l'utilisation est supérieure à 0), les modifications que vous apportez au modèle sont également apportées aux fichiers qui utilisent le modèle.

Cliquez sur Enregistrer.

Rubriques associées

• Guide de référence : format de fichier

137 2012-11-22

Formats de fichier

6.4.2 Editer un fichier source ou cible

Dans l'espace de travail, cliquez sur le nom d'un fichier source ou cible.

L'éditeur de format de fichier s'ouvre et affiche les propriétés pour le fichier source ou cible sélectionné.

Modifiez les propriétés souhaitées.

Recherchez les propriétés disponibles lorsque l'éditeur de format de fichier est en mode source ou en mode cible.

Pour modifier les propriétés qui ne sont pas disponibles en mode source ou cible, vous devez modifier le modèle de format de fichier du fichier. Toutes les modifications de valeurs que vous apportez dans l'éditeur de fichier source ou cible remplacent celles du format de fichier d'origine.

Cliquez sur Enregistrer.

Rubriques associées

• Guide de référence : format de fichier

6.4.3 Modifier plusieurs propriétés de colonne

Utilisez ces étapes lors de la création d'un nouveau format de fichier ou de la modification d'un format de fichier existant.

Sélectionnez l'onglet "Format" dans la bibliothèque d'objets.

Faites un clic droit sur un format de fichier existant listé sous Fichiers plats et sélectionnez Modifier.

L'"Editeur de format de fichier" s'ouvre.

Dans la zone des attributs de colonne (volet en haut à droite), sélectionnez les colonnes que vous souhaitez modifier.

• Pour sélectionner une série de colonnes, sélectionnez la première colonne et appuyez sur la touche "Maj" du clavier, puis sélectionnez la dernière colonne.

• Pour sélectionner des colonnes non consécutives, maintenez la touche "Contrôle" enfoncée et sélectionnez les colonnes.

Faites un clic droit et sélectionnez Propriétés.

La fenêtre "Propriétés de colonnes multiples" s'ouvre.

Modifiez le Type de données et/ou le Type de contenu puis cliquez sur Ok.

Le Type de données et le Type de contenu des colonnes sélectionnées sont modifiés en fonction de vos paramètres.

138 2012-11-22

Formats de fichier

6.5 Fonctionnalités des formats de fichiers

Le logiciel offre plusieurs possibilités pour le traitement des fichiers.

6.5.1 Lecture de plusieurs fichiers en une fois

Le logiciel peut lire plusieurs fichiers avec le même format à partir d'un seul répertoire à l'aide d'un seul objet source.

6.5.1.1 Spécifier plusieurs fichiers à lire

Ouvrez l'éditeur pour le format de fichier source

Sous Fichier(s) de données dans l'éditeur de format de fichier, définissez l'Emplacement des fichiers sources sur Local ou Job Server.

Définissez le répertoire racine dans Répertoire racine.

Remarque :

Si le Job Server se trouve sur un autre ordinateur que Designer, il est impossible d'utiliser la fonction

Parcourir pour indiquer le répertoire racine. Vous devez saisir le chemin. Vous pouvez saisir un chemin absolu ou un chemin relatif mais le Job Server doit pouvoir y accéder.

Sous Nom(s) de fichier, saisissez soit :

• Une liste des noms de fichier séparés par des virgules, soit

• Un nom de fichier contenant un caractère générique (* ou ?).

Par exemple :

1999????.txt lit les fichiers de l'année 1999

*.txt lit tous les fichiers avec l'extension txt à partir du Répertoire racine spécifié

6.5.2 Identification des noms de fichiers sources

139 2012-11-22

Formats de fichier

Il est possible que vous souhaitiez identifier le fichier source pour chaque ligne dans la cible dans les situations suivantes :

• Vous avez spécifié un caractère générique pour lire plusieurs fichiers sources en même temps

• Vous chargez depuis différents fichiers sources sur différentes exécutions

6.5.2.1 Identifier le fichier source pour chaque ligne dans la cible

Sous Informations source dans l'éditeur de format de fichier, définissez Inclure la colonne Nom

du fichier sur Oui. Cette option génère une colonne appelée DI_FILENAME qui contient le nom du fichier source.

Dans l'éditeur Query, mappez la colonne DI_FILENAME de l'Entrée de schéma à la Sortie de schéma.

Lors de l'exécution du job, la colonne DI_FILENAME pour chaque ligne dans la cible contient le nom du fichier source.

6.5.3 Formats des nombres

Le point (.) et la virgule (,) sont les deux formats les plus utilisés pour déterminer les séparateurs de décimales et de milliers pour les types de données numériques. Lors de la mise en forme des fichiers dans le logiciel, les types de données dans lesquels ces symboles peuvent être utilisés incluent Décimal,

Numérique, Flottant et Double. Il est possible d'utiliser n'importe quel symbole pour l'indicateur des milliers, et n'importe quel symbole pour le séparateur de décimales. Par exemple : 2,098.65 ou

2.089,65

140 2012-11-22

Formats de fichier

Format

{aucun}

#,##0.0

#.##0,0

Description

Le logiciel s'attend à ce que le nombre contienne uniquement le séparateur de décimales.

La lecture des données numériques et de ce séparateur de décimales est déterminée par les paramètres régionaux du Job Server de Data Service. La virgule (,) est le séparateur de décimales lorsque les Paramètres régionaux de Data Service sont définis sur un pays qui utilise des virgules (par exemple, l'Allemagne ou la France). Le point (.) est le séparateur de décimales lorsque les Paramètres régionaux sont définis sur un pays qui utilise des points (par exemple les Etats-Unis, l'Inde et le RU). Dans ce format, le logiciel renvoie une erreur si un nombre contient un séparateur des milliers. Lorsque le logiciel écrit les données, il utilise uniquement le séparateur de décimales des paramètres régionaux du Job Server. Il n'utilise pas de séparateur de milliers.

Le logiciel s'attend à ce que le séparateur de décimales d'un nombre soit un point (.) et que le séparateur des milliers soit une virgule (,). Lorsque le logiciel charge les données dans un fichier plat, il utilise une virgule (,) comme séparateur des milliers et un point (.) comme séparateur de décimales.

Le logiciel s'attend à ce que le séparateur de décimales d'un nombre soit une virgule (,) et que le séparateur des milliers soit un point (.). Lorsque le logiciel charge les données dans un fichier plat, il utilise un point (.) comme séparateur des milliers et une virgule (,) comme séparateur de décimales.

Les signes décimaux de début et de fin sont également pris en charge. Par exemple : +12,000.00

ou 32.32-.

6.5.4 Ignorer les lignes avec des marqueurs spécifiés

L'éditeur de format de fichier offre une façon d'ignorer les lignes qui contiennent un marqueur (ou des marqueurs) spécifié(s) lors de la lecture des fichiers. Par exemple, il est possible que vous souhaitiez ignorer les marqueurs des lignes de commentaires tels que # et //.

Associés avec cette fonction, deux caractères spéciaux (le point-virgule (;) et la barre oblique inverse

(\) ) rendent possible la définition de plusieurs marqueurs dans la chaîne pour ignorer les marqueurs de lignes. Utilisez le point-virgule pour délimiter chaque marqueur, et la barre oblique inverse pour indiquer des caractères spéciaux comme des marqueurs (tels quel la barre oblique inverse et le point-virgule).

La valeur par défaut de marqueur est une chaîne vide. Lorsque vous spécifiez la valeur par défaut, aucune ligne n'est ignorée.

141 2012-11-22

Formats de fichier

6.5.4.1 Spécifier des marqueurs pour les lignes à ignorer

Ouvrez l'éditeur de format de fichier depuis la Bibliothèque d'objets ou en ouvrant un objet source dans l'espace de travail.

Trouvez Ignorer les marqueurs de ligne sous la Propriété Format.

Cliquez dans la zone de texte associée et saisissez une chaîne pour indiquer un ou plusieurs marqueurs représentant les lignes que le logiciel doit ignorer durant la lecture du fichier et/ou la création de métadonnées.

La table suivante donne quelques exemples de marqueur(s) de lignes à ignorer. (Chaque valeur est délimitée par un point-virgule à moins que le point-virgule soit précédé d'une barre oblique inverse.)

Valeur(s) de marqueur

abc abc;def;hi abc;\; abc;\\;\;

Ligne(s) ignorées

Aucun (c'est la valeur par défaut)

Toutes celles qui commencent par la chaîne abc

Toutes celles qui commencent par abc ou def ou hi

Toutes celles qui commencent par abc ou ;

Toutes celles qui commencent par abc ou \ ou ;

6.5.5 Formats de date au niveau du champ

Il est possible de spécifier un format de date au niveau du champ pour remplacer les formats de date, d'heure ou de date-heure définis dans la zone Propriétés-Valeurs.

Par exemple, lorsque le Type de données est défini sur Date, il est possible de modifier la valeur dans le champ Format correspondant par un format de date différent tel que :

• aaaa.mm.jj

• mm/jj/aa

• jj.mm.aa

142 2012-11-22

Formats de fichier

6.5.6 Threads de traitement en parallèle

Data Services peut utiliser des threads parallèles pour lire et charger les fichiers pour maximiser la performance.

Pour spécifier des threads parallèles pour traiter les formats de fichier :

Ouvrez l'éditeur de format de fichier de l'une des manières suivantes :

• Dans l'onglet Formats de la bibliothèque d'objets, faites un clic droit sur un nom de format de fichier et cliquez sur Modifier.

• Dans l'espace de travail, double-cliquez sur l'objet source ou cible.

Trouvez les Threads de traitement en parallèle sous la Propriété "Général".

Indiquez le nombre de threads pour lire ou charger ce format de fichier.

Par exemple, si vous avez 4 processeurs sur l'ordinateur du Job Server, saisissez le nombre 4 dans la case Threads de traitement en parallèle.

Rubriques associées

• Guide d'optimisation de la performance : utilisation de l'exécution parallèle, multithread de fichier

6.5.7 Erreur de traitement pour les sources de fichier plat

Lors de l'exécution du job, le logiciel traite les lignes des sources de fichiers plats une par une. Il est possible de configurer l'Editeur de format de fichier pour identifier les lignes dans des sources de fichiers plats qui contiennent les types d'erreur suivants :

• Erreurs de conversion des types de données : par exemple, un champ peut être défini dans l'Editeur de format de fichier comme contenant un type de donné de nombre entier, alors que les données rencontrées sont de type varchar.

• Erreurs de format de lignes : par exemple, en cas d'un fichier de largeur fixe, le logiciel identifie une ligne qui ne correspond pas à la valeur de largeur attendue.

Ces propriétés d'erreur de traitement s'appliquent uniquement aux sources de fichiers plats.

Rubriques associées

• Guide de référence : format de fichier

143 2012-11-22

Formats de fichier

144

6.5.7.1 Options d'erreur de traitement

Dans l'Editeur de format de fichier, l'ensemble de propriétés Erreur de traitement permet de choisir si le logiciel doit effectuer les actions suivantes ou non :

• vérifier l'un ou l'autre des deux types d'erreur de la source de fichier plat

• écrire la/les ligne(s) non valide(s) dans un fichier d'erreur spécifique

• arrêter le traitement du fichier source après avoir atteint un nombre spécifié de lignes non valides

• enregistrer les avertissements de conversion des types de données ou de format de lignes dans le journal des erreurs ; si c'est le cas, il est possible de limiter le nombre d'avertissements à enregistrer sans arrêter le job

6.5.7.2 A propos du fichier d'erreur

S'il est activé, le fichier d'erreur inclue les deux types d'erreurs. Le format est un fichier texte délimité par un point-virgule. Il est possible d'avoir plusieurs fichiers d'entrée sources pour le fichier d'erreur.

Le fichier reste sur le même ordinateur que le Job Server.

Les entrées dans un fichier d'erreur a la syntaxe suivante : source file path and name; row number in source file; Data Services error; column number where the error occurred; all columns from the invalid row

L'entrée suivante illustre une erreur de format de lignes : d:/acl_work/in_test.txt;2;-80104: 1-3-A column delimiter was seen after column number <3> for row number <2> in file <d:/acl_work/in_test.txt>. The total number of columns defined is <3>, so a row delimiter should be seen after column number <3>. Please check the file for bad data, or redefine the input schema for the file by editing the file format in the UI.;3;defg;234;def où 3 indique une erreur qui s'est produite après la troisième colonne, et defg;234;def sont les trois colonnes de données à partir de la ligne non valide.

Remarque :

Si vous définissez l'option Threads de traitement en parallèle du format de fichier sur n'importe quelle valeur supérieure à 0 ou sur {aucun}, le numéro de la ligne dans la valeur du fichier source est -1.

6.5.7.3 Configuration de l'Editeur de mise en forme pour la gestion des erreurs

2012-11-22

Formats de fichier

6.5.7.3.1 Capture d'erreurs de conversion des types de données ou de format de lignes

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.

L'Editeur de format de fichier s'ouvre.

Pour capturer les erreurs de conversion des types de données, sous les propriétés Erreur de

traitement pour l'option Capturer les erreurs de conversion des données, cliquez sur Oui.

Pour capturer les erreurs dans les formats de lignes, pour l'option Capturer les erreurs de format

de lignes, cliquez sur Oui.

Cliquez sur Enregistrer ou Enregistrer et fermer.

6.5.7.3.2 Ecrire des lignes non valides dans un fichier d'erreur.

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.

L'Editeur de format de fichier s'ouvre.

Sous les propriétés Erreur de traitement, cliquez sur Oui pour l'une des propriétés Capturer les

erreurs de conversion des données ou Capturer les erreurs de format de lignes, ou pour les deux.

Pour l'optionEcrire les lignes d'erreur dans le fichier, cliquez sur Oui.

Deux champs supplémentaires apparaissent : Répertoire racine du fichier d'erreur et Nom du fichier d'erreur.

Saisissez un Répertoire racine du fichier d'erreur dans lequel stocker le fichier d'erreur.

Si vous saisissez un chemin d'accès à un répertoire à cet endroit, saisissez alors uniquement le nom du fichier dans la propriété Nom du fichier d'erreur.

Saisissez un Nom du fichier d'erreur.

Si vous laissez le champ Répertoire racine du fichier d'erreur vide, saisissez alors un chemin complet et le nom du fichier à cet endroit.

Cliquez sur Enregistrer ou Enregistrer et fermer.

Pour plus de flexibilité lors du nommage du fichier d'erreur, il est possible de saisir une variable qui est définie pour un fichier particulier avec un nom de chemin complet. Utilisez des variables pour spécifier des noms de fichier que vous ne pouvez pas saisir autrement, comme ceux qui contiennent des caractères multioctets

6.5.7.3.3 Limiter le nombre de lignes non valides traitées avant l'arrêt du job

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.

L'Editeur de format de fichier s'ouvre.

145 2012-11-22

Formats de fichier

Sous les propriétés Erreur de traitement, cliquez sur Oui pour l'une des propriétés Capturer les

erreurs de conversion des données ou Capturer les erreurs de format de lignes, ou pour les deux.

Pour l'option Nombre maximum d'erreurs avant l'arrêt du job, saisissez un nombre.

Remarque :

Cette propriété était anciennement connue comme la Limite des lignes incorrectes.

Cliquez sur Enregistrer ou Enregistrer et fermer.

6.5.7.3.4 Enregistrer les avertissements de conversion des types de données dans le journal des erreurs

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.

L'Editeur de format de fichier s'ouvre.

Sous les propriétés Erreur de traitement, pour Journaliser les avertissements de conversion

des données, cliquez sur Oui.

Cliquez sur Enregistrer ou Enregistrer et fermer.

6.5.7.3.5 Enregistrer des avertissements de format de lignes dans le journal des erreurs

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.

L'Editeur de format de fichier s'ouvre.

Sous les propriétés Erreur de traitement, pour Journaliser les avertissements de format de

lignes, cliquez sur Oui.

Cliquez sur Enregistrer ou Enregistrer et fermer.

6.5.7.3.6 Limiter le nombre de messages d'avertissement à enregistrer

Si vous choisissez d'enregistrer les avertissements des types de données ou de format de lignes, vous pouvez limiter le nombre total d'avertissements à enregistrer sans interférer avec l'exécution du job.

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez Fichiers plats, faites un clic droit sur un format et cliquez sur Modifier.

L'Editeur de format de fichier s'ouvre.

Sous les propriétés Erreur de traitement, pour Journaliser les avertissements de format de

lignes ou Journaliser les avertissements de conversion des données (ou les deux), cliquez sur

Oui.

Pour l'option Nombre maximum d'avertissements dans le journal, saisissez un nombre.

Cliquez sur Enregistrer ou Enregistrer et fermer.

146 2012-11-22

Formats de fichier

6.6 Transferts de fichiers

Le logiciel peut lire et charger les fichiers à l'aide d'un programme de transfert de fichier tiers pour les fichiers plats. Il est possible d'utiliser des programmes de transfert tiers (personnalisés) pour :

• Incorporer des applications de transfert de fichiers de standards de société comme une partie de l'exécution d'un job de logiciel.

• Fournir une grande flexibilité et une sécurité élevée pour les fichiers transférés par un pare-feu.

L'option de programme de transfert personnalisé permet de spécifier :

• Un programme de transfert personnalisé (appelé durant l'exécution d'un job)

• Des arguments supplémentaires, en fonction de ce qui est disponible dans votre programme, tels que :

• Des données de connexion

• Des mécanismes de cryptage/décryptage

• Des mécanismes de compression

6.6.1 Variables de système de transfert personnalisé pour les fichiers plats

Lorsque vous définissez des options de transfert personnalisé pour des cibles et des sources de fichiers externes, certaines informations de transfert, comme le nom du serveur distant à partir duquel ou vers lequel le fichier est transféré, peuvent avoir besoin d'être saisies littéralement comme argument de programme de transfert. Vous pouvez saisir d'autres informations à l'aide des variables de système suivantes :

Données saisies pour :

Sont remplacées par cette variable si cette option a

été définie dans le champ Argument

Nom d'utilisateur $AW_USER

Mot de passe

Répertoire local

Fichier(s)

$AW_PASSWORD

$AW_LOCAL_DIR

$AW_FILE_NAME

147 2012-11-22

Formats de fichier

Avec l'utilisation de ces variables comme des arguments de programme de transfert personnalisé, il est possible de collecter les informations de connexion saisies dans le logiciel et d'utiliser ces données au moment de l'exécution avec votre programme de transfert personnalisé.

Par exemple, les options de transfert personnalisé suivantes utilisent un fichier de commande Windows

(Myftp.cmd) avec cinq arguments. Les arguments 1 à 4 sont des variables de système :

• Les variables Utilisateur et Mot de passe sont pour le serveur externe

• La variable Répertoire local est pour l'emplacement dans lequel les fichiers transférés sont stockés dans le logiciel

• La variable Nom du fichier est pour les noms des fichiers à transférer

L'argument 5 fournit le nom littéral du serveur externe.

Remarque :

Si vous ne spécifiez pas un fichier de sortie standard (comme ftp.out dans l'exemple ci-dessous), le logiciel écrit la sortie standard dans le journal de suivi du job.

@echo off set USER=%1 set PASSWORD=%2 set LOCAL_DIR=%3 set FILE_NAME=%4 set LITERAL_HOST_NAME=%5 set INP_FILE=ftp.inp

echo %USER%>%INP_FILE% echo %PASSWORD%>>%INP_FILE% echo lcd %LOCAL_DIR%>>%INP_FILE% echo get %FILE_NAME%>>%INP_FILE% echo bye>>%INP_FILE% ftp -s%INPT_FILE% %LITERAL_HOST_NAME%>ftp.out

6.6.2 Options de transfert personnalisé pour les fichiers plats

Dans les options de programme de transfert personnalisé, seule l'option Exécutable de programme est obligatoire.

La saisie des valeurs de Nom d'utilisateur, Mot de passe et Arguments est facultative. Ces options sont fournies pour que vous indiquiez des arguments qui peuvent être traités par le programme de transfert personnalisé (comme les données de connexion).

Il est également possible d'utiliser Arguments pour activer ou désactiver les fonctionnalités intégrées dans le programme telles que les mécanismes de cryptage/décryptage et de compression. Par exemple, vous pouvez concevoir le programme de transfert de manière à ce que lorsque vous saisissez -sSe cureTransportOn ou -CCompressionYES, la sécurité ou la compression soient activées.

148 2012-11-22

Formats de fichier

Remarque :

Les arguments disponibles dépendent de ce qui est inclus dans le programme de transfert personnalisé.

Consultez la documentation du programme de transfert personnalisé pour une liste des arguments valides.

Il est possible d'utiliser la case Arguments pour saisir un nom d'utilisateur et un mot de passe.

Cependant, le logiciel fournit également des cases séparées Nom d'utilisateur et Mot de passe. En saisissant les variables $AW_USER et $AW_PASSWORD comme des Arguments puis en utilisant les cases Utilisateur et Mot de passe pour saisir des chaînes littérales, ces cases supplémentaires sont utiles de deux manières :

• Vous pouvez mettre plus facilement à jour les utilisateurs et les mots de passe dans le logiciel lorsque vous configurez le logiciel pour utiliser un programme de transfert, et lorsque vous exportez par la suite le job. Par exemple, lorsque vous migrez le job vers un autre environnement, il est possible que vous souhaitiez changer les informations de connexion sans faire défiler les autres arguments.

• Il est possible d'utiliser les propriétés de masque et de cryptage de la case Mot de passe. Les données saisies dans la case Mot de passe sont masquées dans les fichiers journaux et sur l'écran, stockées dans le référentiel, et encryptées par Data Services.

Remarque :

Le logiciel envoie un mot de passe au programme de transfert personnalisé en texte en clair. Si vous n'autorisez pas que les mots de passe en clair soient exposés comme des arguments dans les exécutables de ligne de commande, configurez le programme personnalisé pour :

• Récupérer le mot de passe depuis un emplacement approuvé

• Hériter des privilèges de sécurité du programme qui appelle (dans ce cas, du logiciel)

6.6.3 Paramétrage des options de transfert personnalisé

L'option de transfert personnalisé permet d'utiliser un programme tiers pour transférer les sources et les cibles de fichiers plats. Il est possible de configurer le programme de transfert personnalisé dans la fenêtre Editeur de format de fichier. Comme d'autres paramètres de format de fichier, il est possible de remplacer les paramètres de programme de transfert personnalisé s'ils sont modifiés pour une source ou une cible dans un flux de données en particulier. Il est également possible de modifier l'option de transfert personnalisé lors de l'exportation d'un format de fichier.

6.6.3.1 Configurer un programme de transfert personnalisé dans l'éditeur de format de fichier

Sélectionnez l'onglet Formats dans la bibliothèque d'objets.

149 2012-11-22

Formats de fichier

Faites un clic droit sur Fichiers plats dans l'onglet et sélectionnez Nouveau.

L'Editeur de format de fichier s'ouvre.

Sélectionnez soit le type de fichier Délimitésoit Largeur fixe.

Remarque :

Bien que l'option de programme de transfert personnalisé n'est pas prise en charge par les types de fichier des applications SAP, il est possible de l'utiliser comme une méthode de transport de données pour un flux de donnée SAP ABAP.

Saisissez un nom de format

Sélectionnez Oui pour l'option Programme de transfert personnalisé.

Développez "Transfert personnalisé" et saisissez le nom du programme de transfert personnalisé et les arguments.

Remplissez les autres cases dans la fenêtre de l'éditeur de format de fichier.

Dans la section Fichier(s) de données, indiquez l'emplacement du fichier dans le logiciel.

Pour indiquer des variables de système pour Répertoire racine et Fichier(s) dans la case Arguments :

• Associer la variable de système $AW_LOCAL_DIR avec l'argument du répertoire local du programme de transfert personnalisé.

• Associer la variable de système $AW_FILE_NAME avec l'argument du nom de fichier du programme de transfert personnalisé.

Par exemple, saisissez : -l$AW_LOCAL_DIR\$AW_FILE_NAME

Lorsque le programme exécute, les paramètres Répertoire racine et Fichier(s) sont remplacés par ces variables et lus par le programme de transfert personnalisé.

Remarque :

L'indicateur -1 utilisé dans l'exemple ci-dessus est un indicateur de programme personnalisé. Les arguments que vous pouvez utiliser comme des arguments de programme personnalisé dans le logiciel dépendent de ce qu'attend le programme de transfert personnalisé.

Cliquez sur Enregistrer.

Rubriques associées

• Supplement for SAP : méthode de transfert personnalisé

• Guide de référence : format de fichier

6.6.4 Astuces de conception

Gardez en tête les concepts suivants lors de l'utilisation des options de transfert personnalisé :

150 2012-11-22

Formats de fichier

• Les variables ne sont pas prises en charge dans les noms de fichier lors de l'appel d'un programme de transfert personnalisé pour le fichier.

• Il est uniquement possible de modifier les options du transfert personnalisé dans la fenêtre Editeur de format de fichier (ou Editeur de banque de données dans le cas de l'application SAP) avant qu'elles soient exportées. Il est impossible de modifier les mises à jour des sources et cibles de fichier au niveau du flux de données une fois exportées. Une fois importés, il est possible d'ajuster les paramètres de l'option de transfert personnalisé au niveau du flux de données. Ils remplacent les paramètres au niveau du format de fichier.

Lors de la conception d'un programme de transfert personnalisé pour travailler avec le logiciel, souvenez-vous que :

• Le logiciel s'attend à ce que le programme de transfert appelé renvoie 0 en cas de réussite, et une valeur différente de zéro en cas d'échec.

• Le logiciel fournit des informations de suivi avant et après que le programme de transfert personnalisé exécute. Le programme de transfert complet et ses arguments avec le mot de passe masqué (le cas échéant) sont écrits dans le journal de suivi. Lorsque "Transfert personnalisé exécuté" apparait dans le journal de suivi, le programme de transfert personnalisé est terminé.

• Si le programme de transfert personnalisé termine avec succès (code de retour = 0), le logiciel contrôle les éléments suivants :

• Pour un flux de données ABAP, si le fichier de transport n'existe pas dans le répertoire local, il affiche une erreur et le logiciel s'arrête.

• Pour une source de fichier, si le fichier ou les fichiers à lire par le logiciel n'existent pas dans le répertoire local, le logiciel écrit un message d'avertissement dans le journal de suivi.

• Si le programme de transfert personnalisé affiche une erreur ou que l'exécution échoue (le code de retour n'est pas 0), alors le logiciel produit une erreur avec le code de retour et la sortie stdout/st derr

• Si le programme de transfert personnalisé réussit mais produit une sortie standard, le logiciel émet un avertissement, enregistre les premiers 1 000 octets de la sortie produite, et poursuit le traitement.

• Le concepteur du programme de transfert personnalisé doit fournir des arguments d'option valides pour garantir que les fichiers sont transférés vers et depuis le répertoire local (spécifié dans le logiciel). Cette opération peut exiger que le fichier distant et le nom du répertoire soient spécifiés comme des arguments puis envoyés à l'interface Designer à l'aide de variables de système.

Rubriques associées

• Supplement for SAP : méthode de transfert personnalisé

6.7 Création des formats de fichier copybook COBOL

Lors de la création d'un format de copybook COBOL, il est possible de :

151 2012-11-22

Formats de fichier

• créer juste le format, puis de configurer la source après avoir ajouté le format à un flux de données, ou

• créer le format et l'associer avec un fichier de données en même temps

Cette section décrit également comment :

• créer des règles pour identifier quels enregistrements représentent quels schémas à l'aide d'une option d'ID de champ

• identifier le champ qui contient la longueur de l'enregistrement du schéma à l'aide d'une option de champ de longueur d'enregistrement

Rubriques associées

• Guide de référence : importer ou modifier les options du format du copybook COBOL

• Guide de référence : options de la source de copybook COBOL

• Guide de référence : types de données, conversion vers ou depuis des types de données internes

6.7.1 Créer un nouveau format de fichier de copybook COBOL

Dans la bibliothèque d'objets locale, cliquez sur l'onglet Formats, faites un clic droit sur Copybook

COBOL et cliquez sur Nouveau.

La fenêtre Importer le copybook COBOL s'ouvre.

Nommez le format en saisissant un nom dans le champ Nom du format .

Sur l'onglet Format pour l'option Nom du fichier, spécifiez le format de fichier du copybook COBOL

à importer, qui porte généralement l'extension .cpy.

Lors de la conception, il est possible de spécifier un fichier de l'une des façons suivantes :

• Pour un fichier situé sur l'ordinateur où Designer s'exécute, vous pouvez utiliser le bouton

Parcourir.

• Pour un fichier localisé sur l'ordinateur où le Job Server est exécuté, vous devez saisir le chemin vers le fichier. Vous pouvez saisir un chemin absolu ou un chemin relatif mais le Job Server doit pouvoir y accéder.

Cliquez sur OK.

Le logiciel ajoute le copybook COBOL à la bibliothèque d'objets.

La boîte de dialogue Nom(s) de schéma du copybook COBOL s'affiche. Si vous le souhaitez, sélectionnez ou double-cliquez sur un nom de schéma pour le renommer.

Cliquez sur OK.

Lorsque vous ajoutez ultérieurement le format à un flux de données, vous pouvez utiliser les options dans l'éditeur de source pour définir les sources.

152 2012-11-22

Formats de fichier

Rubriques associées

• Guide de référence : options de la source de copybook COBOL

6.7.2 Créer un nouveau format de fichier de copybook COBOL et un fichier de données

Dans la bibliothèque d'objets locale, cliquez sur l'onglet Formats, faites un clic droit sur Copybook

COBOL et cliquez sur Nouveau.

La fenêtre Importer le copybook COBOL s'ouvre.

Nommez le format en saisissant un nom dans le champ Nom du format .

Sur l'onglet Format pour l'option Nom du fichier, spécifiez le format de fichier du copybook COBOL

à importer, qui porte généralement l'extension .cpy.

Lors de la conception, il est possible de spécifier un fichier de l'une des façons suivantes :

• Pour un fichier situé sur l'ordinateur où Designer s'exécute, vous pouvez utiliser le bouton

Parcourir.

Cliquez sur l'onglet Fichier de données.

Pour l'option Répertoire, saisissez ou naviguez vers le répertoire qui contient le fichier de données du copybook COBOL à importer.

Si vous incluez un chemin d'accès à un répertoire à cet endroit, saisissez alors uniquement le nom du fichier dans le champ Nom.

Indiquez le Nom du fichier de données du copybook COBOL.

Si vous laissez le champ Répertoire vide, saisissez alors un chemin complet et le nom du fichier à cet endroit.

Lors de la conception, il est possible de spécifier un fichier de l'une des façons suivantes :

• Pour un fichier situé sur l'ordinateur où Designer s'exécute, vous pouvez utiliser le bouton

Parcourir.

Si un fichier de données n'est pas sur le même ordinateur que le Job Server, cliquez sur l'onglet

Accès aux données. Sélectionnez FTP ou Personnalisé puis saisissez les critères pour l'accès au fichier de données.

Cliquez sur OK.

153 2012-11-22

Formats de fichier

La boîte de dialogue Nom(s) de schéma du copybook COBOL s'affiche. Si vous le souhaitez, sélectionnez ou double-cliquez sur un nom de schéma pour le renommer.

10.

Cliquez sur OK.

L'onglet ID de champ permet de créer des règles pour identifier quels enregistrements représentent quel schéma.

Rubriques associées

• Guide de référence : importer ou modifier les options du format du copybook COBOL

6.7.3 Créer des règles pour identifier quels enregistrements représentent quels schémas

Dans la bibliothèque d'objets locale, cliquez sur l'onglet Formats, faites un clic droit sur Copybook

COBOL et cliquez sur Modifier.

La fenêtre Modifier le copybook COBOL s'ouvre.

Dans le volet supérieur, sélectionnez un champ pour représenter le schéma.

Cliquez sur l'onglet ID de champ.

Sur l'onglet ID de champ, sélectionnez la case à cocher Utiliser le champ <nom du schéma. nom

du fichier> comme ID.

Cliquez sur Insérer en dessous pour ajouter une valeur éditable à la liste Valeurs.

Saisissez une valeur pour le champ.

Continuez à insérer (ajouter) les valeurs si nécessaire.

Sélectionnez les champs supplémentaires et insérez des valeurs si nécessaire.

Cliquez sur OK.

6.7.4 Identifier le champ qui contient la longueur de l'enregistrement du schéma

Dans la bibliothèque d'objets locale, cliquez sur l'onglet Formats, faites un clic droit sur Copybook

COBOL et cliquez sur Modifier.

La fenêtre Modifier le copybook COBOL s'ouvre.

Cliquez sur l'onglet Champ de longueur d'enregistrement.

Pour le schéma à modifier, cliquez sur sa colonne Champ de longueur d'enregistrement pour activer un menu déroulant.

Sélectionnez le champ (un par schéma) qui contient la longueur d'enregistrement.

154 2012-11-22

Formats de fichier

La valeur de décalage est automatiquement remplacée par la valeur par défaut, 4 ; cependant, vous pouvez la modifier avec une autre valeur numérique. Le décalage est la valeur obtenue dans la longueur d'enregistrement totale lorsqu'elle est ajoutée à la valeur dans le champ Longueur d'enregistrement.

Cliquez sur OK.

6.8 Création des formats de classeur Microsoft Excel sur les plateformes UNIX

Cette section décrit comment utiliser un classeur Microsoft Excel comme une source avec un Job Server sur une plateforme UNIS.

Pour créer des formats de classeur Microsoft Excel sur Windows, consultez le

Guide de référence.

Pour accéder au classeur, vous devez créer et configurer une instance d'adaptateur dans l'Administrateur.

La procédure suivante offre une vue d'ensemble du processus de configuration. Pour plus de détails sur la création d'adaptateurs, consultez le

Guide de la Console de gestion.

Pensez également aux conditions suivantes :

• Pour importer le classeur, il doit être disponible sur un système de fichier Windows. Il est possible de modifier par la suite l'emplacement du fichier actuel à utiliser pour le traitement dans l'éditeur de source du format de classeur Excel. Consultez le Guide de référence.

• Pour réimporter ou afficher les données dans Designer, le fichier doit être disponible sous Windows.

• Les entrées dans le fichier du journal des erreurs peuvent être représentées numériquement pour les champs de date et d'heure.

De plus, Data Services écrit les enregistrements avec les erreurs vers la sortie (dans Windows, ces enregistrements sont ignorés).

Rubriques associées

• Guide de référence : format de classeur Excel

• Guide Management Console Guide : adaptateurs

• Guide de référence : options de la source de classeur Excel

6.8.1 Créer un format de classeur Microsoft sur UNIX

A l'aide du Gestionnaire de serveurs (<REP_LIEN>/bin/svrcfg), vérifiez que le Job Server UNIX peut prendre en charge les adaptateurs. Consultez le Guide d'installation pour UNIX.

Assurez-vous qu'un référentiel associé au Job Server est enregistré dans la CMC (Central

Management Console). Pour enregistrer un référentiel dans le CMC, consultez le Guide d'administration.

155 2012-11-22

Formats de fichier

Dans l'Administrateur, ajoutez un adaptateur pour accéder aux classeurs Excel. Voir le guide

Management Console Guide.

Il est possible de configurer seulement un adaptateur Excel par Job Server. Utilisez les options suivantes :

• Sur l'onglet Statut, cliquez sur l'adaptateur du job server à droite pour le configurer.

• Sur l'onglet Configuration de l'adaptateur de la page Instances de l'adaptateur, cliquez sur Ajouter.

• Sur l'onglet Configuration de l'adaptateur, saisissez le Nom de l'instance de l'adaptateur.

Saisissez BOExcelAdapter (requis et sensible à la casse).

Vous pouvez laisser toutes les options sur leur valeur par défaut sauf s'il s'agit d'un traitement de fichiers supérieur à 1 MB. Dans ce cas, remplacez la valeur dans Options supplémentaires du programme de lancement Java par -Xms64m -Xmx512 ou -Xms128m -Xmx1024m (la valeur par défaut est Xms64m -Xmx256m). Notez que la gestion de la mémoire Java peut empêcher le traitement de fichiers très volumineux (ou de plusieurs fichiers plus petits).

Depuis l'onglet Administrateur > Adaptateur > Statut de l'instance de l'adaptateur, lancez l'adaptateur.

Dans Designer, onglet "Formats"de la bibliothèque d'objets, créez le format de fichier en important le classeur Excel. Pour plus de détails, consultez le

Guide de référence.

Rubriques associées

• Guide d'administration : enregistrer un référentiel dans le CMC

• Guide Management Console Guide : ajout et configuration d'instances de l'adaptateur

• Guide de référence : format de classeur Excel

6.9 Création de formats de fichier de journal Web

Les journaux Web sont des fichiers plats générés par les serveurs Web et qui sont utilisés pour Business

Intelligence. Les journaux Web suivent généralement les détails des accès au site Web tels que :

• Les noms de domaine du client ou les adresses IP

• Les noms d'utilisateur

• Les horodatages

• Les actions demandées (peut inclure la chaîne de recherche)

• Les octets transférés

• L'adresse en référence

• L'ID de témoin de connexion en charge

Les journaux Web utilisent un format de fichier commun et un format de fichier commun étendu.

156 2012-11-22

Formats de fichier

Format de journal Web commun :

151.99.190.27 - - [01/Jan/1997:13:06:51 -0600]

"GET /~bacuslab HTTP/1.0" 301 -4

Format de journal Web commun étendu : saturn5.cun.com - - [25/JUN/1998:11:19:58 -0500]

"GET /wew/js/mouseover.html HTTP/1.0" 200 1936

"http://av.yahoo.com/bin/query?p=mouse+over+javascript+source+code&hc=0"

"Mozilla/4.02 [en] (x11; U; SunOS 5.6 sun4m)"

Le logiciel prend en charge les formats de journal Web commun et commun étendu comme des sources.

L'éditeur de format de fichier prend également en charge les éléments suivants :

• Un tiret comme un indicateur de valeur nulle

• Le fuseau horaire dans le format date-heure, par exemple 01/Jan/1997:13:06:51 –0600

Le logiciel inclut plusieurs fonctions pour le traitement des données du journal Web :

• Fonction word_ext

• Fonction concat_data_time

• Fonction WL_GetKeyValue

Rubriques associées

•

Fonction word_ext

•

Fonction concat_date_time

•

Fonction WL_GetKeyValue

6.9.1 Fonction word_ext

word_ext est une fonction de chaîne qui étend la fonction de mot en renvoyant le mot identifié par sa position dans une chaîne délimitée. Cette fonction est utile pour l'analyse des noms de fichier ou d'URL.

Format

word_ext(string, word_number, separator(s))

Un nombre de mot négatif signifie qu'il faut compter de droite à gauche

Exemples

word_ext('www.bodi.com', 2, '.') renvoie 'bodi'.

word_ext('www.cs.wisc.edu', -2, '.') renvoie 'wisc'.

word_ext('www.cs.wisc.edu', 5, '.') renvoieNULL.

word_ext('aaa+=bbb+=ccc+zz=dd', 4, '+=') renvoie 'zz'. Si deux séparateurs sont spécifiés

(+=), la fonction recherche l'un ou l'autre.

word_ext(',,,,,aaa,,,,bb,,,c ', 2, '.') renvoie 'bb'. Cette fonction ignore les séparateurs consécutifs.

157 2012-11-22

Formats de fichier

6.9.2 Fonction concat_date_time

concat_date_time est une fonction de date qui renvoie l'horodatage à partir d'entrées distinctes de date et d'heure.

Format

concat_date_time(date, time)

Exemple

concat_date_time(MS40."date",MS40."time")

6.9.3 Fonction WL_GetKeyValue

WL_GetKeyValue est une fonction personnalisée (écrite en langage de script) qui renvoie les valeurs d'un mot clé donné. Elle est utile pour l'analyse des chaînes de recherche.

Format

WL_GetKeyValue(string, keyword)

Exemple

Une recherche sur Google pour bodi B2B est enregistré dans un journal Web comme :

GET "http://www.google.com/search?hl=en&lr=&safe=off&q=bodi+B2B&btnG=Google+Search"

WL_GetKeyValue('http://www.google.com/search?hl=en&lr=&safe=off&q=bodi+B2B&btnG=Google+Search','q') returns

'bodi+B2B'.

6.10 Formats de fichier non structurés

Les formats de fichier non structurés sont un type de format de fichier plat. Pour les créer, consultez

Création de formats de fichier

Pour lire les fichiers qui contiennent du contenu non structuré, créez un format de fichier comme une source qui lit un ou plusieurs fichier(s) à partir d'un référentiel. Lors de l'exécution, l'objet source dans le flux de données produit une ligne par fichier et contient une référence à chaque fichier pour accéder

à son contenu. Dans le flux de données, vous pouvez utiliser une transformation de traitement des données de texte telle que Entity Extraction pour traiter le texte non structuré ou utiliser une autre transformation pour manipuler les données.

Les types de format de fichier non structurés incluent :

158 2012-11-22

Formats de fichier

• Texte non structuré : Utilisez ce format pour traiter un répertoire de fichiers texte incluant :

• tester

• HTML

• XML

Data Services enregistre le contenu de chaque fichier à l'aide du type de données Long.

• Binaire non structuré : utilisez ce format pour lire les documents binaires. Data Services enregistre le contenu de chaque fichier à l'aide du type de données Blob.

• Il est possible de traiter une variété de formats de documents en obtenant votre entrée à partir d'une variété de fichiers au format binaire, puis en transmettant cet objet BLOB à la transformation

Traitement des données de texte. De cette manière, les formats suivants sont acceptés :

• Microsoft Word : 2003, 2007 et 2010 (Office Open XML)

• Microsoft PowerPoint : 2003, 2007 et 2010

• Microsoft Excel : 2003, 2007 et 2010

• Adobe PDF : 1.3 – 1.7

• Microsoft RTF : 1.8 et 1.9.1

• Microsoft Outlook E-mail Message : 2003, 2007, 2010

• Message électronique généré : fichiers ".eml"

• Texte Open Document, feuille de calcul et présentation : 1.0, 1.1, 1.2

• Corel WordPerfect : 6.0 (1993) – X5 (2010)

• Vous pouvez également utiliser le format de fichier binaire non structuré pour déplacer un répertoire de fichiers graphiques sur le disque vers une table de base de données. Supposons que vous souhaitez associer des photos d'employés avec les données d'employés correspondantes qui sont stockées dans une base de données. Le flux de données inclurait la source du format de fichier binaire non structuré, une transformation Query qui associe la photo de l'employé avec les données de l'employé à l'aide du numéro d'ID de l'employée par exemple, et la table cible de base de données.

Rubriques associées

• Guide de référence : création de formats de fichier

• Guide de référence : objets, format de fichier

•

Présentation du Traitement des données de texte

159 2012-11-22

Formats de fichier

160 2012-11-22

Flux de données

Cette section décrit les fondements des flux de données, y compris les objets de flux de données, l'utilisation des recherches, l'exécution de flux de données et les audits.

7.1 Qu'est-ce qu'un flux de données ?

Les flux de données extraient, transforment et chargent les données. Tout ce qui a trait aux données, y compris la lecture des sources, la transformation des données et le chargement des cibles, se produit dans un flux de données. Les lignes qui connectent les objets dans un flux de données représentent le flux des données durant les étapes de transformation des données.

Après avoir défini un flux de données, il est possible de l'ajouter à un job ou à un workflow. A l'intérieur d'un workflow, un flux de données peut envoyer et recevoir des informations vers et depuis d'autres objets grâce aux paramètres d'entrée et de sortie.

7.1.1 Dénomination des flux de données

Les noms des flux de données peuvent inclure des caractères alphanumériques et des tirets de soulignement (_). Il ne peuvent pas contenir d'espace vide.

7.1.2 Exemple d'un flux de données

161 2012-11-22

Flux de données

Supposons que vous souhaitez renseigner la table des faits de votre entrepôt de données avec de nouvelles données à partir de deux tables contenues dans la base de données de transaction source.

Le flux de données comporte les éléments suivants :

• Deux tables sources

• Une jointure entre ces tables, définie dans une transformation Query

• Une table cible où les nouvelles lignes sont placées

Vous indiquez le flux des données par ces composants en les connectant dans l'ordre dans lequel les données se déplacent dans ces derniers. Le flux de données obtenu ressemble à l'image ci-dessous :

7.1.3 Etapes dans un flux de données

Chaque icône que vous placez dans le diagramme de flux de données devient une étape dans le flux de données. Il est possible d'utiliser les objets suivants comme des étapes dans un flux de données :

• source

• cible

• transformations

Les connexions que vous établissez entre les icônes déterminent l'ordre dans lequel le logiciel achève les étapes.

Rubriques associées

•

Objets sources et cibles

•

Transformations

7.1.4 Les flux de données comme des étapes dans les workflows

162 2012-11-22

Flux de données

Les flux de données sont des opérations fermées, même lorsqu'ils sont des étapes dans un workflow.

Les jeux de données créés dans un flux de données ne sont pas disponibles pour les autres étapes dans le workflow.

Un workflow n'opère pas sur les jeux de données et ne peut pas fournir plus de données à un flux de données ; cependant, un worflow peut réaliser les opérations suivantes :

• Appeler les flux de données pour effectuer les opérations de mouvement des données

• Définir les conditions appropriées pour exécuter les flux de données

• Transmettre les paramètres vers et depuis les flux de données

7.1.5 Jeux de données intermédiaires dans un flux de données

Chaque étape dans un flux de données, jusqu'à la définition de cible, produit un résultat intermédiaire

(par exemple, les résultats d'une instruction SQL contenant une clause WHERE), qui se déplace vers l'étape suivante d'un flux de données. Le résultat intermédiaire comporte un ensemble de lignes de l'opération précédente et le schéma dans lequel les lignes sont organisées. Ce résultat est appelé un jeu de données. Ce jeu de données peut, à son tour, être davantage "filtré" et dirigé dans un autre jeu de données.

7.1.6 Codes d'opération

Chaque ligne dans un jeu de données est marquée d'un code d'opération qui identifie le statut de la ligne. Les codes d'opération sont comme suit :

163 2012-11-22

Flux de données

Code d'opération

NORMAL

INSERT

DELETE

UPDATE

Description

Crée une nouvelle ligne dans la cible.

Toutes les lignes dans un jeu de données sont marquées d'un indicateur NORMAL lorsqu'elles sont extraites d'une source. Si une ligne est marquée d'un indicateur

NORMAL lorsqu'elle est chargée dans une cible, elle est insérée comme une nouvelle ligne dans la cible.

Crée une nouvelle ligne dans la cible.

Les lignes peuvent être marquées d'un indicateur INSERT par les transformations dans le flux de données pour indiquer qu'une modification a eu lieu dans un jeu de données, par rapport à une image plus ancienne du même jeu de données.

La modification est enregistrée dans la cible séparément à partir des données existantes.

Ignoré par la cible. Les lignes marquées d'un indicateur DELETE ne sont pas chargées.

Les lignes peuvent être marquées d'un indicateur DELETE uniquement par la transformation Map_Operation.

Remplace une ligne existante dans la cible.

Les lignes peuvent être marquées d'un indicateur UPDATE par les transformations dans le flux de données pour indiquer qu'une modification a eu lieu dans un jeu de données, par rapport à une image plus ancienne du même jeu de données.

La modification est enregistrée dans la cible dans la même ligne que les données existantes.

7.1.7 Transfert des paramètres vers les flux de données

Les données ne circulent pas en dehors d'un flux de données, même lorsque vous ajoutez un flux de données à un workflow. Néanmoins, il est possible de transmettre des paramètres vers et depuis un flux de données. Les paramètres évaluent les valeurs individuelles plutôt que les ensembles de valeurs.

Lorsqu'un flux de données reçoit des paramètres, les étapes à l'intérieur du flux de données peuvent faire référence à ces paramètres comme des variables.

Les paramètres rendent les définitions de flux de donnés plus flexibles. Par exemple, un paramètre peut indiquer la dernière fois qu'une table des faits a été mise à jour. Il est possible d'utiliser cette valeur dans un flux de données pour extraire uniquement les lignes modifiées depuis la dernière mise à jour.

164 2012-11-22

Flux de données

Le schéma ci-dessous indique le paramètre last_update utilisé dans une requête pour déterminer le jeu de données utilisé pour charger la table des faits.

Rubriques associées

•

Variables et paramètres

7.2 Création et définition des flux de données

Il est possible de créer des flux de données à l'aide d'objets de

• la bibliothèque d'objets

• la palette d'outils

Après avoir créé un flux de données, il est possible de modifier ses propriétés.

Rubriques associées

•

Modifier les propriétés d'un flux de données

7.2.1 Définir un nouveau flux de données à l'aide de la bibliothèque d'objets

Dans la bibliothèque d'objets, accédez à l'onglet Flux de données.

Sélectionnez la catégorie de flux de données, faites un clic droit et sélectionnez Nouveau.

Sélectionnez le nouveau flux de données.

Faites glisser le flux de données dans l'espace de travail pour un job ou un workflow.

Ajoutez les sources, les transformations et les cibles dont vous avez besoin.

7.2.2 Définir un nouveau flux de données à l'aide de la palette d'outils

165 2012-11-22

Flux de données

Sélectionnez l'icône du flux de données dans la palette d'outils.

Cliquez sur l'espace de travail pour un job ou un workflow pour placer le flux de données.

Il est possible d'ajouter des flux de données à un job batch ou à un job en temps réel. Lorsque vous faites glisser une icône de flux de données dans un job, vous dites au logiciel de valider ces objets en fonction des conditions du type de job (batch ou en temps réel).

Ajoutez les sources, les transformations et les cibles dont vous avez besoin.

7.2.3 Modifier les propriétés d'un flux de données

Faites un clic droit sur le flux de données et sélectionnez Propriétés.

La fenêtre Propriétés s'ouvre pour le flux de données.

Modifiez les propriétés souhaitées d'un flux de données.

Cliquez sur OK.

Cette table décrit les différentes propriétés qu'il est possible de définir pour le flux de données.

166 2012-11-22

Flux de données

Option

Exécuter une seule fois

Utiliser les liens de base de données

Les liens de base de données sont des chemins de communication entre un serveur de base de données et un autre. Les liens de base de données permettent aux utilisateurs locaux d'accéder à des données sur une base de données distante, qui peut se trouver sur l'ordinateur local ou distant, du même type de base de données ou d'un type différent.

Degré de parallélisme

Description

Lorsque vous indiquez qu'un flux de données doit être exécuté une seule fois, un job batch ne ré-exécutera jamais ce flux de données après qu'il ait terminé avec succès, sauf si le flux de données est contenu dans un workflow qui est une unité de restauration qui ré-exécute et qui n'a pas terminé avec succès ailleurs en dehors de l'unité de restauration. Il est recommandé de ne pas marquer un flux de données

à Exécuter une seule fois si un workflow parent est une unité de restauration.

Type de cache

Le degré de parallélisme (DOP) est une propriété d'un flux de données qui définit le nombre de fois que chaque transformation dans un flux de données réplique pour traiter un sous-ensemble parallèle de données.

Il est possible de cacher les données pour améliorer la performance des opérations telles que les jointures, les groupements, les tris, les filtrages, les recherches et les comparaisons de table. Il est possible de sélectionner l'une des valeurs suivantes pour l'option Type de cache dans la fenêtre de Propriétés du flux de données :

• En mémoire : sélectionnez cette valeur si le flux de données traite une petite quantité de données qui peuvent être contenues dans la mémoire disponible.

• Paginable : cette valeur est celle par défaut.

Rubriques associées

• Guide d'optimisation de la performance : maximisation des opérations poussées vers le bas, prise en charge des liens de base de données pour les opérations poussées vers le bas dans les banques de données.

• Guide d'optimisation de la performance : utilisation d'exécution parallèle, degré de parallélisme

• Guide d'optimisation de la performance : Utilisations de caches

• Guide de référence : objets, flux de données

7.3 Objets sources et cibles

167 2012-11-22

Flux de données

Un flux de données lit et charge directements les données à l'aide de deux types d'objets :

Objets sources : définissent les sources à partir desquelles vous lisez les données

Objets cibles : définissent les cibles vers lesquelles vous écrivez (ou chargez) les données

Rubriques associées

•

Objets sources

•

Objets cibles

7.3.1 Objets sources

Les objets sources représentent les sources de données lues à partir des flux de données.

Objet source

Table

Table de modèle

Fichier

Document

Fichier XML

Message XML

Description

Un fichier mis en forme avec des colonnes et des lignes tel qu'utilisé dans les bases de données relationnelles.

Une table de modèle créée et enregistrée dans un autre flux de données (utilisée pour le développement).

Accès au logiciel

Direct ou par un adaptateur

Direct

Un fichier plat délimité ou de largeur fixe

Un fichier avec un format spécifique à l'application (non accessible en lecture par les analyseurs SQL ou XML)

Direct

Par adaptateur

Un fichier mis en forme avec les balises XML

Utilisé comme une source dans les jobs en temps réel.

Direct

Il est également possible d'utiliser des messages IDoc comme des sources en temps réel pour les applications SAP.

Rubriques associées

•

Tables de modèle

•

• Supplément pour SAP : sources IDoc dans des jobs en temps réel

7.3.2 Objets cibles

168 2012-11-22

Flux de données

Les objets cibles représentent les cibles de données vers lesquelles il est possible d'écrire dans des flux de données.

Objet cible

Table

Description

Un fichier mis en forme avec des colonnes et des lignes tel qu'utilisé dans les bases de données relationnelles.

Accès au logiciel

Direct ou par un adaptateur

Table de modèle

Fichier

Document

Une table dont le format est basé sur la sortie de la transformation précédente (utilisé pour le développement)

Un fichier plat délimité ou de largeur fixe

Direct

Un fichier avec un format spécifique à l'application (non accessible en lecture par les analyseurs SQL ou XML)

Un fichier mis en forme avec les balises XML

Par adaptateur

Direct Fichier XML

Fichier modèle XML

Message XML

Un fichier XML dont le format est basé sur la sortie de la transformation précédente (utilisé pour le développement, essentiellement pour déboguer les flux de données)

Voir

Direct

Message sortant

Voir

Banques de données de bases de données

Il est également possible d'utiliser des messages IDoc comme des sources en temps réel pour les applications SAP.

Rubriques associées

• Supplément pour SAP : cibles IDoc dans des jobs en temps réel

7.3.3 Ajout d'objets sources ou cibles aux flux de données

Remplissez les conditions préalables suivantes avant d'utiliser un objet source ou cible dans un flux de données :

Pour Condition préalable

Tables accédées directement à partir d'une base de données

Définir une banque de données d'une base de données et importer les métadonnées de table.

169 2012-11-22

Flux de données

Pour

Tables de modèle

Fichiers

Fichiers et messages XML

Objets accédés par un adaptateur

Rubriques associées

•

•

Tables de modèle

•

Formats de fichier

•

Importer un format de schéma XML ou DTD

•

Banques de données de l'adaptateur

Condition préalable

Définir une banque de données d'une base de données.

Définir un format de fichier et importer le fichier.

Importer un format de fichier XML

Définir une banque de données de l'adaptateur et importer les métadonnées de l'objet.

7.3.3.1 Ajouter un objet source ou cible dans un flux de données

Ouvrez le flux de données dans lequel vous souhaitez placer l'objet.

Si la bibliothèque d'objets n'est pas déjà ouverte, sélectionnez Outils > Bibliothèques d'objets pour l'ouvrir.

Sélectionnez l'onglet de la bibliothèque d'objets approprié : sélectionnez l'onglet Formats pour les fichiers plats, les DTD ou les schémas XML, ou sélectionnez l'onglet Banques de données pour les bases de données et les objets adaptateurs.

Sélectionnez l'objet que vous souhaitez ajouter comme une cible ou une source. (Développez les listes réduites en cliquant sur le signe plus à côté d'une icône conteneur.)

Pour une nouvelle table de modèle, sélectionnez l'icône Table de modèle dans la palette d'outils.

Pour un nouveau fichier XML modèle, sélectionnez l'icône Modèle XML dans la palette d'outils.

Déplacez l'objet dans l'espace de travail.

Pour les objets qui peuvent être soit sources soit cibles, un menu pop-up apparait lorsque vous relâchez le curseur. Sélectionnez le type d'objet à réaliser.

170 2012-11-22

Flux de données

Pour les nouvelles tables de modèle et les nouveaux fichiers XML modèle, une deuxième fenêtre apparait lorsque vous relâchez le curseur. Saisissez les informations requises pour le nouvel objet modèle. Les noms peuvent inclure des caractères alphanumériques et des tirets de soulignement

(_). Les tables de modèle ne peuvent pas avoir le même nom qu'une table existante dans une banque de données.

L'objet source ou cible apparait dans l'espace de travail.

Cliquez sur le nom de l'objet dans l'espace de travail

Le logiciel ouvre l'éditeur pour l'objet. Définissez les options requises pour l'objet.

Remarque :

Assurez-vous que les fichiers qui font référence aux formats du fichier plat, DTD ou du schéma XML sont accessibles depuis le Job Server où le job est exécuté et indiquez l'emplacement du fichier relatif

à cet ordinateur.

7.3.4 Tables de modèle

Lors de la conception initiale d'une application, il est possible que vous trouviez pratique d'utiliser des tables de modèle pour représenter les tables de base de données. Avec les tables de modèle, vous ne devez pas créer au départ une nouvelle table dans votre système de gestion de base de données ni importer les métadonnées dans le logiciel. A la place, le logiciel crée automatiquement la table dans la base de données avec le schéma défini par le flux de données lors de l'exécution d'un job.

Après la création d'une table de modèle comme cible dans un flux de données, il est possible de l'utiliser comme une source dans d'autres flux de données. Bien qu'une table de modèle puisse être utilisée comme une table source dans plusieurs flux de données, elle peut être utilisée comme table cible dans un seul flux de données.

Les tables de modèle sont particulièrement utiles au début du développement de l'application lorsque vous concevez et testez un projet. Si vous modifiez et enregistrez l'opération de transformation des données dans le flux de données dans lequel la table de modèle est une cible, le schéma de la table de modèle change automatiquement. Toutes les mises à jour du schéma s'appliquent automatiquement aux autres instances de la table de modèle. Lors du processus de validation, le logiciel vous avertit de toutes les erreurs telles que celles qui découlent de la modification du schéma.

7.3.4.1 Créer une table de modèle cible

Utilisez l'une des méthodes suivantes pour ouvrir la fenêtre Créer un modèle :

• Depuis la palette d'outils :

•

Cliquez sur l'icône de table de modèle.

171 2012-11-22

Flux de données

• Cliquez dans un flux de données pour placer la table de modèle dans l'espace de travail.

• Sur la fenêtre Créer un modèle, sélectionnez une banque de données.

• Depuis la bibliothèque d'objets :

• Développez une banque de données.

• Cliquez sur l'icône de table de modèle et faites-la glisser dans l'espace de travail.

• Depuis la bibliothèque d'objets :

• Développez une banque de données.

• Cliquez sur l'icône de table de modèle et faites-la glisser dans l'espace de travail.

Sur la fenêtre Créer un modèle, saisissez un nom de table.

Cliquez sur OK.

La table apparait dans l'espace de travail comme une icône de table de modèle.

Connectez la table de modèle au flux de données comme une cible (généralement une transformation

Query).

Dans la transformation Query, mappez les colonnes Entrée de schéma que vous souhaitez inclure dans la table cible.

Depuis le menu Projet, sélectionnez Enregistrer.

Dans l'espace de travail, l'icône de la table de modèle est remplacée par une icône de table cible, et la table apparait dans la bibliothèque d'objets sous la liste de la banque de données des tables.

Une fois que vous êtes satisfait de la conception du flux de données, enregistrez-le. Lorsque le job est exécuté, le logiciel utilise la table de modèle pour créer une nouvelle table dans la base de données que vous avez indiquée lors de la création de la table de modèle. Une fois qu'une table de modèle est créée dans la base de données, il est possible de convertir la table de modèle du référentiel en une table régulière.

7.3.5 Conversion des tables de modèle en tables régulières

Vous devez convertir les tables de modèle en tables régulières pour profiter de certaines fonctionnalités comme le chargement par lots. D'autres fonctionnalités, telles que l'exportation d'un objet, sont disponibles pour les tables de modèle.

Remarque :

Une fois qu'une table de modèle est convertie, il n'est plus possible de modifier le schéma.

7.3.5.1 Convertir une table de modèle en une table régulière depuis la bibliothèque d'objets

172 2012-11-22

Flux de données

Ouvrez la bibliothèque d'objets et accédez à l'onglet Banques de données.

Cliquez sur le signe plus (+) à côté de la banque de données qui contient la table de modèle que vous souhaitez convertir.

Une liste d'objets apparait.

Cliquez sur le signe plus (+) à coté de Table de modèle.

La liste des tables de modèle apparait.

Faite un clic droit sur la table de modèle que vous souhaitez convertir et sélectionnez Importer la

table.

Le logiciel convertit la table de données dans le référentiel en une table régulière en l'important de la base de données. Pour mettre à jour l'icône dans tous les flux de données, sélectionnez Afficher

> Actualiser. Dans la bibliothèque d'objets de la banque de données, la table est désormais listée sous Tables au lieu de Tables de modèle.

7.3.5.2 Convertir une table de modèle en une table régulière depuis un flux de données

Ouvrez le flux de données qui contient la table de modèle

Faites un clic droit sur la table de modèle que vous souhaitez convertir et sélectionnez Importer la

table.

Une fois qu'une table de modèle est convertie en une table régulière, il n'est plus possible de modifier le schéma de la table.

7.4 Ajout de colonnes dans un flux de données

Dans un flux de données, la commande Propager la colonne à partir de ajoute une colonne existante

à partir d'une source ou d'une transformation en amont par le biais d'objets intermédiaires vers le point d'arrivée sélectionné. Les colonnes sont ajoutées dans chaque objet sans aucune modification sur le type de données ou les autres attributs. Lorsqu'il existe plus d'un chemin possible entre le point de départ et le point d'arrivée, il est possible d'indiquer le chemin pour les colonnes ajoutées.

La propagation de colonnes est une opération de tirage. La commande Propager la colonne à partir

de est émise à partir de l'objet dans lequel la colonne est nécessaire. La colonne est extraite de la source ou transformation en amont sélectionnée et ajoutée à chaque objet intermédiaire ainsi qu'à l'objet du point d'arrivée sélectionné.

Par exemple, dans le flux de données ci-dessous, la table source Employee contient les informations de nom des employés ainsi que l'ID d'employé, l'information sur le travail et les dates d'embauche. La

173 2012-11-22

Flux de données transformation Name_Cleanse est utilisée pour normaliser les noms d'employés. Enfin, les données sont sorties dans un fichier XML appelé Noms_Employés.

Après avoir vu la sortie dans la table Employee_Names, vous vous rendez compte que l'initiale du milieu (colonne minit) doit être inclue dans la sortie. Faites un clic droit sur le schéma de niveau supérieur de la table Employee_Names et sélectionnez Propager la colonne à partir de. La fenêtre

"Propager la colonne vers Noms_Employés" apparait.

Dans le volet gauche de la fenêtre "Propager la colonne vers Employee_Names ", sélectionnez la table source Employee depuis la liste d'objets. La liste des colonnes de sortie affichées dans le volet droit change pour afficher les colonnes dans le schéma de l'objet sélectionné. Sélectionnez la colonne MINIT comme la colonne que vous souhaitez tirer à partir de la source, puis cliquez sur Propager.

Le schéma de la colonne minit est transporté par les transformations Queryet Name_Cleanse vers la table Employee_Names.

Les caractéristiques des colonnes propagées sont les suivantes :

• La commande Propager colonne à partir de peut être émise à partir du schéma de niveau supérieur d'une transformation ou d'une cible.

• Les colonnes sont ajoutées dans chaque objet sans aucune modification sur le type de données ou les autres attributs. Une fois qu'une colonne est ajoutée au schéma d'un objet, la colonne fonctionne exactement de la même façon que si elle avait été créée manuellement.

• La colonne propagée est ajoutée à la fin de la liste de schéma dans chaque objet.

• Le nom de la colonne de sortie est généré automatiquement pour éviter des conflits de nom avec les colonnes existantes. Il est possible de modifier le nom de colonne.

• Seules les colonnes inclues dans les schémas de niveau supérieur peuvent être propagées. Les colonnes dans les schémas imbriquées ne peuvent pas être propagées.

• Une colonne peut être propagée plus d'une fois. Toutes les colonnes existantes sont affichées dans le volet droit de la fenêtre "Propager la colonne vers" dans le champ "Existe déjà dans". Chaque colonne supplémentaire a un nom unique.

• Plusieurs colonnes peuvent être sélectionnées et propagées en même temps.

Remarque :

Il est impossible de propager une colonne avec une transformation Hierarchy_Flattening ou une transformation Table_Comparison.

7.4.1 Ajouter des colonnes dans un flux de données

Dans un flux de données, la commande Propager la colonne à partir de ajoute une colonne existante

à partir d'une source ou d'une transformation en amont par le biais d'objets intermédiaires vers un point

174 2012-11-22

Flux de données d'arrivée sélectionné. Les colonnes sont ajoutées dans chaque objet sans aucune modification sur le type de données ou les autres attributs.

Ajouter des colonnes dans un flux de données :

Dans l'objet en aval dans lequel vous souhaitez ajouter la colonne (le point d'arrivée), faites un clic droit sur le schéma de niveau supérieur et cliquez sur Propager la colonne à partir de.

Propager la colonne à partir de peut être émis à partir du schéma de niveau supérieur dans une transformation ou un objet cible.

Dans le volet gauche de la fenêtre "Propager la colonne vers", sélectionnez l'objet en amont qui contient la colonne que vous souhaitez mapper.

Les colonnes disponibles dans cet objet sont affichées dans le volet droit avec une liste des mappages existants depuis cette colonne.

Dans le volet droit, sélectionnez la colonne que vous souhaitez ajouter et cliquez soit sur Propager soit sur Propager et fermer.

L'une des opérations suivantes se produit :

• S'il n'existe qu'un seul chemin possible, la colonne sélectionnée est ajoutée par les transformations intermédiaires à l'objet en aval.

• S'il existe plus d'un chemin possible par les objets intermédiaires, la boîte de dialogue "Choisir le routage vers" apparaît. Cela peut se produire lorsque le flux de données contient une transformation Query avec plusieurs objets d'entrée. Sélectionnez le chemin que vous préférez et cliquez sur OK.

7.4.2 Propager les colonnes dans un flux de données contenant une transformation

Merge

Dans un flux de données valide qui contient deux sources ou plus qui sont fusionnées à l'aide d'une transformation Merge, le schéma des entrées dans la transformation Merge doit être identique. Toutes les sources doit avoir le même schéma, y compris :

• le même nombre de colonnes

• les mêmes noms des colonnes

• les colonnes semblables doivent avoir le même type de données

Afin de conserver un flux de données valide lors de la propagation d'une colonne par une transformation

Merge, vous devez vous assurer de respecter cette restriction.

Lorsque vous propagez une colonne et qu'une transformation Merge se trouve entre le point de départ et le point d'arrivée, un message vous alerte qu'une fois l'opération de propagation terminée, le flux de données sera non valide puisque les schémas d'entrée dans la transformation Merge ne seront pas identiques. Si vous décidez de poursuivre l'opération de propagation de la colonne, vous devrez ajouter plus tard des colonnes aux schémas d'entrée dans la transformation Merge pour que le flux de données soit valide.

175 2012-11-22

Flux de données

Par exemple, dans le flux de données ci-dessous, les données de chaque table source sont filtrées, puis les résultats sont fusionnés dans la transformation Merge.

Si vous choisissez de propager une colonne à partir de la source SALES(Pubs.DBO)vers la cible

CountrySales

, la colonne est ajoutée au schéma TableFilter mais pas au schéma FileFilter, donnant lieu à des schémas d'entrée différents dans la transformation Merge et un flux de données non valide.

Afin de conserver un flux de données valide lors de la propagation d'une colonne par une transformation

Merge, suivez un processus à plusieurs étapes :

Assurez-vous que la colonne que vous souhaitez propager est disponible dans les schémas de tous les objets qui mènent dans la transformation Merge sur le côté en aval. Cela garantit que toutes les entrées dans la transformation Merge sont identiques et que le flux de données est valide.

Propagez la colonne sur le côté en amont de la transformation Merge vers le point d'arrivée souhaité.

7.5 Tables de recherche et fonction lookup_ext

Les tables de recherche contiennent des données auxquelles d'autres tables font référence. En règle générale, les tables de recherche peuvent comporter les types de colonnes suivants :

• Colonne de recherche : permet d'établir une correspondance avec une ou plusieurs lignes en fonction des valeurs d'entrée. Pour identifier une correspondance dans une ligne, vous appliquez des opérateurs tels que =, >, <, ~. Une table de recherche peut contenir plusieurs colonnes de recherche.

• Colonne de sortie : colonne renvoyée par la ligne, qui correspond à la condition de recherche définie pour la colonne de recherche. Une table de recherche peut contenir plusieurs colonnes de sortie.

• Colonne de politique de retour : permet d'indiquer les données à renvoyer lorsque plusieurs lignes correspondent à la ou aux conditions de recherche.

Utilisez la fonction lookup_ext pour extraire des données d'une table de recherche en fonction de conditions de recherche définies par l'utilisateur pour établir une correspondance entre les données d'entrée et les données de la table de recherche. La fonction lookup_ext permet non seulement d'extraire une valeur dans une table ou un fichier en fonction des valeurs d'une table source ou d'un fichier différent, mais elle propose aussi des fonctionnalités étendues permettant d'effectuer les opérations suivantes :

• Retourner plusieurs colonnes à partir d'une même recherche.

176 2012-11-22

Flux de données

• Effectuer une sélection parmi d'autres opérateurs, y compris les critères spéciaux, pour définir une condition de recherche.

• Indiquer une politique de retour pour la recherche.

• Appeler lookup_ext dans des scripts et des fonctions personnalisées (ce qui vous permet également de réutiliser la ou les recherches regroupées dans des scripts).

• Définir un SQL personnalisé à l'aide du paramètre SQL_override pour alimenter le cache de recherche et parvenir à affiner d'importantes quantités de données aux seules sections pertinentes pour la recherche.

• Appeler lookup_ext à l'aide de l'assistant de fonction dans le mappage de sortie de requête pour retourner plusieurs colonnes dans une transformation Query.

• Sélectionner une stratégie de mise en cache et, par exemple, décider de placer dans la mémoire cache l'intégralité de la table de recherche ou de générer des instructions SQL de façon dynamique pour chaque enregistrement d'entrée.

• Utiliser lookup_ext avec les tables de banque de données en mémoire ou les tables du cache persistant. En ce qui concerne les tables de recherche, l'utilisation du cache persistant présente les avantages suivants par rapport aux tables en mémoire :

• Plusieurs flux de données peuvent utiliser la même table de recherche disponible dans le cache persistant.

• Le progiciel n'a pas besoin de construire la table de recherche chaque fois qu'un flux de données l'utilise.

• Le cache persistant n'a aucune contrainte de mémoire car il est stocké sur disque et le progiciel exécute rapidement la pagination dans la mémoire.

• Utiliser le cache paginable (qui n'est pas disponible pour les fonctions lookup et lookup_seq).

• Utiliser des expressions dans les tables de recherche et retourner les valeurs obtenues.

Pour une description des fonctions lookup et lookup_seq associées, voir le Guide de référence.

Rubriques associées

• Guide de référence : Fonctions et procédures, lookup_ext

• Guide d'optimisation de la performance : Using Caches, Caching data

7.5.1 Accès à l'éditeur lookup_ext

La fonction lookup_ext possède son propre éditeur graphique. Vous pouvez appeler l'éditeur de l'une ou l'autre des façons suivantes :

• En ajoutant un appel de fonction à l'intérieur d'une transformation Query. Utilisez cette option si vous souhaitez que la table de recherche retourne plusieurs colonnes.

• A partir de l'onglet Mappage dans une requête ou une fonction de script.

177 2012-11-22

Flux de données

7.5.1.1 Ajout d'un appel de fonction

Dans la transformation Query, au niveau du volet "Schéma de sortie", sans sélectionner de colonne de sortie spécifique, cliquez avec le bouton droit sur le volet et sélectionnez Nouvel appel de

fonction.

Sélectionnez la catégorie de fonction Fonctions de recherche et le nom de fonction lookup_ext.

Pour appeler l'éditeur, cliquez sur Suivant.

La section Sortie vous permet d'ajouter plusieurs colonnes au schéma de sortie.

Une fois que vous avez fermé la fenêtre lookup_ext, vous pouvez rouvrir l'éditeur graphique pour apporter des modifications (cliquez avec le bouton droit sur le nom de la fonction dans le schéma et sélectionnez Modifier l'appel de fonction), ce qui constitue un avantage du nouvel appel de fonction.

7.5.1.2 Appel de l'éditeur lookup_ext depuis l'onglet Mappage

Sélectionnez le nom de la colonne de sortie.

Dans l'onglet "Mappage", cliquez sur Fonctions.

Sélectionnez la "catégorie de fonction"Fonctions de recherche et le "nom de fonction"lookup_ext.

Pour appeler l'éditeur, cliquez sur Suivant.

Dans la section Sortie, le champ "Variable" remplace le champ "Nom de la colonne de sortie". Vous pouvez définir une colonne de sortie destinée à alimenter la colonne sélectionnée dans le schéma de sortie. Lorsque lookup_ext retourne plusieurs colonnes de sortie, utilisez des variables pour stocker les valeurs de sortie ou utilisez lookup_ext comme nouvel appel de fonction comme indiqué précédemment dans cette section.

L'éditeur graphique n'est pas disponible avec les fonctions utilisées dans les mappages. En revanche, vous pouvez traiter le texte manuellement dans l'onglet "Mappage".

7.5.2 Exemple : Définition d'une fonction lookup_ext simple

Cette procédure décrit la définition d'une fonction lookup_ext simple à l'aide d'un nouvel appel de fonction. L'exemple associé illustre l'utilisation d'une table de recherche pour extraire les noms des services des salariés.

Pour en savoir plus sur les options disponibles pour la fonction lookup_ext, voir le

Guide de référence.

178 2012-11-22

Flux de données

179

Dans un flux de données, ouvrez l'éditeur de requêtes.

Dans le volet "Entrée de schéma", faites glisser la colonne d'ID vers le volet "Sortie de schéma".

Sélectionnez la colonne ID dans le volet "Sortie de schéma", cliquez avec le bouton droit et sélectionnez Nouvel appel de fonction. Cliquez sur Insérer en dessous.

Sélectionnez la "catégorie de fonction"Fonctions de recherche et le "nom de fonction"lookup_ext, puis cliquez sur Suivant.

L'éditeur lookup_ext apparaît.

Dans la fenêtre "Lookup_ext - Sélectionner les paramètres", sélectionnez une table de recherche : a.

En regard de la zone de texte Table de recherche, cliquez sur la flèche de liste déroulante puis cliquez deux fois sur la banque de données, le format de fichier ou le schéma actuel comprenant la table.

Sélectionnez la table de recherche et cliquez sur OK.

Dans l'exemple, la table de recherche est un fichier au format txt appelé ID_lookup.txt, qui réside dans D:\Data.

Pour la spécification du cache, la valeur par défaut de CACHE_DE_PRECHARGEMENT est utile lorsque le nombre de lignes de la table est peu élevé ou que vous pensez accéder à un fort pourcentage des valeurs de la table.

AUCUN_CACHE lit les valeurs de la table de recherche pour chaque ligne sans valeurs mises en cache. Sélectionnez CACHE_DE_CHARGEMENT_A_LA_DEMANDE lorsque la table comporte un grand nombre de lignes et que vous pensez accéder fréquemment à un faible pourcentage de ses valeurs ou lorsque vous utilisez la table dans plusieurs recherches avec des conditions de comparaison extrêmement sélectives, qui donnent un petit sous-ensemble de données.

Pour disposer de ressources supplémentaires en vue de l'exécution de la fonction lookup_ext, sélectionnez Exécuter en tant que processus séparé. Cette option crée un processus de flux de données enfant séparé pour la fonction lookup_ext lorsque le progiciel exécute le flux de données.

Définissez une ou plusieurs conditions. Pour chacune, ajoutez un nom de colonne de table de recherche (effectuez une sélection dans la liste déroulante ou faites glisser des éléments depuis le volet "Paramètre"), sélectionnez l'opérateur pertinent et entrez une expression en la saisissant, la faisant glisser, la collant ou à l'aide de l'éditeur rapide (cliquez sur l'icône dans la colonne de droite).

Dans l'exemple, la condition correspond à ID_DEPT = Employees.ID_DEPT.

Définissez la sortie. Pour chaque colonne de sortie : a.

Ajoutez un nom de colonne de la table de recherche.

Le cas échéant, modifiez la valeur par défaut (valeur nulle).

Indiquez le "nom de la colonne de sortie" en la saisissant, la faisant glisser, la collant ou à l'aide de l'éditeur rapide (cliquez sur l'icône dans la colonne de droite).

Dans l'exemple, la colonne de sortie est ID_DEPT_NAME.

10.

Si plusieurs correspondances sont possibles, indiquez l'ordre et définissez une politique de retour

(MAX par défaut) pour la sélection d'une correspondance. Pour ordonner la sortie, saisissez le ou les noms de colonne dans la liste "Organiser par".

Exemple :

L'exemple suivant illustre le mode d'utilisation de la table de recherche ID_lookup.txt pour extraire les noms des services des salariés.

2012-11-22

Flux de données

La table des salariés (Employees) se présente comme suit :

SSN111111111

SSN222222222

TAXID333333333

NAME

Employee1

Employee2

Employee3

La table de recherche ID_lookup.txt se présente comme suit :

ID_DEPT

ID_PATTERN

ms(SSN*) ms(TAXID*)

ID_RETURN

=substr(ID_Pattern,4,20)

=substr(ID_Pattern,6,30)

ID_DEPT_NAME

Payroll

Accounting

L'éditeur lookup_ext est alors configuré comme suit.

ID_DEPT

180

Rubriques associées

•

Exemple : Définition d'une fonction lookup_ext complexe

2012-11-22

Flux de données

7.5.3 Exemple : Définition d'une fonction lookup_ext complexe

Cette procédure décrit la définition d'une fonction lookup_ext complexe à l'aide d'un nouvel appel de fonction. L'exemple associé utilise les mêmes tables de recherche et d'entrée que

Exemple : Définition d'une fonction lookup_ext simple . Cet exemple illustre l'extraction et la normalisation des numéros

d'identification des salariés.

Pour en savoir plus sur les options disponibles pour la fonction lookup_ext, voir le Guide de référence.

Dans un flux de données, ouvrez l'éditeur de requêtes.

Dans le volet "Entrée de schéma", faites glisser la colonne d'ID vers le volet "Sortie de schéma".

Procédez de même pour la colonne Nom.

Dans le volet "Sortie de schéma", cliquez avec le bouton droit sur la colonne Nom et cliquez sur

Nouvel appel de fonction. Cliquez sur Insérer en dessous.

Sélectionnez la "catégorie de fonction"Fonctions de recherche et le "nom de fonction"lookup_ext, puis cliquez sur Suivant.

Dans la fenêtre "Lookup_ext - Sélectionner les paramètres", sélectionnez une table de recherche :

Dans l'exemple, la table de recherche (au format txt) est nommée ID_lookup.txt et réside dans

D:\Data.

Définissez une ou plusieurs conditions.

Dans l'exemple, la condition correspond à ID_PATTERN ~ Employees.ID.

Définissez la sortie. Pour chaque colonne de sortie : a.

Ajoutez un nom de colonne de la table de recherche.

Si vous voulez que le progiciel interprète la colonne dans la table de recherche comme une expression et retourne la valeur calculée, cochez la case Expression.

Le cas échéant, modifiez la valeur par défaut (valeur nulle).

Indiquez le "nom de la ou des colonnes de sortie" en le saisissant, en le faisant glisser ou en le collant ou à l'aide de l'éditeur rapide (cliquez sur l'icône dans la colonne de droite).

Dans l'exemple, les colonnes de sortie sont ID_RETURN et ID_DEPT_NAME.

Exemple :

Dans cet exemple, vous voulez extraire et normaliser des numéros de sécurité sociale et d'identification fiscale de salariés, avec des préfixes différents. Vous allez supprimer les préfixes afin de normaliser les numéros. Vous voulez également identifier le service d'origine du numéro. Le flux de données comporte une table source Employees, une requête configurée avec look_ext et une table cible.

Configurez l'éditeur lookup_ext comme dans le graphique suivant.

181 2012-11-22

Flux de données

182

La condition de recherche correspond à ID_PATTERN ~ Employees.ID.

Le progiciel lit les différentes lignes de la table source Employees, puis passe à la table de recherche

ID_lookup.txt pour identifier toutes les lignes qui répondent à la condition de recherche.

L'opérateur ~ indique que le progiciel appliquera une comparaison de modèles à Employees.ID.

Lorsqu'il rencontrera un modèle correspondant à Employees.ID dans ID_lookup.ID_PATTERN, le progiciel appliquera l'expression dans ID_lookup.ID_RETURN. Dans cet exemple, Employee1 et

Employee2 ont tous deux des ID qui correspondent au modèle ms(SSN*) dans la table de recherche.

Le progiciel applique ensuite l'expression =substr(ID_PATTERN,4,20) aux données, ce qui permet d'extraire de la chaîne de correspondance (Employees.ID) une sous-chaîne de 20 caractères maximum en partant de la quatrième position. Les résultats pour Employee1 et Employee2 sont respectivement de 111111111 et 222222222.

Pour la sortie de la colonne de recherche ID_RETURN, le progiciel évalue ID_RETURN comme une expression car la case Expression est cochée. Dans la table de recherche, la colonne ID_RETURN contient l'expression =substr(ID_PATTERN,4,20). Dans cette expression, ID_PATTERN se rapporte à la colonne ID_PATTERN de la table de recherche. Lorsque la condition de recherche

ID_PATTERN ~ Employees.ID

est vraie, le progiciel évalue l'expression. Dans le cas présent, le progiciel remplace le caractère générique ID_PATTERN par la véritable valeur de Employees.ID.

2012-11-22

Flux de données

La sortie comprend également la colonne ID_DEPT_NAME, que le progiciel retourne comme une valeur littérale (du fait que la case Expression n'est pas cochée). La table cible obtenue se présente comme suit :

SSN111111111

SSN222222222

TAXID333333333

NAME

Employee1

Employee2

Employee3

ID_RETURN

111111111

222222222

333333333

ID_DEPT_NAME

Payroll

Accounting

Rubriques associées

• Guide de référence : Fonctions et procédures, lookup_ext

•

Accès à l'éditeur lookup_ext

•

Exemple : Définition d'une fonction lookup_ext simple

• Guide de référence : Fonctions et procédures, match_simple

7.6 Exécution d'un flux de données

Un flux de données est une spécification déclarative à partir de laquelle le logiciel détermine les bonnes données à traiter. Par exemple, dans des flux de données placés dans des jobs batch, l'ordre de la transaction est d'extraire, de transformer, puis de charger les données dans une cible. Les flux de données sont similaires aux instructions SQL. La spécification déclare la sortie souhaitée.

Le logiciel exécute un flux de données à chaque fois qu'un flux de données se produit dans un job.

Cependant, il est possible de spécifier qu'un job batch exécute un flux de données particulier une seule fois. Dans ce cas, le logiciel exécute uniquement la première occurrence du flux de données ; le logiciel ignore les occurrences suivantes dans le job.

Vous pouvez utiliser cette fonctionnalité lorsque vous développez des jobs batch complexes avec plusieurs chemins, tels que les jobs avec des blocs Try/Catch ou des structures conditionnelles, et que vous souhaitez vous assurer que le logiciel n'exécute qu'une seule fois un flux de données particulier.

Rubriques associées

•

Création et définition des flux de données

7.6.1 Poussée vers le bas des opérations vers le serveur de base de données

183 2012-11-22

Flux de données

A partir des informations contenues dans la spécification du flux de données, le logiciel produit une sortie tout en optimisant la performance. Par exemple, pour les sources et les cibles SQL, le logiciel crée des instructions SQL spécifiques à la base de données en fonction des diagrammes du flux de données du job. Pour optimiser la performance, le logiciel pousse vers le bas autant d'opérations de transformation que possibles vers la base de donnée source ou cible, et combine autant d'opérations que possible dans une requête vers la base de données. Par exemple, le logiciel essaye de pousser vers le bas les jointures et les évaluations de fonction. En poussant les opérations vers la base de données, le logiciel réduit le nombre de lignes et d'opérations que le moteur doit traiter.

La conception du flux de données influence le nombre d'opérations que le logiciel peut pousser vers la base de données sources ou cibles. Avant d'exécuter un job, il est possible d'examiner le SQL généré par le logiciel et de modifier la conception pour aboutir aux résultats les plus efficaces.

Il est possible d'utiliser la transformation Data_Transfer pour pousser vers le bas des opérations consommatrices de ressources n'importe où dans un flux de données vers une base de données. Les opérations consommatrices de ressources incluent les jointures, GROUP BY, ORDER BY et DISTINCT.

Rubriques associées

• Guide d'optimisation de la performance : maximisation des opérations poussées vers le bas

• Guide de référence : Data_Transfer

7.6.2 Exécution d'un flux de données distribué

Le logiciel offre la possibilité de distribuer les travaux de traitement des données consommatrices de mémoire et de processeurs (tels que les jointures, les regroupements, les comparaisons de table et les recherches) dans les multiples processus et ordinateurs. Ce travail de distribution offre les bénéfices potentiels suivants :

• Une meilleure gestion de la mémoire en tirant profit de plus de ressources processeurs et de mémoire physique

• Une meilleure performance et extensibilité de job en utilisant une exécution de flux de données secondaire simultanée pour tirer profit du grid computing

Il est possible de créer un flux de données secondaire pour que le logiciel n'ait pas besoin de traiter l'ensemble du flux de données en mémoire en une seule fois. Il est également possible de distribuer les flux de données secondaires aux différents job servers d'un groupe de serveurs pour utiliser plus de mémoire et des ressources processeurs supplémentaires.

Utilisez les fonctionnalités suivantes pour diviser un flux de données en plusieurs flux de données secondaires

• L'option Exécuter en tant que processus séparé sur les opérations consommatrices de ressources qui incluent :

• La transformation Hierarchy_Flattening

• Transformation Associate

184 2012-11-22

Flux de données

• Transformation Country ID

• Transformation Global Address Cleanse

• Transformation Global Suggestion Lists

• Match Transform

• Transformation United States Regulatory Address Cleanse

• Transformation User-Defined

• Les opérations de requête qui sont consommatrices de processeurs et de mémoire :

• Jointures

• GROUP BY

• ORDER BY

• DISTINCT

• Transformation Table_Comparison

• La fonction Lookup_ext

• La fonction Count_distinct

• La fonction Search_replace

Si vous sélectionnez l'option Exécuter en tant que processus séparé pour plusieurs opérations dans un flux de données, le logiciel divise le flux de données en des flux de données secondaires plus petits qui utilisent des ressources différentes (mémoire et ordinateur) les uns des autres. Lorsque vous indiquez plusieurs options Exécuter en tant que processus séparé, les processus de flux de données secondaire exécutent en parallèle.

• Transformation Data_Transfer

Avec cette transformation, le logiciel n'a pas besoin de traiter l'ensemble du flux de données sur l'ordinateur du Job Server. A la place, la transformation Data_Transfer peut pousser vers le bas le traitement d'une opération consommatrice de ressource vers le serveur de base de données. Cette transformation divise le flux de données en deux flux de données secondaires et transfère les données vers une table dans le serveur de base de données pour permettre au logiciel de pousser vers le bas l'opération.

Rubriques associées

• Guide d'optimisation de la performance : division d'un flux de données en flux de données secondaires.

• Guide d'optimisation de la performance : transformation Data_Transfer pour opérations poussées vers le bas

7.6.3 Equilibrage de charge

Il est possible de distribuer l'exécution d'un job ou une partie d'un job dans de multiples Job Servers dans un groupe de serveurs pour mieux équilibrer les opérations consommatrices de ressources. Il est possible d'indiquer les valeurs suivantes dans l'option Niveau de distribution lors de l'exécution d'un job :

• Niveau de job : un job peut exécuter sur un Job Server disponible.

185 2012-11-22

Flux de données

• Niveau de flux de données : chaque flux de données dans un job peut exécuter sur un Job Server disponible.

• Niveau de flux de données secondaire : une opération consommatrice de ressources (comme les tris, les comparaisons de table ou les recherches de table) dans un flux de données peut exécuter sur un Job Serveur disponible.

Rubriques associées

• Guide d'optimisation de la performance : utilisation de grid computing pour distribuer les exécutions de flux de données

7.6.4 Caches

Le logiciel offre l'option de cacher les données dans la mémoire pour améliorer les opérations dans les flux de données telles que :

• Jointures : puisqu'une source interne d'une jointure doit être lue pour chaque ligne d'une source externe, il est possible que vous souhaitiez cacher une source lorsqu'elle est utilisée comme source interne dans une jointure.

• Comparaisons de tables : puisqu'une table de comparaison doit être lue pour chaque ligne d'une source, il est possible que vous souhaitiez cacher la table de comparaison.

• Recherches : puisqu'une table de recherche peut exister dans une base de données distante, il est possible que vous souhaitiez la cacher dans la mémoire pour réduire les temps d'accès.

Le logiciel offre les types de caches suivants qui peuvent être utilisés par le flux de données pour toutes les opérations qu'il contient :

• En mémoire

Utilisez le cache en mémoire lorsque le flux de données traite une petite quantité de données qui peuvent être contenues dans la mémoire.

• Cache paginable

Utilisez le cache paginable lorsque le flux de données traite une très grande quantité de données qui ne peuvent pas être contenues dans la mémoire.

Si vous divisez le flux de données en flux de données secondaires qui exécutent chacun sur un Job

Server différent, chaque flux de données secondaires peut utiliser son propre type de cache.

Rubriques associées

• Guide d'optimisation de la performance : utilisations de caches

186 2012-11-22

Flux de données

7.7 Vue d'ensemble d'un audit de flux de données.

Il est possible d'auditer des objets dans un flux de données pour collecter les statistiques d'audit d'exécution. Il est possible d'effectuer les tâches suivantes avec cette fonctionnalité d'audit :

• Collecter des statistiques d'audit sur les données lues dans un job, traitées par plusieurs transformations et chargées dans des cibles.

• Définir des règles à propos des statistiques d'audit pour déterminer si les données correctes sont traitées.

• Générer une notification en cas d'échec d'audit.

• Faire une requête pour les statistiques d'audit qui persistent dans le référentiel.

Pour une description complète de l'audit des flux de données, consultez

Utilisation de l'Audit .

187 2012-11-22

Flux de données

188 2012-11-22

Transformations

Les transformations opèrent sur les jeux de données en manipulant les jeux d'entrées et en produisant un ou plusieurs jeux de sortie. A l'inverse, les fonctions opèrent sur les valeurs uniques dans des colonnes spécifiques dans un jeu de données.

De nombreuses transformations intégrées sont disponibles depuis la bibliothèque d'objets sur l'onglet

Transformation.

Les transformations que vous pouvez utiliser dépend du package logiciel que vous avez acheté. (Si une transformation appartient à un package que vous n'avez pas acheté, elle est désactivée et ne peut pas être utilisée dans un job.)

Les transformations sont regroupées dans les catégories suivantes :

• Data Integrator : Transformations permettant d'extraire, de transformer et de charger des données.

Ces transformations contribuent à assurer l'intégrité des données et à optimiser la productivité du développeur pour le chargement et la mise à jour de l'environnement d'entrepôt de données.

• Data Quality : Transformations permettant d'améliorer la qualité de vos données. Ces transformations peuvent analyser, corriger, enrichir, mettre en correspondance et consolider vos biens personnalisés et d'informations opérationnelles.

• Plateformes : Transformations requises pour des opérations de mouvements de données générales.

Ces transformations vous permettent de générer, mapper et fusionner des lignes à partir de deux sources ou plus, de créer des opérations de requête SQL (expressions, recherches, jointures et filtres), d'effectuer des répartitions conditionnelles, etc.

• Text Data Processing : Transformations aidant à extraire des informations spécifiques de votre texte.

Elles peuvent analyser d'importants volumes de texte, ce qui vous permet d'identifier et d'extraire des entités et des faits, par exemple, des clients, des produits, des emplacements et des informations financières pertinentes pour votre organisation.

Catégorie de transformations

Transformations Description

Data Integrator Data_Transfer

Date_Generation

Effective_Date

Permet à un flux de données de diviser son traitement en deux sous-flux de données et de pousser vers le bas des opérations consommatrices de ressources vers le serveur de base de données.

Génère une colonne contenant des valeurs de dates en fonction des dates de début et de fin, et de l'incrément que vous avez fournis.

Génère une colonne "fin de validité" supplémentaire en fonction de la "date de validité" de la clé primaire.

189 2012-11-22

Transformations

Catégorie de transformations

Transformations

Data Quality

Hierarchy_Flattening

History_Preserving

Key_Generation

Map_CDC_Operation

Pivot (Columns to Rows)

Reverse Pivot (Lignes en colonnes)

Table_Comparison

XML_Pipeline

Associate

Country ID

Description

Aplanit les données hiérarchiques sous forme de tables relationnelles pour qu'elles puissent participer

à un schéma en étoile. La mise à plat hiérarchique peut être verticale ou horizontale.

Convertit les lignes marquées d'un indicateur Mettre

à jour en Mettre à jour plus Insérer, pour que les valeurs d'origine soient conservées dans la cible.

Indiquez dans quelle colonne rechercher les données mises à jour.

Génère de nouvelles clés pour les données sources

à partir d'une valeur basée sur les clés existantes dans la table que vous avez indiquée.

Trie les données d'entrée, mappe les données de sortie et résout les pré-images et les post-images pour les lignes Mettre à jour. Bien qu'elle soit habituellement utilisée pour prendre en charge la capture des données modifiées d'Oracle, cette transformation prend en charge tous les flux de données si leurs conditions d'entrée sont respectées.

Fait pivoter les valeurs des colonnes spécifiques en lignes. (Voir aussi Reverse Pivot.)

Fait pivoter les valeurs des lignes spécifiques en colonnes.

Compare deux jeux de données et produit la différence entre eux sous forme de jeu de données avec des lignes marquées d'un indicateur Insérer et

Mettre à jour.

Traite des entrées XML volumineuses dans des petits lots.

Combine les résultats de deux ou plus transformations Match, ou deux ou plus transformations Asso ciate, ou une combinaison des deux, pour trouver les correspondances dans les sets de correspondance.

Analyse les données d'entrée puis identifie le pays de destination pour chaque enregistrement.

190 2012-11-22

Transformations

Catégorie de transformations

Transformations Description

Data Cleanse

DSF2 Walk Sequencer

Geocoder

Global Address Cleanse

Global Suggestion Lists

Match

Identifie et analyse les données de nom, de fonction et de société, les numéros de téléphone, les numéros de sécurité sociale, les dates et les adresses

électroniques. Elle peut affecter un sexe, ajouter des titres de civilité, générer des standards Match et convertir des sources d'entrée à un format standard. Elle peut également analyser et manipuler plusieurs formes de données internationales, de données opérationnelles et de produit.

Ajoute des informations de séquence de distribution aux données qu'il est possible d'utiliser avec un logiciel de tri préalable pour remplir les conditions pour des remises de séquence de tour.

Utilise les coordonnées géographiques, les adresses et les données de points d'intérêt (POI) pour ajouter une adresse, une latitude et une longitude, un recensement et d'autres informations aux enregistrements.

Identifie, analyse, valide et corrige les données d'adresses globales, telles que le numéro principal, le nom principal, le type principal, la direction, l'identificateur secondaire et le numéro secondaire.

Complète et renseigne les adresses avec des données minimales et peut fournir des propositions pour les correspondances possibles.

Identifie les enregistrements de correspondance en fonction des règles d'entreprise. Elle effectue

également la sélection de candidat, ID unique, le meilleur enregistrement et d'autres opérations.

USA Regulatory Address Cleanse

Identifie, analyse, valide et corrige les données d'adresses des Etats-Unis en fonction du CASS

(Coding Accuracy Support System).

User-Defined

Effectue tout ce pourquoi il est possible d'écrire un code Python. Il est possible d'utiliser la transformation User-Defined pour créer de nouveaux enregistrements et jeux de données, ou pour renseigner un champ avec une valeur spécifique, pour ne citer que quelques possibilités.

191 2012-11-22

Transformations

Catégorie de transformations

Transformations

Plateforme Case

Map_Operation

Merge

Query

Row_Generation

SQL

Validation

Text Data Processing

Entity_Extraction

Rubriques associées

• Guide de référence : transformations

Description

Simplifie la logique de branche dans les flux de données en consolidant la logique de case ou de prise de décisions dans une transformation. Les chemins sont définis dans une table d'expressions.

Permet les conversions entre les codes d'opération.

Unifie les lignes à partir de deux sources ou plus dans une seule cible.

Extrait un jeu de données qui satisfait les conditions que vous avez indiquées. Une transformation

Query est semblable à une instruction SQL SELE-

CT.

Génère une colonne contenant des valeurs de nombre entier démarrant à zéro par incrément de 1 pour la valeur de fin spécifiée.

Effectue les opérations de requête SQL indiquées.

Assure que les données dans le flux de données répondent à vos critères durant toutes les phases.

Il est possible de filtrer ou de remplacer les données qui ne répondent pas aux critères.

Extrait des informations (entités et faits) d'un contenu au format de type texte, HTML, XML ou binaire

(par exemple, PDF).

8.1 Ajouter une transformation à un flux de données

Il est possible d'utiliser Designer pour ajouter des transformations aux flux de données.

Ouvrez un objet de flux de données.

Ouvrez la bibliothèque d'objets si elle n'est pas déjà ouverte et cliquez sur l'onglet Transformations.

Sélectionnez la transformation ou la configuration de transformation que vous souhaitez ajouter au flux de données.

Faites glisser l'icône de transformation ou de configuration de transformation dans l'espace de travail du flux de données. Si vous avez sélectionné une transformation qui possède plusieurs configurations

192 2012-11-22

Transformations de transformation disponibles, un menu déroulant vous invite à sélectionner une configuration de transformation.

Dessinez les connexions aux flux de données.

Pour connecter une source à une transformation, cliquez sur le carré sur le côté droit de la source et déplacez le curseur vers la flèche sur le côté gauche de la transformation.

Continuez à connecter les entrées et les sorties tel que requis pour la transformation.

• L'entrée pour la transformation peut être la sortie depuis une autre transformation, ou la sortie depuis une source ; ou bien la transformation peut ne pas exiger des données sources.

• Il est possible de connecter la sortie de la transformation à l'entrée d'une autre transformation ou cible.

Double-cliquez sur le nom de la transformation.

Cette opération ouvre l'éditeur de transformation, ce qui permet de terminer la définition de la transformation.

Saisissez des valeurs d'options.

Pour qu'une colonne de données soit marquée comme une option de transformation, saisissez le nom de la colonne tel qu'il apparait dans le schéma d'entrée ou faites glisser le nom de la colonne depuis le schéma d'entrée vers la boite d'option.

Rubriques associées

•

Ajouter une transformation Query à un flux de données

•

Ajout d'une transformation de qualité des données à un flux de données

•

Ajout d'une transformation de traitement des données de texte à un flux de données

8.2 Editeurs de transformations

Après avoir ajouté une transformation à un flux de données, configurez-la à l'aide de l'éditeur de transformation. Les présentations de l'éditeur de transformations varient.

La transformation la plus utilisée est la transformation Query, qui possède deux volets :

• Une zone de schéma d'entrée et/ou une zone de schéma de sortie

• Une zone d'options (ou zone de paramètres) qui permet de définir toutes les valeurs requises par la transformation

Les transformations Data Quality, telles que Match et Data Cleanse, utilisent un éditeur de transformations qui permet de définir les options et de mapper les champs d'entrée et de sortie.

L'éditeur de la transformation Entity Extraction permet de définir des options d'extraction et de mapper les champs d'entrée et de sortie.

193 2012-11-22

Transformations

Rubriques associées

•

•

Editeur de transformation Entity Extraction

•

8.3 Configurations de transformation

Une configuration de transformation désigne une transformation avec des champs de saisie et de sortie préconfigurés Meilleure pratique et des options pouvant être utilisées dans plusieurs flux de données.

Ces champs sont utiles lorsque vous utilisez de manière répétitive une transformation avec des options spécifiques et des champs de saisie et de sortie.

Certaines transformations, par exemple, Data Quality ont des configurations en lecture seule fournies lorsque Data Services est installé. Vous pouvez également créer votre propre configuration de transformation par la réplication d'une configuration de transformation existante ou par la création d'une autre. Vous ne pouvez pas exécuter une exportation ou des opérations multi-utilisateurs sur des configurations de transformation en lecture seule.

Dans la fenêtre Editeur de configuration de transformation, vous configurez les options par défaut, les champs de saisie et de sortie Meilleure pratique pour votre configuration de transformation. Lorsque vous avez créé une instance de la configuration de transformation dans un flux de données, vous pouvez remplacer celles qui existent par défaut.

Si vous modifiez une configuration de transformation, cette modification est héritée par chaque instance de la configuration de transformation utilisée dans les flux de données, sauf si un utilisateur a explicitement remplacé la même valeur d'option dans une instance.

Rubriques associées

•

Création d'une configuration de transformation

•

Ajout d'un champ défini par l'utilisateur

8.3.1 Création d'une configuration de transformation

Dans l'onglet Transformations de la "Bibliothèque d'objets locale", cliquez avec le bouton droit sur une transformation et sélectionnez Nouvelle afin de créer une configuration de transformation ou cliquez avec le bouton droit sur une configuration de transformation existante et sélectionnez

Répliquer.

Si les options Nouvelle ou Répliquer ne sont pas disponibles dans le menu, le type de transformation sélectionné ne peut pas comporter de configurations de transformation.

La fenêtre "Editeur de configuration de la transformation" s'ouvre.

194 2012-11-22

Transformations

195

Dans la zone Nom de configuration de la transformation, saisissez le nom de la configuration de transformation.

Dans l'onglet Options, définissez les valeurs d'option pour déterminer la manière dont la transformation traitera vos données. Les options disponibles dépendent du type de transformation pour laquelle vous créez une configuration.

Pour les transformations Associate, Match et User-Defined, les options ne sont pas modifiables dans l'onglet Options. Vous devez définir les options dans l'Editeur Associate, l'Editeur Match ou l'Editeur User-Defined, qui sont accessibles en cliquant sur le bouton Modifier les options.

Si vous modifiez la valeur par défaut d'une option, un triangle vert s'affiche près du nom de l'option pour indiquer qu'un remplacement a été effectué.

Pour désigner une option comme "meilleure pratique", cochez la case Meilleure pratique située près de la valeur de l'option. La désignation d'une option comme meilleure pratique indique aux autres utilisateurs qui emploient la configuration de transformation les options habituellement définies pour ce type de transformation.

Utilisez le filtre pour afficher toutes les options ou simplement les options qui sont désignées comme meilleure pratique.

Cliquez sur le bouton Vérifier pour contrôler si les valeurs d'option sélectionnées sont valides.

S'il existe des erreurs, elles sont affichées en bas de la fenêtre.

Dans l'onglet Meilleures pratiques d'entrée, sélectionnez les champs d'entrée que vous désirez désigner comme meilleure pratique pour la configuration de transformation.

Les configurations de transformation fournies avec SAP BusinessObjects Data Services n'indiquent pas les champs d'entrée meilleure pratique, il n'apparaît donc pas qu'un schéma d'entrée est préféré

à d'autres. Par exemple, vous pouvez mapper les champs de votre flux de données qui contiennent des données d'adresses si celles-ci se trouvent dans des champs discrets, des champs multilignes ou une combinaison de champs discrets et multilignes.

Ces champs d'entrée seront les seuls affichés si le filtre Meilleure pratique est sélectionné dans l'onglet Entrée de l'éditeur de transformation lorsque la configuration de la transformation est utilisée dans un flux de données.

Pour les configurations de transformation Associate, Match et User-Defined, vous pouvez créer des champs d'entrée définis par l'utilisateur. Cliquez sur le bouton Créer et saisissez le nom du champ d'entrée.

Dans l'onglet Meilleures pratiques de sortie, sélectionnez les champs de sortie que vous désirez désigner comme meilleure pratique pour la configuration de transformation.

Ces champs de sortie seront les seuls affichés si le filtre Meilleure pratique est sélectionné dans l'onglet Sortie de l'éditeur de transformation lorsque la configuration de la transformation est utilisée dans un flux de données.

Cliquez sur OK pour enregistrer la configuration de transformation.

La configuration de transformation est affichée dans la "Bibliothèque d'objets locale" sous la transformation de base du même type.

Vous pouvez désormais utiliser la configuration de transformation dans les flux de données.

Rubriques associées

• Guide de référence : Transformations, Configurations de transformation

2012-11-22

Transformations

8.3.2 Ajout d'un champ défini par l'utilisateur

Pour certaines transformations comme les transformations Associate, Match et User-Defined, vous pouvez créer des champs d'entrée définis par l'utilisateur plutôt que des champs reconnus par la transformation. Ces transformations utilisent des champs définis par l'utilisateur parce qu'elles ne comportent pas de set prédéfini de champs d'entrée.

Vous pouvez ajouter un champ défini par l'utilisateur à une seule instance d'une transformation dans un flux de données ou à une configuration de transformation afin qu'il puisse être utilisé dans toutes les instances.

Dans la transformation User-Defined, vous pouvez également ajouter des champs de sortie définis par l'utilisateur.

Dans l'onglet Transformations de la "bibliothèque d'objets locale" cliquez avec le bouton droit sur une configuration de transformation Associate, Match ou User-Defined existante et sélectionnez

Modifier.

La fenêtre "Editeur de configuration de la transformation" s'ouvre.

Dans l'onglet Meilleures pratiques d'entrée, cliquez sur le bouton Créer et saisissez le nom du champ d'entrée.

Cliquez sur OK pour enregistrer la configuration de transformation.

Lorsque vous créez un champ défini par l'utilisateur dans la configuration de transformation, il est affiché comme champ disponible dans chaque instance de la transformation utilisée dans un flux de données.

Vous pouvez également créer des champs définis par l'utilisateur dans chaque instance de transformation.

Rubriques associées

•

8.4 La transformation Query

La transformation Query est de loin la transformation la plus utilisée, c'est pourquoi cette section en propose une vue d'ensemble.

La transformation Query peut effectuer les opérations suivantes :

• Sélectionner (filtrer) les données à extraire à partir des sources

• Relier les données à partir de plusieurs sources

• Mapper les colonnes du schéma d'entrée vers le schéma de sortie

196 2012-11-22

Transformations

• Effectuer des transformations et des fonctions sur les données

• Effectuer des imbrications et des désimbrications de données

• Ajouter de nouvelles colonnes, des schémas imbriqués et des résultats de fonctions au schéma de sortie

• Affecter des clés primaires aux colonnes de sortie

Rubriques associées

•

Données imbriquées

• Guide de référence : transformations

8.4.1 Ajouter une transformation Query à un flux de données

Puisqu'elle est largement utilisée, l'icône de la transformation Query est inclue dans la palette d'outils, permettant d'ajouter plus facilement une transformation Query.

Cliquez sur l'icône Query dans la palette d'outils.

Cliquez n'importe où dans l'espace de travail du flux de données.

Connectez la Query aux entrées et sorties.

Remarque :

• Les entrées pour une Query peuvent inclure la sortie d'une autre transformation ou la sortie d'une source.

• Les sorties d'une Query peuvent inclure une entrée dans une autre transformation ou une entrée dans une cible.

• Il est possible de modifier le type de contenu pour les colonnes dans les données en sélectionnant un type différent de la liste de type de contenu de sortie.

• Si vous connectez une table cible à une Query avec un schéma de sortie vide, le logiciel remplit automatiquement le schéma de sortie de la Query avec les colonnes de la table cible, sans aucun mappage.

8.4.2 Editeur Query

L'éditeur Query est une interface graphique qui permet d'effectuer des opérations de requête. Il contient les zones suivantes : zone schéma d'entrée (en haut à gauche), zone schéma de sortie (en haut à droite), et une zone paramètres (zone à onglets en bas). L'icône indique que l'onglet contient des entrées définies par l'utilisateur ou qu'il existe au moins une paire de jointures (onglet FROM uniquement).

Les zones de schéma d'entrée et de sortie peuvent contenir : des colonnes, des schémas imbriqués et des fonctions (uniquement de sortie).

197 2012-11-22

Transformations

Les listes "Entrée de schéma" et "Sortie de schéma" affichent les schémas actuellement sélectionnés dans chaque zone. Le schéma de sortie actuellement sélectionné est appelé schéma actuel et détermine les éléments suivants :

• Les éléments de sortie qui peuvent être modifiés (ajoutés, mappés ou supprimés)

• Le périmètre des onglets Sélectionner jusqu'à Organiser par dans la zone de paramètres

Le schéma actuel est mis en surbrillance tandis que tous les autres (non actuels) schémas de sortie sont en gris.

8.4.2.1 Modifier le schéma de sortie actuel

Les méthodes suivantes permettent de modifier le schéma de sortie actuel :

• Sélectionnez un schéma de la liste Sortie de manière à ce qu'il soit mis en surbrillance.

• Faites un clic droit sur un schéma, une colonne ou une fonction dans la zone Schéma de sortie et sélectionnez En faire l'élément actuel.

• Double-cliquez sur l'un des éléments non actuels (grisés) dans la zone Schéma de sortie.

8.4.2.2 Modifier les contenus du schéma de sortie

Il est possible de modifier le schéma de sortie en suivant plusieurs méthodes :

• Glissez-déposez (ou copiez-collez) les colonnes ou les schémas imbriqués de la zone de schéma d'entrée vers la zone de schéma de sortie pour créer des mappages simples.

• Utilisez les options du menu clic droit sur les éléments de sorties pour :

• Ajouter de nouvelles colonnes et nouveaux schémas de sortie.

• Utiliser des appels de fonction pour générer des nouvelles colonnes de sortie.

• Affecter ou inverser les paramètres de la clé primaire sur les colonnes de sortie. Les colonnes de clé primaire sont marquées par une icône clé.

• Désimbriquer ou réimbriquer les schémas.

• Utilisez l'onglet Mappage pour proposer des mappages de colonnes complexes. Glissez-déposez les schémas et les colonnes d'entrées dans le schéma de sortie pour activer l'éditeur. Utilisez l'assistant de fonctions et l'éditeur rapide pour construire des expressions. Lorsque l'éditeur de texte est activé, il est possible d'accéder à ces fonctionnalités à l'aide des boutons situés au-dessus de l'éditeur.

• Utilisez les onglets de Sélectionnerjusqu'à Organiser par pour apporter des paramètres supplémentaires pour le schéma actuel (similaire aux clauses d'instructions SQL SELECT). Il est possible de glisser-déposer les schémas et les colonnes dans ces zones.

198 2012-11-22

Transformations

Nom de l'onglet

Sélection ner

Description

Indique s'il faut sortir uniquement les lignes d'éléments uniques (sans prendre en compte les lignes identiques doublon).

Liste tous les schémas d'entrée. Il permet d'indiquer les paires de jointure et les conditions de jointure, ainsi que de saisir le classement de jointure et le cache pour chaque schéma d'entrée. La clause SQL FROM obtenue est affichée.

Où

Indique les conditions qui déterminent quelles lignes sont des sorties.

Saisissez les conditions dans la syntaxe SQL, comme une clause WHERE dans une instruction SQL SELECT. Par exemple :

TABLE1.EMPNO = TABLE2.EMPNO AND

TABLE1.EMPNO > 1000 OR

TABLE2.EMPNO < 9000

Utilisez les boutons Fonctions, Domaines et Editeur rapide pour aider à construire des expressions.

Regrouper par

Organiser par

Indique la manière dont les lignes de sortie sont regroupées (le cas échéant).

Indique la manière dont les lignes de sortie sont séquencées (le cas échéant).

• Utilisez l'onglet Rechercher pour localiser les éléments de sortie et d'entrée contenant un mot ou un terme spécifique.

8.5 Transformations Qualité des données

Les transformations Qualité des données sont un ensemble de transformations qui aident à améliorer la qualité des données. Elles peuvent analyser, standardiser, corriger et ajouter des informations à vos données clients et opérationnelles.

Les transformations Qualité des données comprennent :

• Associate

• Country ID

• Data Cleanse

• DSF2 Walk Sequencer

• Global Address Cleanse

• Global Suggestion Lists

199 2012-11-22

Transformations

• Match

• USA Regulatory Address Cleanse

• User-Defined

Rubriques associées

• Guide de référence : Transformations

8.5.1 Ajout d'une transformation de qualité des données à un flux de données

Les transformations Qualité des données ne peuvent pas être directement connectées à une transformation en amont qui contient ou génère des tables imbriquées. C'est commun dans les flux de données en temps réel, en particulier ceux qui effectuent une comparaison. Pour connecter ces transformations, il faut insérer une transformation Query ou une transformation Pipeline XML entre la transformation comportant la table imbriquée et la transformation Qualité des données.

Ouverture d'un objet flux de données.

Ouvrez la bibliothèque d'objets si ce n'est pas déjà fait.

Accédez à l'onglet Transformations.

Développez le dossier de transformations Qualité des données et sélectionnez la transformation ou la configuration de transformation à ajouter au flux de données.

Faites glisser l'icône de la transformation ou de la configuration de transformation dans l'espace de travail du flux de données. Si vous avez sélectionné une transformation disposant de configurations de transformation, un menu déroulant vous invite à en sélectionner une.

Dessinez les connections du flux de données.

Pour connecter une source ou une transformation à une autre transformation, cliquez sur le carré situé sur le bord droit de la source ou de la transformation en amont et faites glisser le curseur vers la flèche placée sur le bord gauche de la transformation Qualité des données.

• L'entrée pour la transformation peut être la sortie d'une autre transformation ou d'une source.

Ou bien, la transformation peut ne pas requérir de données source.

• Vous pouvez connecter la sortie de la transformation à l'entrée d'une autre transformation ou cible.

Double-cliquez sur le nom de la transformation.

Cette action ouvre l'éditeur de transformation, qui permet de réaliser la définition de la transformation.

Dans le schéma d'entrée, sélectionnez les champs d'entrée que vous désirez mapper et faites-les glisser vers le champ approprié de l'onglet Entrée.

Cette action mappe le champ d'entrée à un nom de champ reconnu par la transformation afin que celle-ci sache comment le traiter correctement. Par exemple, un champ d'entrée nommé

"Organisation" serait mappé au champ Société. Lorsque les types de contenu de l'entrée sont définis, ces colonnes sont automatiquement mappées aux champs d'entrée appropriés. Vous pouvez modifier

200 2012-11-22

Transformations le type de contenu des colonnes de vos données en sélectionnant un type différent dans la liste des types de contenu de sortie.

Pour les transformations Associate, Match et User-Defined, vous pouvez ajouter des champs définis par l'utilisateur dans l'onglet Entrée. Vous pouvez le faire de deux manières :

• Cliquez sur la première ligne vide en bas de la table et appuyez sur la touche F2 de votre clavier.

Saisissez le nom du champ. Sélectionnez le champ d'entrée approprié dans la zone déroulante pour mapper le champ.

• Faites glisser le champ d'entrée approprié vers la première ligne vide en bas de la table.

Pour renommer le champ défini par l'utilisateur, cliquez sur le nom, appuyez sur la touche F2 du clavier et saisissez le nouveau nom.

10.

Dans l'onglet Options, sélectionnez les valeurs de l'option appropriée pour déterminer la manière dont la transformation traitera vos données.

• Mappez vos champs d'entrée avant de définir les valeurs d'option, parce que dans certaines transformations, les options disponibles et les valeurs d'option dépendent des champs d'entrée mappés.

• Pour les transformations Associate, Match et User-Defined, les options ne sont pas modifiables dans l'onglet Options. Vous devez définir les options dans l'Editeur Associate, l'Editeur Match et l'Editeur User-Defined . Vous pouvez accéder à ces éditeurs en cliquant sur le bouton Modifier les options de l'onglet Options ou en cliquant avec le bouton droit sur la transformation dans le flux de données.

Si vous modifiez la valeur par défaut d'une option, un triangle vert s'affiche près du nom de l'option pour indiquer qu'un remplacement a été effectué.

11.

Dans l'onglet Sortie, double-cliquez sur les champs que vous désirez sortir de la transformation.

Les transformations Qualité des données peuvent générer des champs en plus des champs d'entrée que traite la transformation, vous pouvez donc sortir plusieurs champs.

Vérifiez que vous avez défini les options avant de mapper les champs de sortie.

Les champs sélectionnés apparaissent dans le schéma de sortie. Le schéma de sortie de cette transformation devient le schéma d'entrée de la prochaine transformation dans le flux de données.

12.

Si vous désirez transmettre des données via la transformation sans les traiter, faites glisser directement les champs du schéma d'entrée vers le schéma de sortie.

13.

Pour renommer ou redimensionner un champ de sortie, double-cliquez dessus et modifiez les propriétés dans la fenêtre "Propriétés des colonnes".

Rubriques associées

• Guide de référence : Champs Qualité des données

•

Editeurs des transformations Associate, Match et User-Defined

8.5.2 Editeurs de transformation Qualité des données

201 2012-11-22

Transformations

Les éditeurs Qualité des données, interfaces graphiques pour configurer les champs et options d'entrée et de sortie, contiennent les zones suivantes : schéma d'entrée (en haut à gauche), schéma de sortie

(en haut à droite) et paramètres (zone inférieure à onglets).

La zone des paramètres comporte trois onglets : Entrée, Options et Sortie. Généralement, la meilleure pratique consiste à remplir les onglets dans cet ordre parce que les paramètres disponibles dans un onglet peuvent dépendre de ceux sélectionnés dans l'onglet précédent.

Zone Schéma d'entrée

La zone Schéma d'entrée affiche les champs d'entrée qui sont sortis par la transformation en amont dans le flux de données.

Zone Schéma de sortie

La zone Schéma de sortie affiche les champs sortis par la transformation et qui deviennent les champs d'entrée de la transformation en aval dans le flux de données.

Onglet Entrée

L'onglet Entrée affiche les noms des champs disponibles reconnus par la transformation. Mappez ces champs aux champs d'entrée de la zone Schéma d'entrée. Le mappage des champs d'entrée aux noms des champs reconnus par la transformation indique à celle-ci comment traiter ces champs.

Onglet Options

L'onglet Options contient les règles de gestion qui déterminent la manière dont la transformation traite les données. Chaque transformation comporte un ensemble d'options disponibles différent. Si vous modifiez la valeur par défaut d'une option, un triangle vert s'affiche près du nom de l'option pour indiquer qu'un remplacement a été effectué.

Dans les transformations Associate, Match et User-Defined, vous ne pouvez pas modifier directement les options dans l'onglet Options. Vous devez utiliser à la place les éditeurs Associate, Match et User-

Defined, qui sont accessibles à l'aide du bouton Modifier les options.

Onglet Sortie

L'onglet Sortie affiche les noms des champs pouvant être sortis par la transformation. Les transformations

Qualité des données peuvent générer des champs en plus des champs d'entrée que traite la transformation, vous pouvez donc sortir plusieurs champs. Ces champs de sortie mappés sont affichés dans la zone Schéma de sortie.

Filtre et tri

Les onglets Entrée, Options et Sortie contiennent chacun des filtres qui déterminent les champs à afficher dans les onglets.

202 2012-11-22

Transformations

Filtre

Meilleure pratique

En cours d'utilisation

Tout

Description

Affiche les champs ou les options ayant été désignés comme meilleure pratique pour ce type de transformation. Ce ne sont toutefois que des propositions, elles peuvent ne pas répondre à vos besoins de traitement ou de sortie des données.

Les configurations de transformation fournies avec le progiciel n'indiquent pas de champs d'entrée meilleure pratique.

Affiche les champs ayant été mappés à un champ d'entrée ou de sortie.

Affiche tous les champs disponibles.

L'onglet Sortie comporte des fonctionnalités supplémentaires de filtrage et de tri, accessibles en cliquant sur les en-têtes des colonnes. Vous pouvez filtrer chaque colonne de données pour afficher une ou plusieurs valeurs et également trier les champs dans l'ordre croissant ou décroissant. Les icônes dans l'en-tête de colonne indiquent si un filtre ou un tri est appliqué à la colonne. Comme il est possible d'appliquer les filtres et les tris sur plusieurs colonnes, l'opération se fait de gauche à droite. Le menu

Filtre et tri n'est pas disponible s'il n'existe qu'un type d'élément dans la colonne.

Aide intégrée

L'aide intégrée sert à rechercher des informations supplémentaires sur les transformations et options de SAP BusinessObjects Data Services. La rubrique change pour fournir une aide sur le contexte dans lequel vous évoluez. Lorsque vous sélectionnez une nouvelle transformation ou un nouveau groupe d'options, la rubrique s'actualise pour refléter cette sélection.

Vous pouvez également naviguer vers d'autres rubriques à l'aide des liens hypertexte de la rubrique ouverte.

Remarque :

Pour afficher les informations des options des transformations Associate, Match et User-Defined, il faut ouvrir leurs éditeurs respectifs en sélectionnant la transformation dans le flux de données, puis Outils

> Editeur <transformation>.

Rubriques associées

•

8.5.2.1 Editeurs des transformations Associate, Match et User-Defined

203 2012-11-22

Transformations

Les transformations Associate, Match et User-Defined comportent chacune leur propre éditeur dans lequel vous pouvez ajouter des groupes d'options et modifier les options. Les éditeurs de ces trois transformations ont une apparence et des fonctions similaires, dans certains cas, ils partagent les mêmes groupes d'options.

204

La fenêtre de l'éditeur est partagée en quatre zones :

Explorateur d'options — Dans cette zone, vous sélectionnez les groupes d'options ou les opérations disponibles pour la transformation. Pour afficher un groupe d'options masqué, cliquez avec le bouton droit sur le groupe d'options auquel il appartient et sélectionnez son nom dans le menu.

Editeur d'options — Dans cette zone, vous indiquez la valeur de l'option.

Boutons — Utilisez-les pour ajouter, supprimer et ordonner les groupes d'options.

Aide intégrée — L'aide intégrée affiche des informations supplémentaires sur l'utilisation de l'écran actif de l'éditeur.

Rubriques associées

• Guide de référence : Transformations, Associate

• Guide de référence : Transformations, Match

• Guide de référence : Transformations, User-Defined

8.5.2.2 Editeur d'options classées

2012-11-22

Transformations

Certaines transformations permettent de sélectionner et d'indiquer l'ordre de plusieurs valeurs pour une seule option. L'option de séquence d'analyse de la transformation Data Cleanse constitue un exemple.

Pour configurer une option classée :

Cliquez sur les boutons de commande Ajouter et Supprimer pour supprimer des valeurs d'option entre des listes de valeurs Disponible et Sélectionné.

Remarque :

Supprimer toutes les valeurs.Pour supprimer la liste des valeurs Sélectionné et déplacer toutes les valeurs d'option à la liste de valeurs Disponible, cliquez sur Tout supprimer.

Sélectionnez une valeur dans la liste de valeurs Disponible et cliquez sur les boutons de commande

Flèche vers le haut et le bas pour modifier la position de la valeur dans la liste.

Cliquez sur OK pour sauvegarder les modifications apportées à la configuration de l'option. Les valeurs sont répertoriées dans Designer et séparées par des caractères tiret vertical (|).

8.6 Transformations Traitement des données de texte

Les transformations Traitement des données de texte permettent d'extraire des informations spécifiques du texte. Elles peuvent analyser d'importants volumes de texte, identifier et extraire des entités et des faits, par exemple, des clients, des produits, des emplacements et des informations financières pertinentes pour votre organisation. Les sections suivantes présentent cette fonctionnalité et la transformation Entity Extraction.

8.6.1 Présentation du Traitement des données de texte

Le Traitement des données de texte analyse le texte, identifie automatiquement les entités, notamment les personnes, les dates, les lieux, les organisations etc. et les extrait en plusieurs langues. Il recherche

également des modèles, des activités, des événements et des relations parmi des entités et active leur extraction. L'extraction de telles informations à partir du texte, indique le sujet du texte, ces informations peuvent être utilisées dans des applications pour la gestion de l'information, l'intégration de données et la qualité des données ; Business Intelligence ; requête, analyse et reporting ; recherche, navigation, gestion des documents et de contenu parmi d'autres scénarios d'utilisation.

Traitement des données de texte va au-delà des outils conventionnels de correspondance de caractère pour la récupération des informations, permettant de rechercher les correspondances exactes pour des chaînes spécifiques. Il comprend la sémantique des mots. Outre la correspondance d'entité, il exécute une fonction complémentaire de découverte de nouvelle entité. Pour personnaliser l'extraction d'entité, le logiciel vous permet d'indiquer votre propre liste d'entités dans un dictionnaire personnalisé.

205 2012-11-22

Transformations

Ces dictionnaires vous permettent d'archiver des entités et de gérer des variations de nom. Les noms d'entité connus peuvent être standardisés à l'aide d'un dictionnaire.

Le Traitement des données de texte automatise l'extraction des informations clés de sources de texte pour réduire la vérification et le taggage manuels. Ceci permet une réduction des coûts, en facilitant la compréhension des importants insights masqués dans le texte. L'accès aux informations pertinentes

à partir d'un texte non structuré peut faciliter la rationalisation et réduire les coûts superflus.

Dans Data Services, le traitement des données de texte fait référence à un ensemble de transformations qui extrait des informations à partir de données non structurées et crée des données structurées pouvant

être utilisées par divers outils de Business Intelligence.

8.6.2 Présentation de la transformation Entity Extraction

Le traitement des données de texte est réalisé dans le logiciel à l'aide de la transformation suivante :

• Entity Extraction - Extrait des entités et des faits d'un texte non structuré.

L'extraction implique le traitement et l'analyse de texte, la recherche d'entités d'intérêt, leur affectation au type approprié et la présentation de ces métadonnées sous un format standard. Les dictionnaires et les règles vous permettent de personnaliser votre sortie d'extraction pour inclure des entités qui y sont définies. Les applications d'extraction s'adaptent aux besoins de vos informations. Les exemples suivants sont des informations pouvant être extraites à l'aide de cette transformation :

• Co-occurrence et associations de noms de marque, noms de société, personne, volume d'affaires etc.

• Informations concurrentielles sur le marché telles que les activités de concurrent, fusion et

événements d'acquisition, communiqués, contact information etc.

• Associations d'une personne, activités ou rôle dans un événement spécifique.

• Informations sur la réclamation client, rapports ou informations relatives au patient, par exemple les effets inverses du médicament.

• Divers modèles alphanumériques, par ex. numéros ID, dates de contrat, profits etc.

8.6.2.1 Entités et faits - Présentation

Les Entités indiquent des noms de personnes, des lieux et des éléments pouvant être extraits. Les

Entités sont définies comme couplage d'un nom et son type. Le Type indique la catégorie principale d'une entité.

Vous trouverez ci-dessous des exemples d'entités :

• Paris est une entité ayant comme nom "Paris" et comme type LOCALITE.

• M. Joe Smith est une entité ayant comme nom "M. Joe Smith" et comme type PERSONNE.

206 2012-11-22

Transformations

Les entités peuvent avoir des sous-types. Un sous-type indique une autre classification d'une entité ; il désigne une spécification hiérarchique d'un type d'entité permettant de distinguer différentes variétés sémantiques du même type d'entité. Un sous-type peut être décrit comme une sous-catégorie d'une entité.

Vous trouverez ci-dessous des exemples d'entités et de sous-types :

• Boeing 747 est une entité du type VEHICULE et a comme sous-type AIR.

• Mercedes-Benz SL500 est une entité du type VEHICULE et a comme sous-type TERRAIN.

• SAP est une entité du type ORGANISATION et a comme sous-type COMMERCIALE.

Les Faits indiquent un modèle qui crée une expression pour extraire des informations telles que les sentiments, les événements ou les relations. Les faits sont extraits à l'aide de règles d'extraction personnalisées. Un fait désigne un terme de protection couvrant des extractions de modèles plus complexes incluant une ou plusieurs entités, une relation entre une ou plusieurs entités ou une sorte de prédicat concernant une entité. Les faits indiquent dans quel contexte différentes entités sont reliées dans le texte. Les entités par elles-mêmes indiquent uniquement qu'elles figurent dans un document mais les faits fournissent des informations sur la façon dont ces entités sont reliées. Les types de faits identifient la catégorie d'un fait ; par exemple, des sentiments et des demandes. Un sous-fait désigne des informations clés imbriquées dans un fait. Un type de sous-fait peut être décrit comme une catégorie associée au sous-fait.

Vous trouverez ci-dessous quelques exemples de faits et de types de faits :

• SAP a acquis Business Objects dans de bonnes conditions. Il s'agit d'un événement de type fusion et acquisition (M&A).

• Monsieur Joe Smith est très préoccupé par ses réservations auprès de la compagnie aérienne. Il s'agit d'un fait de type SENTIMENT.

Comment fonctionne l'extraction

Le processus d'extraction utilise sa connaissance inhérente de la sémantique des mots et du contexte linguistique dans lequel ces mots apparaissent pour rechercher des entités et des faits. Il crée des modèles spécifiques pour extraire des entités et des faits en fonction de règles système. Vous pouvez ajouter des entrées dans un dictionnaire et écrire des règles personnalisées pour personnaliser une sortie d'extraction. Le texte d'exemple suivant et la sortie de l'exemple suivante indiquent comment un contenu non structuré peut être transformé en une information structurée pour être traité et analysé ultérieurement.

Exemple : Texte d'exemple et informations relatives à l'extraction

"M. Jones est très ennuyé par rapport à Green Insurance Corp. L'offre relative à son véhicule soldé n'est pas assez importante. Il déclare que Green lui a proposé 1250 $ mais sa voiture est estimée partout à 2500 $ et 4500 $. Monsieur Jones souhaiterait que Green s'aligne sur d'autres concurrents."

Cet exemple de texte, lorsqu'il est traité avec la transformation d'extraction, configuré à l'aide des règles personnalisées de sentiment et de demande identifierait et regrouperait les informations de façon logique (identification d'entités, sous-types, faits, types de faits, sous-faits et types de sous-faits) pouvant être traités ultérieurement.

207 2012-11-22

Transformations

Les tableaux suivants indiquent des résultats partiels avec des informations marquées comme entités, types d'entités, sous-types, faits, types de faits, sous-faits et types de sous-faits à partir de l'exemple de texte :

Sous-type Entités

M. Jones

Green Insurance

Green

1250 $

Type d'entité

PERSONNE

ORGANISATION

DIVERS_PROPRIETE

DEVISE

COMMERCIALE

Type de sous-fait Faits Type de fait Sous-fait

M. Jones est très ennuyé par rapport

à Green Insurance

Corp.

SENTIMENT très ennuyé

Jones souhaiterait que Green s'aligne sur d'autres concurrents.

DEMANDE

SentimentTrèsNégatif

208

8.6.2.2 Présentation du dictionnaire

Un dictionnaire d'extraction désigne un répertoire d'entités défini par l'utilisateur. Il s'agit d'un outil de personnalisation facile à utiliser qui indique une liste d'entités que la transformation Entity Extraction doit toujours extraire lors du traitement d'un texte. Les informations sont classées sous le formulaire standard et la variante d'une entité. Un formulaire standard peut avoir une ou plusieurs variantes imbriquées ; les variantes sont d'autres noms connus d'une entité. Par exemple, United Parcel Service of America est le formulaire standard pour cette société et United Parcel Service et UPS sont tous deux des variantes de la même société.

Alors que chaque formulaire standard doit avoir un type, les variantes peuvent de manière facultative avoir leur propre type , par exemple alors que United Parcel Service of America est associé à un type de formulaire standard ORGANISATION, vous devez peut-être définir un type de varianteABBREV pour inclure des abréviations. Une structure du dictionnaire peut permettre de standardiser les références d'une entité.

2012-11-22

Transformations

8.6.2.3 Aperçu de règle

Une règle d'extraction définit des modèles personnalisés pour extraire des entités, des relations, des

événements et d'autres extractions plus importantes soumises ensemble en tant que faits. Vous écrivez des règles d'extraction personnalisées pour exécuter une extraction répondant à vos besoins spécifiques.

8.6.3 Utilisation de la transformation Entity Extraction

La transformation Entity Extraction peut extraire des informations à partir d'un contenu au format texte,

HTML, XML, ou binaire (tel que PDF) et générer une sortie structurée. Vous pouvez utiliser la sortie de plusieurs façons en fonction de votre workflow. Vous pouvez l'utiliser comme entrée pour une autre transformation ou l'écrire dans plusieurs sources de sortie, par exemple une table de base de données ou un fichier plat. La sortie est générée en codage UTF-16. La liste suivante indique des scénarios sur le moment où utiliser la transformation seule ou associée à d'autres transformations Data Services.

• Recherche d'informations et de relations spécifiques issues d'une quantité importante de texte liée

à un domaine générale. Par exemple, une société est intéressée par l'analyse des commentaires client reçus dans un texte en forme libre suite au lancement d'un nouveau produit.

• Relier des informations structurées à partir d'un texte non structuré avec des informations structurées existantes pour effectuer de nouvelles connexions. Par exemple, un service de poursuite pénale essaie d'établir des connexions entre divers crimes et des personnes impliquées à l'aide de sa propre base de données et des informations disponibles dans divers rapports au format texte.

• Analyse et rapport relatif aux problèmes de qualité d'un produit, par exemple des réparations trop

élevées et des retours de certains produits. Par exemple, vous pouvez disposer d'informations structurées sur des produits, des pièces, des clients et des fournisseurs dans une base de données, alors que des informations importantes relatives aux problèmes peuvent se présenter sous forme de notes : champs d'enregistrements de maintenance, journaux de réparation, escalades produit et journaux de centre de support. Pour identifier les problèmes, vous devez établir des connexions entre diverses formes de données.

8.6.4 Différences entre traitement des données de texte et transformations Data

Cleanse

La transformation Entity Extraction propose une fonctionnalité similaire à la transformation Data Cleanse dans certains cas, notamment concernant les fonctions de personnalisation. Cette section décrit les différences entre les deux transformations et celle qui doit être utilisée conformément à vos objectifs.

La transformation Traitement des données de texte et la transformation Entity Extraction sont logiques

209 2012-11-22

Transformations pour un contenu non structuré et la transformation Data Cleanse permet de standardiser et de nettoyer des données structurées. Le tableau suivant décrit certaines des principales différences. Dans de nombreux cas, l'utilisation d'une combinaison transformations Entity Extraction/Data Cleanse génèrera les données les mieux adaptées à vos analyses et rapports Business Intelligence.

Critères

Type d'entrée

Traitement des données de texte Data Cleanse

Texte non structuré nécessitant une analyse linguistique pour générer des informations pertinentes.

Données structurées représentées comme champs d'enregistrements.

Taille d'entrée

Supérieure à 5 Ko du texte.

Inférieure à 5 Ko du texte.

Périmètre d'entrée

Tâche correspondante

Normalement domaine général avec variations.

Découverte de contenu, réduction bruit, correspondance de modèle et relation entre différentes entités.

Domaine de données spécifique avec variations limitées.

Recherche dans le dictionnaire, reconnaissance des dépendances.

Utilisation potentielle

Sortie

Identifie les informations potentiellement significatives à partir d'un contenu non structuré et les extrait sous un format pouvant être archivé dans un référentiel.

Garantit la qualité des données pour la correspondance et l'archivage dans un référentiel tel que

Meta Data Management.

Crée des annotations sur le texte source sous forme d'entités, de types d'entités, de faits et leur décalage, longueur etc. L'entrée n'est pas modifiée.

Crée des champs analysés et standardisés.

L'entrée est modifiée si nécessaire.

8.6.5 Utilisation de plusieurs transformations

Vous pouvez inclure plusieurs transformations dans le même flux de données pour effectuer diverses analyses sur des informations non structurées.

Par exemple, pour extraire des noms et des adresses imbriqués dans un texte et valider les informations avant l'exécution de l'analyse sur les informations extraites, vous pourriez effectuer les opérations suivantes :

• Utiliser la transformation Extraction d'entité pour traiter un texte contenant des noms et des adresses et extraire différentes entités.

210 2012-11-22

Transformations

• Transférer la sortie d'extraction à la transformation Case pour identifier les lignes représentant des noms et les lignes représentant des adresses

• Utiliser la transformation Data Cleanse pour standardiser les noms extraits et utiliser la transformation

Global Address Cleanse pour valider et corriger les données d'adresse extraites.

Remarque :

Pour générer les données correctes, incluez les champs standard_form et type dans le schéma de sortie de transformation Extraction d'entité ; mappez le champ type dans la transformation Case en fonction du type d'entité, par exemple PERSONNE, ADRESSE1 etc. Puis mappez toute entité PERSONNE de la transformation Case à la transformation Data Cleanse et mappez toute entité ADRESSE1 ) à la transformationGlobal Address Cleanse.

8.6.6 Exemples d'utilisation de transformation Entity Extraction

Cette section décrit des exemples d'utilisation de la transformation Entity Extraction.

Le scénario est le suivant : un service de ressources humaines souhaite analyser des CV reçus sous divers formats. Les formats sont les suivants :

• Un fichier texte en tant que pièce jointe à un e-mail

• Un CV texte collé dans un champ sur le site Web de la société

• Mises à jour de contenu de CV que le service souhaite traiter en temps réel

Exemple : Pièce jointe d'e-mail de fichier texte

Le service des ressources humaines reçoit fréquemment des CV comme pièces jointes aux e-mails de la part de candidats. Il archive ces pièces jointes dans un répertoire distinct sur un serveur.

Pour analyser et traiter des données à partir de ces fichiers texte :

Configurez un format de fichier Texte non structuré indiquant le répertoire des CV.

Créez un flux de données avec le format de fichier texte non structuré comme source, une transformation Entity Extraction et une cible.

Configurez la transformation à traiter et analysez le texte.

Exemple : Le CV texte collé dans un champ sur un site Web

Le formulaire de candidature en ligne du service des ressources humaines comprend un champ où les candidats peuvent coller leurs CV. Ce champ est capturé dans une colonne de table de base de données.

Pour analyser et traiter les données de la base de données :

Configurez une connexion à la base de données via une banque de données.

Créez un flux de données avec la table de base de données comme source, une transformation

Entity Extraction et une cible.

211 2012-11-22

Transformations

Configurez la transformation à traiter et analysez le texte.

Exemple : Contenu mis à jour à traiter en temps réel

Supposez que le service des ressources humaines recherche une compétence spécifique chez une candidate. Lorsque la candidate met à jour son CV sur le formulaire Web de la société avec la compétence requise, le responsable RH souhaite immédiatement en être informé. Utilisez un job en temps réel pour activer cette fonctionnalité.

Pour analyser et traiter les données en temps réel :

Ajoutez un job en temps réel incluant des marqueurs de début et de fin et un flux de données.

Connectez les objets.

Créez le flux de données avec une source de message, une transformation Entity Extraction et une cible de message.

Configurez la transformation à traiter et analysez le texte.

Rubriques associées

•

Banques de données de bases de données

•

Jobs en temps réel

8.6.7 Ajout d'une transformation de traitement des données de texte à un flux de données

Ouverture d'un objet flux de données.

Ouvrez la bibliothèque d'objets locale si ce n'est pas déjà fait.

Accédez à l'onglet Transformations.

Développez le dossier de transformations Traitement des données de texte et sélectionnez la transformation ou la configuration de transformation à ajouter au flux de données.

Dessinez les connections du flux de données.

• L'entrée pour la transformation peut être la sortie d'une autre transformation ou d'une source.

• Vous pouvez connecter la sortie de la transformation à l'entrée d'une autre transformation ou cible.

212 2012-11-22

Transformations

Double-cliquez sur le nom de la transformation.

Cette action ouvre l'éditeur de transformation, qui permet d'effectuer la définition de la transformation.

Dans le schéma d'entrée, sélectionnez le champ d'entrée que vous désirez mapper et faites-le glisser vers le champ approprié de l'onglet Entrée.

Cette action mappe le champ d'entrée à un nom de champ qui est reconnu par la transformation afin que celle-ci sache comment la traiter correctement. Par exemple,

• un champ d'entrée nommé Contenu sera mappé au champ d'entrée TEXT.

• un champ d'entrée qui peut identifier de manière unique le contenu sera mappé au champ d'entrée

TEXT_ID.

Dans l'onglet Options, sélectionnez les valeurs de l'option appropriée pour déterminer la manière dont la transformation traitera vos données.

Mappez les champs d'entrée avant de définir les valeurs des options.

Si vous modifiez la valeur par défaut d'une option, un triangle vert s'affiche près du nom de l'option pour indiquer qu'un remplacement a été effectué.

10.

Dans l'onglet Sortie, double-cliquez sur les champs que vous désirez sortir de la transformation.

Les transformations peuvent générer des champs en plus des champs d'entrée que traite la transformation, vous pouvez donc sortir plusieurs champs.

Vérifiez que vous avez défini les options avant de mapper les champs de sortie.

Les champs sélectionnés apparaissent dans le schéma de sortie. Le schéma de sortie de cette transformation devient le schéma d'entrée de la prochaine transformation dans le flux de données.

11.

Si vous désirez transmettre des données via la transformation sans les traiter, faites glisser directement les champs du schéma d'entrée au schéma de sortie.

12.

Pour renommer ou redimensionner un champ de sortie, double-cliquez dessus et modifiez les propriétés dans la fenêtre "Propriétés des colonnes".

Rubriques associées

•

Editeur de transformation Entity Extraction

• Guide de référence : Transformation Entity Extraction, Champs d'entrée

• Guide de référence : Transformation Entity Extraction, Champs de sortie

• Guide de référence : Transformation Entity Extraction, Options d'extraction

8.6.8 Editeur de transformation Entity Extraction

Les options de transformation Entity Extraction indiquent divers paramètres de traitement de contenu

à l'aide de la transformation. Les options de filtrage parmi différentes options d'extraction permettent de limiter les entités et les fais extraits, à des entités spécifiques à partir d'un dictionnaire, de fichiers système, d'entités/de faits issus de règles ou une combinaison de ces éléments.

Les options d'extraction sont divisées en catégories qui sont les suivantes :

213 2012-11-22

Transformations

•

Commun

Cette option est définie pour indiquer que la transformation Entity Extraction doit être exécutée comme un processus séparé.

•

Langues

Option obligatoire. Utilisez cette option pour indiquer la langue du processus d'extraction. L'option de filtrage Types d'entités est facultative et vous pouvez la sélectionner lorsque vous sélectionnez la langue pour limiter votre sortie d'extraction.

•

Options de traitement

Utilisez ces options pour indiquer les paramètres à utiliser lors du traitement du contenu.

•

Dictionnaires

Utilisez cette option pour indiquer différents dictionnaires à utiliser pour le traitement du contenu.

Pour utiliser l'option de filtrage Types d'entités , vous devez indiquer le Fichier dictionnaire.

Remarque :

Traitement des données de texte comprend le fichier schéma dictionnairedictionnaire d'extraction.xsd

. Par défaut, ce fichier est installé dans le dossier LINK_DIR/bin, où LI

NK_DIR est votre répertoire d'installation Data Services. Reportez-vous à ce schéma pour créer vos propres fichiers dictionnaire.

•

Règles

Utilisez cette option pour indiquer différents fichiers de règles à utiliser pour traiter le contenu. Pour utiliser l'option de filtrage Noms de règles , vous devez indiquer le Fichier de règles.

Si vous n'indiquez aucune option de filtrage, la sortie d'extraction contiendra toutes les entités extraites

à l'aide des types d'entités définis dans la langue sélectionnée, fichier(s) dictionnaire et nom(s) de règles dans le(s) fichier(s) dictionnaire sélectionné(s).

Remarque :

La sélection d'un fichier dictionnaire ou un fichier de règles dans le processus d'extraction est facultative.

La sortie d'extraction inclura les entités internes, si elles sont indiquées.

Rubriques associées

•

Importation de schémas XML

• Guide de référence : Transformation Entity Extraction, options d'extraction

• Guide de personnalisation Extraction traitement des données de texte : Utilisation de dictionnaires

8.6.9 Utilisation d'options de filtrage

Les options de filtrage sous différentes options d'extraction contrôlent la sortie générée par la transformation Entity Extraction. L'utilisation de ces options permet de limiter les entités extraites à des

214 2012-11-22

Transformations entités spécifiques d'un dictionnaire, les fichiers système, les entités/faits de règles ou une combinaison de ces éléments. Par exemple, vous traitez des champs de commentaires client pour une société automobile et vous êtes intéressé par les commentaires liés à un modèle spécifique. L'utilisation des options de filtrage permet de contrôler votre sortie pour extraire des données uniquement liées à ce modèle.

Les options de filtrage sont divisées en trois catégories :

• L'option Filtrer par types d'entités sous le groupe d'options Langues - Utilisez cette option pour limiter la sortie d'extraction uniquement à l'inclusion d'entités sélectionnées pour cette langue.

• L'option Filtrer par types d'entités sous le groupe d'options Dictionnaire - Utilisez cette option pour limiter la sortie d'extraction uniquement à l'inclusion d'entités définies dans un dictionnaire.

• L'option Filtrer par noms de règles sous le groupe d'options Règles - Utilisez cette option pour limiter la sortie d'extraction uniquement à l'inclusion d'entités et des faits renvoyés par les règles spécifiques.

Le tableau suivant décrit des informations figurant dans la sortie d'extraction en fonction de la combinaison de ces options :

La ngues

Types d'entités

Oui

Non

Oui

Non

Diction naires

Types d'entités

Règles Contenu de sortie d'extraction

Noms de règle

Non

Oui

Non

Oui

Remarque

Entités (extraites à l'aide des types d'entités) sélectionnées dans le filtre.

Entités (extraites à l'aide des types d'entités) définies dans la langue sélectionnée et types d'entités sélectionnés à partir du filtre des dictionnaires.

Si plusieurs dictionnaires contenant le même type d'entité sont indiqués, mais que ce type est sélectionné uniquement comme filtre pour l'un de ces dictionnaires, les entités de ce type seront également renvoyées à partir de l'autre dictionnaire.

Entités (extraites à l'aide des types d'entités) définies dans les filtres pour la langue sélectionnée et tout dictionnaire indiqué.

Entités (extraites à l'aide des types d'entités) définies dans la langue sélectionnée et tout nom de règle sélectionné dans le filtre à partir de tout fichier de règles indiqué.

Si plusieurs fichiers de règles contenant le même nom de règle sont indiqués mais si ce nom est sélectionné uniquement comme filtre pour l'un de ces fichiers, les entités et les faits de ce type seront également renvoyés à partir de l'autre fichier de règles.

215 2012-11-22

Transformations

La ngues

Diction naires

Règles Contenu de sortie d'extraction

Non

Oui

Non

Oui

Remarque

Entités (extraites à l'aide de types d'entités) définies dans la langue sélectionnée, types d'entités sélectionnés à partir du filtre de dictionnaires et tout nom de règle sélectionné dans le filtre à partir de tout fichier de règles indiqué.

Entités (extraites à l'aide de types d'entités) définies dans les filtres pour la langue sélectionnée et tout nom de règle sélectionné dans le filtre à partir de tout fichier de règles indiqué.

Entités (extraites à l'aide de types d'entités) définies dans les filtres pour la langue sélectionnée, types d'entités sélectionnés à partir du filtre de dictionnaires et tout nom de règle sélectionné dans le filtre à partir de tout fichier de règles indiqué.

Le processus d'extraction filtre la sortie à l'aide de l'union d'entités ou de faits extraits pour la langue sélectionnée, les dictionnaires et les fichiers de règles.

Si vous modifiez la langue, les dictionnaires ou les règles sélectionné(e)s, tout filtrage associé à cette option sera uniquement réinitialisée en cliquant sur l'option Filtrer par.... Vous devez sélectionner de nouveaux choix de filtrage en fonction de la sélection modifiée.

Remarque :

• Si vous utilisez plusieurs dictionnaires (ou règles) et avez défini des options de filtrage pour certains des dictionnaires sélectionnés (ou règles), le processus d'extraction combine les dictionnaires en interne et la sortie est filtrée à l'aide de l'union des types d'entités sélectionnés pour chaque dictionnaire et des noms de règle sélectionnés pour chaque fichier de règles. La sortie identifiera la source comme un fichier de dictionnaire (ou règle) et non le nom individuel d'un fichier de dictionnaire (ou règle).

• Si vous sélectionnez l'option Dictionnaire uniquement sous le groupe Options de traitement avec un fichier de dictionnaire valide, les types d'entités définis pour la langue ne sont pas inclus dans la sortie d'extraction mais toute entité et tout fait de fichiers de règles extrait(e) est inclus(e).

Rubriques associées

•

Editeur de transformation Entity Extraction

216 2012-11-22

Worflows

Rubriques associées

•

Qu'est-ce qu'un workflow ?

•

Etapes d'un workflow

•

Ordre d'exécution dans les workflows

•

Exemple de workflow

•

Création de workflows

•

Structures conditionnelles

•

Boucles WHILE

•

Blocs Try/Catch

•

Scripts

9.1 Qu'est-ce qu'un workflow ?

Un workflow définit le processus de prise de décision pour l'exécution de flux de données. Par exemple, les éléments d'un workflow peuvent déterminer le chemin d'exécution en fonction d'une valeur définie par un job précédent ou peut indiquer un autre chemin si le chemin principal est incorrect. Finalement, un workflow a pour but de préparer l'exécution de flux de données et de définir l'état du système à la fin de l'exécution des flux de données.

217

Les jobs (présentés dans

Projets

) sont des workflows spécifiques. Les jobs ont une particularité en ce sens où vous pouvez les exécuter. Presque toutes les fonctionnalités documentées pour les workflows s'appliquent également aux jobs, à une exception : les jobs n'ont pas de paramètre.

2012-11-22

Worflows

9.2 Etapes d'un workflow

Les étapes de workflow prennent la forme d'icône que vous placez dans l'espace de travail pour créer un diagramme de workflows. Les objets suivants peuvent être des éléments de workflows :

• Workflows

• Flux de données

• Scripts

• Structures conditionnelles

• Boucles WHILE

• Blocs Try/Catch

Les workflows peuvent appeler d'autres workflows et vous pouvez imbriquer des appels dans n'importe quelle profondeur. Un workflow peut également s'appeler lui-même.

Les connexions que vous établissez entre les icônes dans l'espace de travail déterminent l'ordre dans lequel des workflows sont exécutés, sauf si les jobs contenant ces workflows sont exécutés en parallèle.

9.3 Ordre d'exécution dans les workflows

Les étapes d'un workflow sont exécutées dans une séquence de gauche à droite, indiquée par les lignes reliant les étapes. Vous trouverez ci-dessous le diagramme d'un workflow appelant trois flux de données :

Notez que Data_Flow1 n'a aucune connexion de la gauche mais est relié de la l'arête droite à l'arête gauche de Data_Flow2 et que ce Data_Flow2 est relié à Data_Flow3. Un seul thread de contrôle relie les trois étapes. L'exécution commence par Data_Flow1 et se poursuit à travers les trois flux de données.

Reliez les étapes d'un workflow lorsqu'il existe une dépendance entre les étapes. S'il n'existe aucune dépendance, les étapes ne doivent pas être reliées. Dans ce cas, le logiciel peut exécuter les étapes indépendantes dans le workflow en tant que processus distincts. Dans le workflow suivant, le logiciel exécute les flux de données 1 à 3 en parallèle :

218 2012-11-22

Worflows

Pour exécuter des workflows plus complexes en parallèle, définissez chaque séquence comme workflow distinct puis appelez chacun des workflows d'un autre workflow comme dans l'exemple suivant :

Vous pouvez indiquer qu'un job exécute un workflow spécifique ou un flux de données à la fois. Dans ce cas, le logiciel exécute la première occurrence du workflow ou de flux de données ; le logiciel ignore les occurrences suivantes dans le job. Vous pouvez utiliser cette fonctionnalité pour un développement complexe de jobs avec plusieurs chemins, par exemple des jobs avec des blocs Try/Catch ou des structures conditionnelles et vous souhaitez garantir que le logiciel exécute uniquement un workflow spécifique ou un flux de données à la fois.

9.4 Exemple de workflow

Supposez que vous souhaitiez mettre à jour une table de faits. Vous définissez un flux de données dans lequel la transformation de données actuelle a lieu. Cependant, avant de déplacer des données de la source, vous souhaitez déterminer la dernière date de mise à jour de la table de faits, de telle sorte que seules les lignes ajoutées ou modifiées depuis cette date, soient extraites.

Vous devez écrire un script pour déterminer la dernière date de mise à jour. Vous pouvez alors transférer cette date au flux de données comme paramètre.

En outre, vous voulez vérifier que les connexions de données requises pour créer la table de faits sont actives lorsque les données sont lues à partir de cette dernière. Pour ce faire, dans le logiciel, définissez un bloc Catch/Try. Si les connexions ne sont pas actives, le catch exécute un script que vous avez

écrit, qui envoie automatiquement un e-mail informant un Administrateur du problème.

Les scripts et la détection d'erreur ne peuvent pas être exécutés dans le flux de données. Il existe plutôt des étapes de processus de prise de décision influençant le flux de données. Ce processus de prise de décision est défini comme workflow, tel que le suivant :

219 2012-11-22

Worflows

Le logiciel exécute ces étapes dans l'ordre dans lequel vous les avez reliées.

9.5 Création de workflows

Vous pouvez créer des workflows via l'une des deux méthodes suivantes :

• Bibliothèque d'objets

• Palette d'outils

Une fois que vous avez créé un workflow, vous pouvez indiquer qu'un seul job exécute le workflow à la fois, sous forme de processus simple ou continu, même si ce dernier apparaît plusieurs fois dans le job.

9.5.1 Pour créer un workflow à l'aide de la bibliothèque d'objets

Ouvrez la bibliothèque d'objets.

Accédez à l'onglet Workflows.

Cliquez avec le bouton droit de la souris et sélectionnez Nouveau.

Faites glisser le workflow dans le diagramme.

Ajoutez les flux de données, les workflows, les structures conditionnelles et les scripts dont vous avez besoin.

9.5.2 Pour créer un workflow à l'aide de la palette d'outils

Sélectionnez l'icône Workflow dans la palette d'outils.

Cliquez sur l'endroit où vous souhaitez placer le workflow dans le diagramme.

Si plusieurs instances d'un workflow apparaissent dans un job, vous pouvez améliorer la performance de l'exécution en lançant le workflow une seule fois.

220 2012-11-22

Worflows

9.5.3 Pour indiquer qu'un job exécute le workflow une seule fois

Lorsque vous indiquez qu'un workflow doit être exécuté une seule fois, un job n'exécutera jamais ce workflow à nouveau, sauf si le workflow figure dans un workflow qui est une unité de restauration pour laquelle l'exécution a de nouveau échoué ailleurs en dehors de cette unité de restauration.

Il est recommandé de ne pas activer l'option Exécuter une seule fois pour un workflow, si ce dernier ou un workflow parent est une unité de restauration.

Cliquez avec le bouton droit de la souris sur le workflow et sélectionnez Propriétés.

La fenêtre Propriétés s'ouvre pour le workflow.

Sélectionnez Régulier dans la liste déroulante Type d'exécution.

Cochez la case Exécuter une seule fois

Cliquez sur OK.

Rubriques associées

• Guide de référence : Workflow

9.6 Structures conditionnelles

Les structures conditionnelles sont des objets à utilisation unique utilisés pour implémenter une logique if/then/else dans un workflow. Les structures conditionnelles et leurs composants (expressions if, diagrammes then et else) sont incluses dans le périmètre des variables et des paramètres de flux de contrôle parent.

Pour définir une structure conditionnelle, indiquez une condition et deux branches logiques :

221 2012-11-22

Worflows

Branche conditionnelle Description

Expression booléenne qui donne la valeur VRAI ou FAUX Vous pouvez utiliser des fonctions, des variables et des opérateurs standard pour créer l'expression.

Then

Else

Eléments de workflow à exécuter si l'expression If donne la valeur VRAIE

(Facultatif) Eléments de workflow à exécuter si l'expressionIf donne la valeur

FALSE.

Définissez les branches Then et Else dans la structure conditionnelle.

Une structure conditionnelle peut être intégrée à un workflow. Supposez que vous utilisiez un fichier de commandes Windows pour transférer des données d'un système hérité dans le logiciel. Vous écrivez un script dans un workflow pour exécuter le fichier de commandes et renvoyer un indicateur correct.

Vous définissez ensuite une structure conditionnelle qui lit l'indicateur pour déterminer si les données sont disponibles pour le reste du workflow.

222

Pour implémenter cette structure conditionnelle dans le logiciel, vous définissez deux workflows, un pour chaque branche de la structure conditionnelle. Si les éléments de chaque branche sont simples, vous pouvez les définir dans l'éditeur de structures conditionnelles lui-même.

Les branches Then et Else de la structure conditionnelle peuvent contenir tout objet susceptible de se trouver dans un workflow, notamment d'autres workflows, des structures conditionnelles imbriquées, des blocs Try/Catch, etc.

2012-11-22

Worflows

9.6.1 Pour définir une structure conditionnelle

Définissez les workflows appelés par les branches Then et Else de la structure conditionnelle.

Il est recommandé de définir, tester et sauvegarder chaque workflow comme objet distinct plutôt qu'en créant ces workflows dans l'éditeur de structures conditionnelles.

Ouvrez le workflow dans lequel vous souhaitez placer la structure conditionnelle.

Cliquez sur l'icône pour une structure conditionnelle dans la palette d'outils.

Cliquez sur l'emplacement où vous souhaitez placer la structure conditionnelle dans le diagramme.

La structure conditionnelle apparaît dans le diagramme.

Cliquez sur le nom de la structure conditionnelle pour ouvrir l'éditeur de structures conditionnelles.

Cliquez sur if.

Saisissez l'expression booléenne contrôlant la structure conditionnelle.

Poursuivez la création de votre expression. Vous souhaitez peut-être utiliser l'assistant de fonction ou l'éditeur rapide.

Une fois l'expression créée, cliquez sur OK.

Ajoutez le workflow prédéfini dans la case Then.

Pour ajouter un workflow existant, ouvrez la bibliothèque d'objets dans l'onglet Workflows, sélectionnez le workflow souhaité puis faites-le glisser dans la case Then.

10.

(Facultatif) Ajoutez le workflow prédéfini dans la case Else.

Si l'expression IF donne la valeur FAUX et la case Else n'est pas cochée, le logiciel quitte la structure conditionnelle et poursuit avec le workflow.

11.

Une fois la structure conditionnelle exécutée, sélectionnez DeboggerValider.

Le logiciel teste votre structure conditionnelle par rapport aux erreurs de syntaxe et affiche toutes les erreurs rencontrées.

12.

La structure conditionnelle est à présent définie. Cliquez sur le bouton Retour pour revenir au workflow appelant la structure conditionnelle.

9.7 Boucles WHILE

Utilisez une boucle WHILE pour répéter une séquence d'étapes dans un workflow tant qu'une condition est vraie.

Cette section aborde les thèmes suivants :

223 2012-11-22

Worflows

•

Considérations en matière de conception

•

Définition d'une boucle WHILE

•

Utilisation d'une boucle WHILE avec Afficher les données

9.7.1 Considérations en matière de conception

La boucle WHILE désigne un objet à utilisation unique que vous pouvez utiliser dans un workflow. La boucle WHILE répète une séquence d'étapes tant que la condition est vraie.

224

Généralement, les étapes exécutées au cours de la boucle WHILE se traduisent par une modification de la condition de telle sorte qu'éventuellement, la condition ne soit plus remplie et que le workflow existe à partir de la boucle WHILE. Si la condition n'est pas modifiée, la boucle WHILE n'est pas interrompue.

Par exemple, vous souhaitez peut-être qu'un workflow attende jusqu'à ce que le système écrive un fichier spécifique. Vous pouvez utiliser une boucle WHILE pour vérifier l'existence du fichier à l'aide de la fonction file_exists. Tant que le fichier n'existe pas, vous pouvez exécuter le workflow en mode veille pour une durée spécifique, soit une minute avant que le contrôle ne reprenne.

Comme le système peut ne jamais écrire le fichier, vous devez ajouter un autre contrôle à la boucle, par exemple un compteur, pour garantir que la boucle WHILE existe éventuellement. En d'autres mots, modifiez la boucle WHILE pour vérifier l'existence du fichier et la valeur du compteur. Dès que le fichier n'existe pas et que la valeur du compteur est inférieure à une valeur spécifique, répétez la boucle

WHILE. Dans chaque itération de la boucle, mettez le workflow en mode veille puis augmentez le compteur.

2012-11-22

Worflows

9.7.2 Définition d'une boucle WHILE

Vous pouvez définir une boucle WHILE dans tout workflow.

225

9.7.2.1 Pour définir une boucle WHILE

Ouvrez la workflow où vous souhaitez placer la boucle WHILE.

Cliquez sur l'icône Boucle WHILE dans la palette d'outils.

Cliquez sur l'emplacement où vous souhaitez placer la boucle WHILE dans le diagramme d'espace de travail.

La boucle WHILE s'affiche dans le diagramme.

Cliquez sur la boucle WHILE pour ouvrir l'éditeur de boucles WHILE.

Dans la case WHILE en haut de l'éditeur, saisissez la condition qui s'applique à l'initialisation et répétez les étapes dans la boucle WHILE.

Vous pouvez également cliquer sur pour ouvrir l'éditeur d'expressions qui vous permet, en agrandissant l'espace, de saisir une expression et d'accéder à l'assistant de fonction. Cliquez sur

OK dès que vous avez saisi une expression dans l'éditeur.

Ajoutez les étapes que vous voulez exécuter au cours de la boucle WHILE dans l'espace de travail, dans l'éditeur de boucles WHILE.

2012-11-22

Worflows

Vous pouvez ajouter tout objet valide dans un workflow incluant des scripts, des workflows et des flux de données. Reliez ces objets pour représenter l'ordre dans lequel vous souhaitez exécuter les

étapes.

Remarque :

Même si vous pouvez inclure le workflow dans la boucle WHILE, des appels récursifs peuvent créer une boucle infinie.

Une fois que vous avez défini les étapes dans la boucle WHILE, sélectionnez Débogage > Valider.

Le logiciel teste votre définition par rapport aux erreurs de syntaxe et affiche les erreurs rencontrées.

Fermez l'éditeur de boucles WHILE pour revenir au workflow appelant.

9.7.3 Utilisation d'une boucle WHILE avec Afficher les données

Lorsque vous utilisez Afficher les données, un job est interrompu lorsque le logiciel a récupéré le nombre de lignes indiqué pour tous les objets pouvant être analysés.

Selon la conception de votre job, le logiciel peut ne pas exécuter toutes les itérations d'une boucle

WHILE si vous exécutez un job en mode Affichage de données :

• Si la boucle WHILE contient des objets pouvant être analysés et qu'il n' y en a pas en dehors de la boucle WHILE (par exemple si la boucle WHILE est le dernier objet d'un job), l'exécution du job prendra fin après l'analyse des objets dans la boucle WHILE, peut-être à la fin de la première itération de la boucle WHILE.

• S'il reste des objets pouvant être analysés par la suite, la boucle WHILE est exécutée normalement.

Les objets analysés dans la boucle WHILE indiqueront les résultats de la dernière itération.

• S'il n'existe aucun objet pouvant être analysé suite à la boucle WHILE mais s'il existe des objets pouvant être analysés terminés parallèlement à la boucle WHILE, l'exécution du job se termine à la fin de l'analyse de tous les objets pouvant être analysés. La boucle WHILE peut exécuter n'importe quel nombre d'itérations.

9.8 Blocs Try/Catch

Un bloc Try/Catch désigne une combinaison d'un objet Try et d'un ou plusieurs objets Catch qui permettent d'indiquer d'autres workflows si des erreurs surviennent lorsque le logiciel exécute un job.

Blocs Try/Catch :

• Groupes d'exceptions "Catch" "levées" par le logiciel, le DBMS ou le système d'exploitation.

• Appliquez les solutions aux groupes d'exceptions ou aux erreurs spécifiques dans un groupe.

• Poursuivez l'exécution.

226 2012-11-22

Worflows

Les objets Try et Catch sont des objets à utilisation unique.

Voici une méthode générale d'implémentation de la gestion des exceptions :

Insérez un objet Try avant les étapes de gestion des erreurs.

Insérez un objet Catch dans le workflow après les étapes.

Dans l'objet Catch, exécutez les étapes suivantes :

• Sélectionnez un ou plusieurs groupes d'erreurs que vous souhaitez intercepter.

• Définissez les actions exécutées par une exception levée. Un objet de script unique, un flux de données, un workflow ou une combinaison de ces objets sont des actions.

• Facultatif. Utilisez des fonctions Catch dans le bloc Catch pour identifier les détails de l'erreur.

Si une exception est renvoyée au cours de l'exécution d'un bloc Try/Catch et si aucun objet Catch ne recherche cette exception, l'exception est traitée par la logique d'erreur normale.

Le workflow suivant indique un bloc Try/Catch autour d'un flux de données :

Dans ce cas, si le flux de données BuildTable provoque des exceptions générées par le système indiquées dans le catch Catch_A, les actions définies dans Catch_A sont exécutées.

L'action initialisée par l'objet catch peut être simple ou complexe. Voici des exemples d'actions d'exceptions possibles :

• Envoyer le message d'erreur à une base de données de reporting en ligne ou à votre groupe de support.

• Exécuter à nouveau un workflow échoué ou un flux de données.

• Exécuter une diminution de version d'un workflow échoué ou un flux de données.

Rubriques associées

•

Définition d'un bloc Try/Catch

•

Catégories d'exceptions disponibles

•

Exemple : détermination des détails d'une erreur

• Guide de référence : Objets, Catch

9.8.1 Définition d'un bloc Try/Catch

Pour définir des blocs Try/Catch :

Ouvrez le workflow qui contiendra le bloc Try/Catch.

Cliquez sur l'icône Try dans la palette d'outils.

Cliquez sur l'emplacement où vous voulez placer le try dans le diagramme.

227 2012-11-22

Worflows

228

L'icône Try s'affiche dans le diagramme.

Remarque :

Aucun éditeur n'existe pour un Try ; le Try initialise le bloc Try/Catch.

Cliquez sur l'icône Catch dans la palette d'outils.

Cliquez sur l'emplacement où vous voulez placer l'objet catch dans l'espace de travail.

L'objet catch s'affiche dans l'espace de travail.

Reliez les objets Try et Catch aux objets liés.

Cliquez sur le nom de l'objet catch pour ouvrir l'éditeur catch.

Sélectionnez un ou plusieurs groupes dans la liste des Exceptions.

Pour sélectionner tous les groupes d'exceptions, cochez la case en haut.

Définissez les actions à exécuter pour chaque groupe d'exceptions et ajoutez les actions à la boîte de workflows catch. Les actions peuvent être un script individuel, un flux de données, un workflow ou toute combinaison de ces objets.

Il est recommandé de définir, de tester et de sauvegarder les actions comme objet distinct plutôt que de les créer dans l'éditeur Catch.

Pour définir des actions pour des erreurs spécifiques, utilisez les fonctions catch suivantes dans un script exécutant le workflow :

• error_context()

• error_message()

• error_number()

• error_timestamp() c.

Pour ajouter un workflow existant à la case de workflow catch, ouvrez la bibliothèque d'objets dans l'onglet Workflows, sélectionnez le workflow souhaité et glissez-le dans la case.

10.

Une fois le catch exécuté, sélectionnez Validation > Valider > Tous les objets de la vue.

Le logiciel teste votre définition par rapport aux erreurs de syntaxe et affiche les erreurs rencontrées.

11.

Cliquez sur le bouton Retour pour revenir au workflow appelant le catch.

12.

Pour intercepter plusieurs groupes d'exceptions et affecter différentes actions à chacun d'entre eux, répétez les étapes 4 à 11 pour chaque catch dans le workflow.

Remarque :

Dans une séquence de blocs Catch, si un bloc Catch intercepte une exception, les blocs Catch suivants ne seront pas exécutés. Par exemple, si votre workflow a la séquence suivante et que

Catch1 intercepte une exception, Catch2 et CatchAll ne seront pas exécutés.

Try > DataFlow1 > Catch1 > Catch2 > CatchAll

Si une erreur du groupe d'exceptions listée dans le Catch survient au cours de l'exécution de ce bloc

Try/Catch, le logiciel exécute le workflow Catch.

Rubriques associées

•

Catégories d'exceptions disponibles

•

Exemple : détermination des détails d'une erreur

2012-11-22

Worflows

• Guide de référence : Objets, Catch

9.8.2 Catégories d'exceptions disponibles

Les catégories d'exceptions disponibles comprennent les éléments suivant :

• Erreurs d'exécution (1001)

• Erreurs d'accès à la base de données (1002)

• Erreurs de connexion à la base de données (1003)

• Erreurs de traitement de fichier plat (1004)

• Erreurs d'accès au fichier (1005)

• Erreurs d'accès au référentiel (1006)

• Erreurs de système SAP (1007)

• Exception de ressource système (1008)

• Erreurs d'exécution BW SAP (1009)

• Erreurs de traitement XML (1010)

• Erreurs de copybook COBOL (1011)

• Erreurs de classeur Excel (1012)

• Erreurs de transformation Data Quality (1013)

9.8.3 Exemple : détermination des détails d'une erreur

Cet exemple illustre la façon d'utiliser les fonctions d'erreur dans un script de catch. Supposez que vous souhaitiez déterminer des erreurs d'accès à la base de données et envoyer les détails de l'erreur

à votre groupe de support.

Dans l'éditeur catch, sélectionnez le groupe d'exceptions que vous souhaitez déterminer. Dans cet exemple, cochez la case devant Erreurs d'accès à la base de données(1002).

Dans la zone de workflow de l'éditeur catch, créez un objet de script avec le script suivant : mail_to('[email protected]',

'Data Service error number' || error_number(),

'Error message: ' || error_message(),20,20); print('DBMS Error: ' || error_message());

Cet exemple de script de catch inclut la fonction mail_to pour effectuer les opérations suivantes :

• Indiquer l'adresse e-mail de votre groupe de support.

• Envoyer le numéro d'erreur renvoyé par la fonction error_number() pour l'exception détectée.

• Envoyer le message d'erreur renvoyé par la fonction error_message() pour l'exception détectée.

L'exemple de script de catch inclut une commande d'impression permettant d'imprimer le message d'erreur pour l'erreur de la base de données.

229 2012-11-22

Worflows

Rubriques associées

• Guide de référence : Objets, fonctions d'erreur catch

• Guide de référence : Objets, scripts catch

9.9 Scripts

Les scripts sont des objets à utilisation unique, utilisés pour appeler des fonctions et affecter des valeurs aux variables dans un workflow.

Par exemple, vous pouvez utiliser la fonction SQL dans un script pour déterminer la dernière heure de mise à jour pour une table et affecter cette valeur à une variable. Vous pouvez ensuite affecter la variable à un paramètre transféré dans un flux de données et qui identifie les lignes à extraire d'une source.

Un script peut contenir les instructions suivantes :

• Appels de fonction

• Instructions IF

• Instructions WHILE

• Instructions d'affectation

• Opérateurs

Les règles de base pour la syntaxe du script sont les suivantes :

• Chaque ligne se termine par un point-virgule (;).

• Les noms de variables commencent par le symbole dollar ($).

• Les valeurs de chaîne sont entre parenthèses simples (').

• Les commentaires commencent par un symbole dièse (#).

• Les appels de fonction indiquent toujours des paramètres même si la fonction n'utilise aucun paramètre.

Par exemple, l'instruction de script suivante détermine la date du jour et affecte la valeur à la variable

$AUJOURD'UI

$TODAY = sysdate();

Vous ne pouvez pas utiliser des variables à moins de les déclarer dans le workflow appelant le script.

Rubriques associées

• Guide de référence : Langue de script Data Services

9.9.1 Création d'un script

230 2012-11-22

Worflows

Ouvrez le workflow.

Cliquez sur l'icone Script dans la palette d'outils.

Cliquez sur l'emplacement où vous souhaitez placer le script dans le diagramme.

L'icône Script s'affiche dans le diagramme.

Cliquez sur le nom du script pour ouvrir l'éditeur de scripts.

Saisissez les instructions de scripts, chacune suivie d'un point-virgule.

L'exemple suivant illustre un script qui détermine l'heure de début d'une fonction personnalisée.

AW_StartJob ('NORMAL','DELTA', $G_STIME,$GETIME);

$GETIME =to_date( sql('ODS_DS','SELECT to_char(MAX(LAST_UPDATE) ,

\'YYYY-MM-DDD HH24:MI:SS\')

FROM EMPLOYEE'),

'YYYY_MMM_DDD_HH24:MI:SS');

Cliquez sur le bouton Fonction pour inclure des fonctions dans votre script.

Une fois le script exécuté, sélectionnez Validation > Valider.

Le logiciel teste votre script par rapport aux erreurs de syntaxe et affiche toutes les erreurs rencontrées.

Cliquez sur le bouton ... puis Sauvegarder pour nommer et sauvegarder votre script.

Le script est toujours sauvegardé sous <LINKDIR>/BusinessObjects Data Services/

DataQuality/Exemples.

9.9.2 Débogage de scripts à l'aide de la fonction d'impression

Le logiciel dispose de fonctionnalité de débogage permettant d'imprimer les éléments suivants :

• Les valeurs de variables et de paramètres lors de l'exécution

• Le chemin d'exécution suivi dans un script

Vous pouvez utiliser la fonction d'impression pour écrire les valeurs de paramètres dans un workflow pour le journal de suivi. Par exemple, cette ligne est un script : print('The value of parameter $x: [$x]'); crée la sortie suivante dans le journal de suivi :

The following output is being printed via the Print function in <Session job_name>.

The value of parameter $x: value

231 2012-11-22

Worflows

Rubriques associées

• Guide de référence : Fonctions et procédure d'impression

232 2012-11-22

Données imbriquées

Cette section décrit les données imbriquées ainsi que leur utilisation dans le progiciel.

10.1 Que sont les données imbriquées ?

Les données réelles ont souvent des relations hiérarchiques représentées dans une base de données relationnelle avec des schémas maître-détail utilisant des clés étrangères pour créer le mappage.

Toutefois, certains jeux de données, tels que les documents XML et les IDocs SAP ERP, traitent les relations hiérarchiques à l'aide de données imbriquées.

Le progiciel mappe les données imbriquées avec un schéma distinct qui est implicitement lié à une seule ligne et une seule colonne du schéma parent. Ce mécanisme s'intitule le NRDM (Nested Relational

Data Modelling, modélisation de données relationnelles imbriquées). Le NRDM permet d'afficher et de manipuler les relations hiérarchiques au sein des cibles, des transformations et des sources des flux de données.

Les commandes clients sont souvent présentées en utilisant l'imbrication : les postes d'une commande client sont liés à un seul en-tête et sont affichés à l'aide d'un schéma imbriqué. Chaque ligne du jeu de données de la commande client contient un schéma imbriqué du poste.

10.2 Représentation de données hiérarchiques

Vous pouvez représenter les mêmes données hiérarchiques de différentes manières. Celles-ci incluent notamment :

233 2012-11-22

Données imbriquées

• Lignes multiples dans un seul jeu de données

Jeu de données de commande

N° de commande

IDClient

AdresseLi vraison1

9999

1001

123 State

Adresse

Livrai son2

Town,

Elé me nt

Qté

001 2

002 4

PrixElément

• Jeux de données multiples liés par une jointure

Jeu de données de l'en-tête de commande

N° de commande

IDClient

9999 1001

AdresseLi vraison1

123 State

AdresseLivraison2

Town, CA

Jeu de données des postes

N° de commande

Elément

9999

001

002

Qté

PrixElément

OU En-tête de commande N° de commande = Poste N° de commande

• Données imbriquées

La méthode des données imbriquées peut s'avérer plus concise (aucune information répétée) et peut se mettre à l'échelle pour présenter un niveau supérieur de complexité hiérarchique. Par exemple, les colonnes d'un schéma imbriqué peuvent également contenir des colonnes. Il existe une instance unique de chaque schéma imbriqué pour chaque ligne à chaque niveau de la relation.

Jeu de données de la commande

234 2012-11-22

Données imbriquées

En généralisant davantage le concept des données imbriquées, chaque ligne de chaque niveau peut disposer d'un nombre quelconque de colonnes contenant des schémas imbriqués.

Jeu de données de commande

235

Vous pouvez afficher la structure des données imbriquées dans les schémas d'entrée et de sortie des sources, cibles et transformations dans les flux de données. Les schémas imbriqués s'affichent avec une icône de schéma associée d'un signe plus, indiquant que l'objet contient des colonnes. La structure du schéma indique la manière dont les données sont classées.

• Ventes est le schéma de niveau supérieur.

• LineItems est un schéma imbriqué. Le signe moins précédant l'icône de schéma indique que la liste de colonnes est ouverte.

• CustInfo est un schéma imbriqué dont la liste de colonnes est fermée.

2012-11-22

Données imbriquées

10.3 Mise en forme des documents XML

Le progiciel permet d'importer et d'exporter des métadonnées pour des documents XML (fichiers ou messages) utilisés en tant que sources ou cibles dans les jobs. Les documents XML sont des documents hiérarchiques. Leur structure valide est stockée dans des documents aux formats distincts.

Un schéma XML (.xsd, par exemple) ou un fichier Document Type Definition (définition du type de document, .dtd) spécifient le format d'un fichier ou d'un message XML (.xml).

Lors de l'importation de métadonnées du format d'un document, celles-ci sont structurées dans le schéma interne du progiciel pour les documents hiérarchiques utilisant le modèle NRDM.

Rubriques associées

•

Importation de schémas XML

•

Spécification d'options de source pour les fichiers XML

•

Mappage de schémas facultatifs

•

Utilisation de Document Type Definitions (DTD)

•

Génération de schémas DTD et XML à partir d'un schéma NRDM

236 2012-11-22

Données imbriquées

10.3.1 Importation de schémas XML

Le progiciel prend en charge les spécifications XML Schema 1.0 du WC3.

Pour un document XML contenant des informations pour passer une commande (en-tête de commande, client et postes), le schéma XML correspondant inclut la structure de la commande et les relations entre les données.

Message avec des données

N° de commande

IDClient

AdresseLi vraison1

9999 1001 123 State St

AdresseLi vraison2

Town, CA

Postes

Elément

001

002

QtéElément PrixElément

Chaque colonne du document XML correspond à un ELEMENT ou une définition d'attribut dans le schéma XML.

Schéma XML correspondant

<?xml version="1.0"?>

<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">

<xs:element name="Order">

<xs:complexType>

<xs:sequence>

<xs:element name="OrderNo" type="xs:string" />

<xs:element name="CustID" type="xs:string" />

<xs:element name="ShipTo1" type="xs:string" />

<xs:element name="ShipTo2" type="xs:string" />

<xs:element maxOccurs="unbounded" name="LineItems">

<xs:complexType>

<xs:sequence>

<xs:element name="Item" type="xs:string" />

<xs:element name="ItemQty" type="xs:string" />

<xs:element name="ItemPrice" type="xs:string" />

</xs:sequence>

</xs:complexType>

</xs:element>

</xs:sequence>

</xs:complexType>

</xs:element>

</xs:schema>

Rubriques associées

• Guide de référence schéma XML

237 2012-11-22

Données imbriquées

238

10.3.1.1 Importation de schémas XML

Importez les métadonnées de chaque schéma XML que vous utilisez. La bibliothèque d'objets répertorie les schémas XML importés dans l'onglet Formats.

Lors de l'importation d'un schéma XML, le logiciel lit les éléments et les attributs définis puis importe les éléments suivants :

• Structure de document

• Espace de noms

• Noms de table et de colonne

• Type de données de chaque colonne

• Type de contenu de chaque colonne

• Table imbriquée et attributs de colonne

Alors que les schémas XML effectuent une distinction entre éléments et attributs, le logiciel les importe et les convertit vers une table imbriquée et vers les attributs de colonne.

Rubriques associées

• Guide de référence schéma XML

10.3.1.1.1 Pour importer un schéma XML

Dans la bibliothèque d'objets, cliquez sur l'onglet Format.

Cliquez avec le bouton droit de la souris sur l'icône Schémas XML, puis sélectionnezNouveau.

Saisissez les options pour les schémas XML que vous importez.

Lorsque vous importez un schéma XML :

• Saisissez le nom que vous voulez utiliser pour le format dans le logiciel.

• Saisissez le nom de fichier du schéma XML ou son adresse URL.

Remarque :

Si le Job Server se trouve sur un autre ordinateur que Designer, il est impossible d'utiliser Parcourir pour indiquer le chemin du fichier. Vous devez saisir le chemin. Vous pouvez saisir un chemin absolu ou un chemin relatif mais le Job Server doit pouvoir y accéder.

• Si le nom de l'élément racine n'est pas unique dans le schéma XML, sélectionnez un nom dans la liste déroulante Espace de noms pour identifier le schéma XML importé.

Remarque :

Lorsque vous importez un schéma XML pour un job service Web en temps réel, vous devez utiliser un espace de noms cible unique pour le schéma. Lorsque Data Services génère le fichier

2012-11-22

Données imbriquées

WSDL pour un job en temps réel avec un schéma source ou cible qui n'a pas d'espace de noms cible, il ajoute un espace de noms cible généré automatiquement à la section de types du schéma

XML. Ce processus peut réduire la performance car Data Services doit supprimer les informations de l'espace de noms de la demande de service Web au cours du traitement, puis joindre à nouveau les informations correctes de l'espace de noms avant de renvoyer la réponse au client.

• Dans la liste déroulante Nom de l'élément racine, sélectionnez le nom du nœud principal que vous souhaitez importer. Le logiciel importe uniquement les éléments du schéma XML appartenant

à ce nœud ou à tout sous-nœud.

• Si le schéma XML contient des éléments récursifs (l'élément A contient l'élément B et l'élément

B contient l'élément A), spécifiez le nombre de ses niveaux en saisissant une valeur dans la zone Niveau circulaire. Cette valeur doit correspondre au nombre de niveaux récursifs dans le contenu du schéma XML. Dans le cas contraire, le job qui utilise ce schéma XML va échouer.

• Vous pouvez configurer le progiciel pour importer des chaînes en tant que varchar de toute taille.

Varchar 1024 est la valeur par défaut.

Cliquez sur OK.

Après l'importation d'un schéma XML, vous pouvez modifier les propriétés de sa colonne, comme le type de données, à l'aide de l'onglet Général de la fenêtre Propriétés des colonnes. Il est également possible d'afficher et de modifier les attributs des colonnes et des tables imbriquées à partir de la fenêtre

Propriétés des colonnes.

10.3.1.1.2 Afficher et modifier les attributs des colonnes et des tables imbriquées pour le schéma

XML

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez la catégorie Schéma XML.

Cliquez deux fois sur un nom de schéma XML.

La fenêtre Format du schéma XML s'affiche dans l'espace de travail.

La colonne Type affiche les types de données qu'utilise le logiciel lorsqu'il importe les métadonnées du document XML.

Cliquez deux fois sur une table imbriquée ou une colonne et sélectionnez Attributs pour afficher ou modifier les attributs de schéma XML.

Rubriques associées

• Guide de référence : schéma XML

10.3.1.2 Importation de types abstraits

239 2012-11-22

Données imbriquées

240

Un schéma XML utilise des types abstraits pour forcer la substitution pour un élément ou un type spécifique.

• Lorsqu'un élément est défini comme étant abstrait, un membre du groupe de substitution de l'élément doit s'afficher dans ce document d'instance.

• Lorsqu'un type est défini comme étant abstrait, le document d'instance doit utiliser un type dérivé

(identifié par l'attribut xsi:type).

Par exemple, un élément abstrait PublicationType peut avoir un groupe de substitution composé de types complexes, par exemple MagazineType, BookType et NewspaperType.

Par défaut, tous les types complexes ou tous les types dérivés sont sélectionnés dans le groupe de substitution pour le type abstrait, mais vous pouvez choisir de sélectionner un sous-ensemble.

10.3.1.2.1 Pour limiter le nombre de types dérivés pour importer un type abstrait

Dans la fenêtre Importer format de schéma XML, lorsque vous saisissez le nom du fichier ou l'adresse

URL d'un schéma XML contenant un type abstrait, le bouton de commande Type abstrait est activé.

Par exemple, l'extrait suivant d'un xsd définit l'élément PublicationType comme étant abstrait avec des types dérivés BookType et MagazineType :

<xsd:complexType name="PublicationType" abstract="true">

<xsd:sequence>

<xsd:element name="Title" type="xsd:string"/>

<xsd:element name="Author" type="xsd:string" minOccurs="0" maxOccurs="unbounded"/>

<xsd:element name="Date" type="xsd:gYear"/>

</xsd:sequence>

</xsd:complexType>

<xsd:complexType name="BookType">

<xsd:complexContent>

<xsd:extension base="PublicationType">

<xsd:sequence>

<xsd:element name="ISBN" type="xsd:string"/>

<xsd:element name="Publisher" type="xsd:string"/>

</xsd:sequence>

</xsd:extension>

/xsd:complexContent>

</xsd:complexType>

<xsd:complexType name="MagazineType">

<xsd:complexContent>

<xsd:restriction base="PublicationType">

<xsd:sequence>

<xsd:element name="Title" type="xsd:string"/>

<xsd:element name="Author" type="xsd:string" minOccurs="0" maxOccurs="1"/>

<xsd:element name="Date" type="xsd:gYear"/>

</xsd:sequence>

</xsd:restriction>

</xsd:complexContent>

</xsd:complexType>

Pour sélectionner un sous-ensemble de types dérivés pour un type abstrait, cliquez sur le bouton

Type abstrait et effectuez les actions suivantes : a.

Dans la zone déroulante de la case Type abstrait, sélectionnez le nom du type abstrait.

Cochez les cases en regard de chaque nom de type dérivé que vous voulez importer.

Cliquez sur OK.

Remarque :

Lorsque vous modifiez votre format de schéma XML, le logiciel sélectionne tous les types dérivés pour le type abstrait par défaut. En d'autres termes, le sous-ensemble que vous avez précédemment sélectionné n'est pas conservé.

2012-11-22

Données imbriquées

10.3.1.3 Importation de groupes de substitution

Un schéma XML utilise des groupes de substitution pour affecter des éléments à un groupe spécifique d'éléments qui peut être substitué pour un élément spécifique nommé appelé élément principal. La liste des groupes de substitution peut avoir des centaines ou même des milliers de membres mais une application utilise généralement uniquement un nombre limité d'entre eux. Tous les groupes de substitution sont sélectionnés par défaut mais vous pouvez décider de sélectionner un sous-ensemble.

10.3.1.3.1 Pour limiter le nombre de groupes de substitution à importer

Dans la fenêtre Format de schéma XML, lorsque vous saisissez le nom du fichier ou l'adresse URL d'un schéma XML contenant des groupes de substitution, le bouton Groupe de substitutionest activé.

Par exemple, l'extrait suivant d'un xsd définit l'élément PublicationType avec des groupes de substitution MagazineType, BookType, AdsType et NewspaperType :

<xsd:element name="Publication" type="PublicationType"/>

<xsd:element name="BookStore">

<xsd:complexType>

<xsd:sequence>

<xsd:element ref="Publication" maxOccurs="unbounded"/>

</xsd:sequence>

</xsd:complexType>

</xsd:element>

<xsd:element name="Magazine" type="MagazineType" substitutionGroup="Publication"/>

<xsd:element name="Book" type="BookType" substitutionGroup="Publication"/>

<xsd:element name="Ads" type="AdsType" substitutionGroup="Publication"/>

<xsd:element name="Newspaper" type="NewspaperType" substitutionGroup="Publication"/>

Cliquez sur le bouton Groupe de substitution.

Dans la liste déroulante, dans la case Groupe de substitution, cochez le nom du groupe de substitution.

Cochez les cases devant chaque nom de groupe de substitution que vous voulez importer.

Cliquez sur OK.

Remarque :

Lorsque vous modifiez votre format de schéma XML, le logiciel sélectionne tous les éléments pour le groupe de substitution par défaut. En d'autres termes, le sous-ensemble que vous avez précédemment sélectionné n'est pas conservé.

10.3.2 Spécification d'options de source pour les fichiers XML

Une fois les métadonnées importées pour les documents XML (fichiers ou messages), vous créez un flux de données pour utiliser les documents XML en tant que sources ou cibles dans les jobs.

241 2012-11-22

Données imbriquées

242

10.3.2.1 Création d'un flux de données avec un fichier source XML

10.3.2.1.1 Créer un flux de données avec un fichier XML source

Dans la bibliothèque d'objets, cliquez sur l'onglet Format.

Développez le schéma XML et faites glisser le schéma XML définissant le fichier XML source vers le flux de données.

Placez une requête dans le flux de données et connectez la source XML à l'entrée de la requête.

Cliquez deux fois sur la source XML dans l'espace de travail pour ouvrir l'Editeur de fichiers source

XML.

Vous devez spécifier le nom du fichier source XML dans la zone de texte Fichier XML.

Rubriques associées

•

Lecture de plusieurs fichiers XML en une fois

•

Identification des noms de fichiers sources

• Guide de référence : source du fichier xml

10.3.2.2 Lecture de plusieurs fichiers XML en une fois

Le logiciel peut lire plusieurs fichiers au même format à partir d'un seul répertoire à l'aide d'un seul objet source.

10.3.2.2.1 Lire plusieurs fichiers XML en une fois

Ouvrez l'éditeur pour votre fichier XML source.

Dans la zone Fichier XML de l'onglet Source, saisissez un nom de fichier contenant un caractère générique (* ou ?).

Par exemple :

D:\orders\1999????.xml peut lire les fichiers à partir de l'année 1999.

D:\orders\*.xml lit tous les fichiers avec l'extension xml à partir du répertoire spécifié.

Rubriques associées

• Guide de référence : source du fichier XML

2012-11-22

Données imbriquées

10.3.2.3 Identification des noms de fichiers source

Vous pouvez souhaiter identifier le fichier XML source pour chaque ligne de votre sortie de source dans les situations suivantes :

• Vous avez spécifié un caractère générique pour lire plusieurs fichiers source en une fois.

• Vous chargez à partir de plusieurs fichiers source à différents jours.

10.3.2.3.1 Identifier le fichier XML source pour chaque ligne dans la cible

Dans l'Editeur de fichiers source XML, sélectionnez Inclure la colonne Nom du fichier. Cela génère une colonne DI_FILENAME contenant le nom du fichier XML source.

Dans l'Editeur Query, mappez la colonne DI_FILENAME de l'entrée de schéma vers la sortie de schéma.

Lors de l'exécution du job, la colonne cible DI_FILENAME contiendra le nom du fichier XML source pour chaque ligne de la cible.

10.3.3 Mappage de schémas facultatifs

Il est possible de spécifier rapidement un mappage par défaut pour les schémas facultatifs sans devoir construire manuellement une table imbriquée vide pour chaque schéma facultatif dans la transformation

Query. De même, lors de l'importation de schémas XML (via des fichiers DTD ou XSD), le progiciel marque automatiquement les tables imbriquées comme facultatives si l'option correspondante a été définie dans le fichier DTD ou XSD. Le progiciel conserve cette option lorsque vous copiez et collez des schémas dans les transformations Query.

Cette fonctionnalité est particulièrement utile lorsque vous disposez de schémas XML très volumineux et de nombreux niveaux imbriqués dans les jobs. Lorsque vous rendez une colonne de schéma facultative et ne lui affectez aucun mappage, le progiciel instance automatiquement la table imbriquée lors de l'exécution du job.

Même si un élément de schéma est marqué comme facultatif, il est toujours possible de lui affecter un mappage. Il faut pour cela programmer de manière appropriée le bloc de sous-requête correspondant avec une logique d'application spécifiant la manière dont le progiciel doit générer la sortie. Toutefois, si vous modifiez une partie du bloc de sous-requête, le bloc de requête obtenu doit être complet et conforme aux règles de validation normales requises pour un bloc de requête imbriqué. Vous devez mapper tout schéma de sortie non facultatif vers un bloc de requête imbriqué valide. Le progiciel génère une valeur nulle dans l'emplacement de la liste de projets correspondant de l'ATL pour tout schéma facultatif sans bloc de sous-requête défini et associé.

243 2012-11-22

Données imbriquées

10.3.3.1 Rendre une table imbriquée "facultative"

Cliquez avec le bouton droit de la souris sur une table imbriquée, puis sélectionnez Facultatif pour l'activer. Pour la désactiver, cliquez de nouveau avec le bouton droit de la souris sur la table imbriquée, puis sélectionnez à nouveau Facultatif.

Vous pouvez également cliquer avec le bouton droit de la souris sur une table imbriquée et sélectionner Propriétés, puis ouvrir l'onglet Attributs et définir la valeur d'attribut Table facultative sur oui ou non. Cliquez sur Appliquer puis sur OK pour définir la valeur.

Remarque :

Si la valeur Table facultative est différente de oui ou de non, il est impossible de marquer la table imbriquée comme facultative

Lorsque vous exécutez un job avec une table imbriquée définie comme facultative et que vous n'avez pas défini de colonne ni de table imbriquée sous cette table, le progiciel génère un ATL spécifique et n'exécute pas la validation de l'interface utilisateur pour cette table imbriquée.

Exemple :

CREATE NEW Query ( EMPNO int KEY ,

ENAME varchar(10),

JOB varchar (9)

NT1 al_nested_table ( DEPTNO int KEY ,

DNAME varchar (14),

NT2 al_nested_table (C1 int) ) SET("Optional

Table" = 'yes') )

AS SELECT EMP.EMPNO, EMP.ENAME, EMP.JOB,

NULL FROM EMP, DEPT;

Remarque :

Vous ne pouvez pas marquer comme facultatifs des schémas de niveau supérieur, des tables non imbriquées ou des tables imbriquées contenant des appels de fonction.

10.3.4 Utilisation de Document Type Definitions (DTD)

Un fichier DTD peut spécifier le format d'un document XML (fichier ou message). Le DTD décrit les données contenues dans le document XML et les relations entre les éléments dans les données.

Pour un document XML contenant des informations pour passer une commande (en-tête de commande, client et poste), le DTD correspondant inclut la structure de la commande et les relations entre les données.

244 2012-11-22

Données imbriquées

Message avec des données

N° de commande

IDClient

AdresseLi vraison1

9999 1001 123 State St

AdresseLi vraison2

Town, CA

Postes

Elément

001

002

QtéElément PrixElément

Chaque colonne du document XML correspond à une définition d'ELEMENT.

Définition DTD correspondante

<?xml encoding="UTF-8"?>

<!ELEMENT Order (OrderNo, CustID, ShipTo1, ShipTo2, LineItems+)>

<!ELEMENT OrderNo (#PCDATA)>

<!ELEMENT CustID (#PCDATA)>

<!ELEMENT ShipTo1 (#PCDATA)>

<!ELEMENT ShipTo2 (#PCDATA)>

<!ELEMENT LineItems (Item, ItemQty, ItemPrice)>

<!ELEMENT Item (#PCDATA)>

<!ELEMENT ItemQty (#PCDATA)>

<!ELEMENT ItemPrice (#PCDATA)>

Importez les métadonnées de chaque DTD que vous souhaitez utiliser. La bibliothèque d'objets répertorie les DTD importés dans l'onglet Formats.

Vous pouvez importer des métadonnées de tout fichier XML (avec une référence à un DTD) ou DTD existant. Si vous importez les métadonnées d'un fichier XML, le progiciel extrait automatiquement le

DTD pour ce fichier XML.

Lors de l'importation d'un DTD, le progiciel lit les éléments et attributs définis. Il ignore d'autres parties de la définition, telles que le texte et les commentaires. Cela permet de modifier les données XML importées ainsi que le type de données au besoin.

Rubriques associées

• Guide de référence : DTD

245

10.3.4.1 Importer un format de schéma XML ou DTD

Dans la bibliothèque d'objets, cliquez sur l'onglet Format.

Cliquez avec le bouton droit de la souris sur l'icône Fichiers DTD, puis sélectionnez Nouveau.

Saisissez les paramètres dans la fenêtre Importer le format DTD :

• Dans la zone Nom de la définition DTD, saisissez le nom que vous souhaitez attribuer au format

DTD importé dans le progiciel.

2012-11-22

Données imbriquées

• Saisissez le fichier spécifiant le DTD que vous souhaitez importer.

Remarque :

• Si vous importez un fichier XML, sélectionnez XML pour l'option Type de fichier. Si vous importez un fichier DTD, sélectionnez l'option DTD.

• Dans la zone Nom de l'élément racine, sélectionnez le nom du nœud principal que vous souhaitez importer. Le progiciel importe uniquement les éléments du DTD appartenant à ce nœud ou à tout sous-nœud.

• Si le DTD contient des éléments récursifs (l'élément A contient l'élément B et l'élément B contient l'élément A), spécifiez le nombre de ses niveaux en saisissant une valeur dans la zone Niveau

circulaire. Cette valeur doit correspondre au nombre de niveaux récursifs dans le contenu du

DTD. Dans le cas contraire, le job qui utilise ce DTD va échouer.

• Vous pouvez configurer le progiciel pour importer des chaînes en tant que varchar de toute taille.

Varchar 1024 est la valeur par défaut.

Cliquez sur OK.

Après l'importation d'un DTD, vous pouvez modifier les propriétés de sa colonne, comme le type de données, à l'aide de l'onglet Général de la fenêtre Propriétés des colonnes. Il est également possible d'afficher et de modifier les attributs des colonnes et des tables imbriquées du DTD à partir de la fenêtre

Propriétés des colonnes.

10.3.4.2 Afficher et modifier les attributs des colonnes et des tables imbriquées des DTD

Dans la bibliothèque d'objets, cliquez sur l'onglet Formats.

Développez la catégorie Fichiers DTD.

Cliquez deux fois sur le nom d'un DTD.

La fenêtre Format DTD s'affiche dans l'espace de travail.

Cliquez deux fois sur une colonne ou une table imbriquée.

La fenêtre Propriétés des colonnes s'ouvre.

Sélectionnez l'onglet Attributs pour afficher ou modifier les attributs du DTD.

10.3.5 Génération de schémas DTD et XML à partir d'un schéma NRDM

246 2012-11-22

Données imbriquées

Vous pouvez cliquer avec le bouton droit sur un schéma à partir d'un éditeur de requêtes dans Designer et générer un schéma DTD ou XML correspondant à la structure du schéma sélectionné (NRDM ou relationnel).

Cette fonctionnalité est utile pour stocker des données dans un fichier XML puis les lire dans un autre flux de données.

Générez un schéma DTD ou XML.

Utilisez le schéma DTD ou XML pour configurer un format XML.

Utilisez le format XML pour configurer une source XML pour le fichier stocké.

Le schéma DTD ou XML généré reposera sur les informations suivantes :

• Les colonnes deviennent des éléments ou des attributs, selon la configuration de l'attribut de type

XML sur ATTRIBUT ou ELEMENT.

• Si l'attribut Requis est défini sur NON, l'élément ou l'attribut correspondant est marqué comme facultatif.

• Les tables imbriquées deviennent des éléments intermédiaires.

• L'attribut Type natif est utilisé pour définir le type de l'élément ou de l'attribut.

• Lors de la génération de schémas XML, les valeurs MinOccurs et MaxOccurs sont définies selon les attributs Occurrences minimum et Occurrences maximum de la table imbriquée correspondante.

Aucune autre information n'est prise en compte lors de la génération du schéma DTD ou XML.

Rubriques associées

• Guide de référence : DTD

• Guide de référence : schéma XML

10.4 Opérations sur les donnés imbriquées

Cette section décrit les opérations que vous pouvez effectuer sur les données imbriquées.

10.4.1 Vue d'ensemble des données imbriquées et de la transformation Query

Avec les données relationnelles, une transformation Query permet d'exécuter une instruction SELECT.

Le mappage entre les schémas d'entrée et de sortie définit la liste de projets pour l'instruction. Lors du travail avec des données imbriquées, la transformation Query fournit une interface pour exécuter des instructions SELECT à chaque niveau de la relation définie dans le schéma de sortie.

247 2012-11-22

Données imbriquées

Vous utilisez la transformation Query pour manipuler les données imbriquées. Pour extraire une partie des données imbriquées uniquement, vous pouvez utiliser la transformation XML_Pipeline.

Sans données imbriquées, la transformation Query suppose que la clause FROM dans l'instruction

SELECT contient les jeux de données connectés en tant qu'entrées dans l'objet de requête. Lorsque vous travaillez avec des données imbriquées, il est nécessaire de définir explicitement la clause FROM dans une requête. Le progiciel assiste en définissant les entrées de niveau supérieur en tant que valeurs de la clause FROM par défaut pour le schéma de sortie de niveau supérieur.

Les autres éléments de l'instruction SELECT définis par la requête fonctionnent de la même manière avec les données imbriquées et les données plates. Toutefois, une instruction SELECT ne pouvant inclure que des références aux jeux de données relationnelles, une requête qui inclut des données imbriquées contient également une instruction SELECT pour définir les opérations de chaque schéma parent et enfant dans la sortie.

L'Editeur Query contient un onglet pour chaque clause de la requête :

• SELECT permet de spécifier des lignes d'éléments uniques de la sortie (sans prendre en compte les lignes identiques doublon).

• FROM répertorie tous les schémas d'entrée et permet de spécifier des paires et des conditions de jointure.

Les paramètres saisis pour les onglets suivants s'appliquent uniquement au schéma en cours (affiché dans la zone de texte Sortie de schéma située en haut à droite de l'Editeur Query) :

• WHERE

• GROUP BY

• ORDER BY

Rubriques associées

•

Modifier les contenus du schéma de sortie

• Guide de référence : XML_Pipeline

10.4.2 Construction de la clause FROM

La clause FROM se trouve au bas de l'onglet FROM. Elle se remplit automatiquement avec les informations incluses dans les sections Schéma(s) d'entrée en haut et Paires de jointures au milieu de l'onglet. Vous pouvez modifier la clause FROM en modifiant les schémas sélectionnés dans la zone

Schéma(s) d'entrée et la section Paires de jointures.

Les schémas sélectionnés dans la section Schéma(s) d'entrée (et reflétés dans la clause FROM), notamment les colonnes contenant des schémas imbriqués, peuvent être inclus dans la sortie.

248 2012-11-22

Données imbriquées

Lorsque vous incluez plus d'un schéma dans la section Schéma(s) d'entrée (en sélectionnant la case

à cocher "De"), il est possible de spécifier des paires et des conditions de jointure et de saisir un cache et un classement de jointure pour chaque schéma d'entrée.

Les descriptions de la clause FROM et le comportement de la requête sont similaires pour les données imbriquées et les données relationnelles. Le schéma en cours permet de distinguer plusieurs instructions

SELECT au sein d'une seule requête. Toutefois, les instructions SELECT étant dépendantes les unes des autres et l'interface utilisateur facilitant la construction de jeux de données arbitraires, la détermination des clauses FROM appropriées pour plusieurs niveaux d'imbrication peut s'avérer complexe.

Une clause FROM peut inclure :

• Tout schéma de niveau supérieur de l'entrée

• Tout schéma représentant une colonne d'un schéma dans la clause FROM du schéma parent

• Toute condition de jointure des paires de jointure

La clause FROM forme un chemin pouvant débuter à tout niveau de la sortie. Le premier schéma du chemin doit toujours être un schéma de niveau supérieur de l'entrée.

Les données produites par une instruction SELECT d'un schéma de niveau inférieur diffèrent en fonction de la présence d'un schéma dans la clause FROM du niveau supérieur.

Les deux exemples suivants utilisent le jeu de données d'une commande client pour illustrer des scénarios dans lesquels les valeurs de la clause FROM modifient les données obtenues de la requête.

Rubriques associées

•

10.4.2.1 Exemple : la clause FROM inclut toutes les entrées de niveau supérieur

Pour inclure les informations détaillées d'un client pour toutes les commandes dans la sortie, reliez le schéma Order_Status_In du niveau supérieur avec le schéma Cust. Incluez les deux schémas d'entrée du niveau supérieur dans la clause FROM pour générer les données appropriées. Lorsque vous sélectionnez les deux schémas d'entrée dans la zone Schéma(s) d'entrée de l'onglet FROM, ils apparaissent automatiquement dans la clause FROM.

249 2012-11-22

Données imbriquées

250

Respectez les points suivants :

• La table Schéma(s) d'entrée dans l'onglet FROM inclut les deux schémas de niveau supérieur

Order_Status_In et Cust (ce qui se reflète également dans la clause FROM).

• Le volet Sortie de schéma affiche le schéma imbriqué cust_info et les colonnes Cust_ID,

Customer_name et Address.

10.4.2.2 Exemple : la clause FROM de niveau inférieur contient une entrée de niveau supérieur

Supposons que vous souhaitiez faire apparaître les informations détaillées d'un schéma dans chaque ligne d'un niveau inférieur d'un autre schéma. Par exemple, l'entrée inclut un schéma de niveau supérieur intitulé Materials et un schéma imbriqué intitulé LineItems. Vous souhaitez que l'entrée comprenne les informations détaillées des articles pour chaque poste. Le graphique ci-dessous illustre cette configuration dans Designer.

2012-11-22

Données imbriquées

L'exemple sur la gauche affiche la configuration suivante :

• La zone Schéma d'entrée dans l'onglet FROM affiche le schéma imbriqué LineItems sélectionné.

• L'onglet FROM affiche la clause FROM “FROM "Order".LineItems”.

L'exemple sur la droite affiche la configuration suivante :

• Le schéma Materials.Description est mappé au schéma de sortie LineItems.Item.

• Les Schéma(s) d'entrée Materials et Order.LineItems sont sélectionnés dans la zone Schéma d'entrée dans l'onglet FROM (la colonne From contient des cases cochées).

• Une paire de jointure est créée en reliant le schéma imbriqué Order.LineItems au schéma de niveau supérieur Materials à l'aide d'un type de jointure externe gauche.

• Une condition de jointure est ajoutée lorsque le champ Item sous le schéma imbriqué LineItems est

égal au champ Item du schéma de niveau supérieur Materials.

Clause FROM obtenue :

"Order".LineItems.Item = Materials.Item

10.4.3 Imbrication de colonnes

251 2012-11-22

Données imbriquées

Lorsque vous imbriquez des lignes d'un schéma dans un autre schéma, le jeu de données produit dans le schéma imbriqué représente le résultat d'une requête sur le premier schéma utilisant les valeurs associées du second.

Par exemple, si vous disposez d'informations concernant une commande client dans un schéma d'en-tête et un schéma de postes, vous pouvez imbriquer les postes sous le schéma d'en-tête. Les postes d'une seule ligne du schéma d'en-tête sont égaux aux résultats d'une requête incluant le numéro de commande :

SELECT * FROM LineItems

WHERE Header.OrderNo = LineItems.OrderNo

Vous pouvez utiliser une transformation Query pour construire un jeu de données imbriquées à partir des données relationnelles. Lorsque vous indiquez les colonnes incluses dans le schéma imbriqué, spécifiez la requête utilisée pour définir le jeu de données imbriquées pour chaque ligne du schéma parent.

10.4.3.1 Construire un jeu de données imbriquées

Suivez les étapes suivantes pour configurer un jeu de données imbriquées.

Créez un flux de données avec les sources d'entrée que vous souhaitez inclure dans le jeu de données imbriquées.

Placez une transformation Query et une table cible dans le flux de données. Connectez les sources

à l'entrée de la requête.

252

Ouvrez la transformation Query et configurez la liste SELECT, la clause FROM et la clause WHERE afin de décrire l'instruction SELECT exécutée par la requête pour déterminer le jeu de données de niveau supérieur.

• Liste SELECT : mappez les éléments du schéma d'entrée au schéma de sortie en faisant glisser les colonnes du schéma d'entrée vers le schéma de sortie. Il est également possible d'inclure de nouvelles colonnes ou des expressions de mappage pour les colonnes.

• Clause FROM : incluez les sources d'entrée dans la liste de l'onglet FROM, puis incluez toute jointure et condition de jointure requises pour définir les données.

• Clause WHERE : incluez tout filtrage requis pour définir le jeu de données pour la sortie de niveau supérieur.

Créez un nouveau schéma dans la sortie.

2012-11-22

Données imbriquées

Cliquez avec le bouton droit de la souris dans la zone Sortie de schéma de l'Editeur Query, sélectionnez Nouveau schéma de sortie, puis nommez le nouveau schéma. Une nouvelle icône de schéma s'affiche dans la sortie, imbriquée sous le schéma de niveau supérieur.

Vous pouvez également faire glisser un schéma complet de l'entrée vers la sortie.

Remplacez le schéma de sortie actuel par le schéma imbriqué en cliquant avec le bouton droit de la souris sur le schéma imbriqué puis en sélectionnant En faire l'élément actuel.

L'Editeur Query se modifie pour afficher le nouveau schéma actuel.

Indiquez la clause FROM, la liste SELECT et la clause WHERE afin de décrire l'instruction SELECT exécutée par la requête pour déterminer le jeu de données de niveau supérieur.

• Clause FROM : si vous avez créé un nouveau schéma de sortie, il convient de faire glisser les schémas de l'entrée pour remplir la clause FROM. Si vous avez fait glisser un schéma existant de l'entrée vers la sortie de niveau supérieur, ce schéma est automatiquement mappé et répertorié dans l'onglet FROM.

• Liste SELECT : seules les colonnes respectant les exigences de la clause FROM sont disponibles.

• Clause WHERE : seules les colonnes respectant les exigences de la clause FROM sont disponibles.

Si la sortie l'exige, imbriquez un autre schéma à ce niveau.

Répétez les étapes 4 à 6 dans ce schéma actuel pour tous les schémas imbriqués que vous souhaitez configurer.

Si la sortie l'exige, imbriquez un autre schéma sous le niveau supérieur.

Faites du schéma de niveau supérieur le schéma actuel.

Rubriques associées

•

Construction de la clause FROM

•

•

Modifier les contenus du schéma de sortie

10.4.4 Utilisation de colonnes corrélées dans des données imbriquées

La corrélation permet d'utiliser des colonnes d'un schéma de niveau supérieur pour construire un schéma imbriqué. Dans un modèle relationnel imbriqué, les colonnes d'un schéma imbriqué sont implicitement liées aux colonnes de la ligne parente. Pour tirer parti de cette relation, il est possible d'utiliser des colonnes du schéma parent pour construire le schéma imbriqué. La colonne de niveau supérieur est une colonne corrélée.

L'inclusion d'une colonne corrélée dans un schéma imbriqué peut servir à deux fins :

253 2012-11-22

Données imbriquées

• La colonne corrélée est une clé dans le schéma parent. Inclure la clé dans le schéma imbriqué permet de conserver une relation entre les deux schémas après leur conversion d'un modèle de données imbriqué à un modèle relationnel.

• La colonne corrélée est un attribut dans le schéma parent. Inclure l'attribut dans le schéma imbriqué permet d'utiliser cet attribut pour simplifier les requêtes corrélées sur les données imbriquées.

Pour inclure une colonne corrélée dans un schéma imbriqué, il n'est pas nécessaire d'inclure le schéma contenant cette colonne dans la clause FROM du schéma imbriqué.

10.4.4.1 Utiliser une colonne corrélée dans un schéma imbriqué

Créez un flux de données avec une source incluant un schéma parent avec un schéma imbriqué.

Par exemple, la source peut être un schéma d'en-tête de commande incluant une colonne LineItems qui contient un schéma imbriqué.

Connectez une requête à la sortie de la source.

Dans l'éditeur de requêtes, copiez toutes les colonnes du schéma parent à la sortie.

Outre les colonnes de niveau supérieur, le progiciel crée une colonne intitulée LineItems qui contient un schéma imbriqué correspondant au schéma imbriqué LineItems dans l'entrée.

Remplacez le schéma actuel par le schéma LineItems. (Pour en savoir plus sur la configuration du schéma actuel et son paramétrage, voir

Editeur Query .)

Incluez une colonne corrélée dans le schéma imbriqué.

Les colonnes corrélées peuvent inclure des colonnes du schéma parent et tout autre schéma inclus dans la clause FROM du schéma parent.

Faites par exemple glisser la colonne OrderNo du schéma d'en-tête vers le schéma LineItems.

L'inclusion de la colonne corrélée crée une nouvelle colonne de sortie dans le schéma LineItems intitulée OrderNo et la mappe à la colonne Order.OrderNo. Le jeu de données créé pour LineItems inclut toutes les colonnes LineItems et OrderNo.

Si la colonne corrélée provient d'un schéma autre que le parent immédiat, les données du schéma imbriqué contiennent uniquement les lignes correspondant aux valeurs associées dans la ligne actuelle du schéma parent et les valeurs de la colonne corrélée.

Vous pouvez toujours supprimer la colonne corrélée du schéma de niveau inférieur dans une transformation Query ultérieure.

10.4.5 Lignes d'éléments uniques et données imbriquées

254 2012-11-22

Données imbriquées

L'option Lignes d'éléments uniques dans les transformations Query supprime toute ligne doublon au niveau supérieur d'une jointure. Cette option est particulièrement utile pour éviter des produits croisés dans des jointures générant une sortie imbriquée.

10.4.6 Regroupement de valeurs de schémas imbriqués

Lorsque vous spécifiez une clause GROUP BY pour un schéma contenant un schéma imbriqué, l'opération de regroupement combine les schémas imbriqués de chaque groupe.

Par exemple, pour assembler tous les postes inclus dans toutes les commandes pour chaque statut d'un jeu de commande, vous pouvez définir la clause GROUP BY au niveau supérieur du jeu de données sur la colonne de statut (Order.State) et créer un schéma de sortie qui inclut une colonne State (définie sur Order.State) et le schéma imbriqué LineItems.

Il en résulte un jeu de lignes (une pour chaque statut) comprenant la colonne State et le schéma imbriqué

LineItems contenant tous les schémas LineItems pour toutes les commandes de ce statut.

10.4.7 Suppression de l'imbrication de données imbriquées

Pour charger un jeu de données contenant des schémas imbriqués dans une cible relationnelle (non imbriquée), il est nécessaire de supprimer l'imbrication des lignes imbriquées. Une commande client peut par exemple utiliser un schéma imbriqué pour définir la relation entre l'en-tête et les postes de la commande. Pour charger les données dans des schémas relationnels, il convient de supprimer l'imbrication des multiniveaux. La suppression de l'imbrication génère un produit croisé du schéma de niveau supérieur (parent) et du schéma imbriqué (enfant).

255 2012-11-22

Données imbriquées

Il est également possible de charger différentes colonnes de différents niveaux imbriqués dans des schémas distincts. Une commande client peut par exemple être aplanie afin que le numéro de commande soit conservé séparément avec chaque poste et les informations d'en-têtes et de postes chargées dans différents schémas.

Le progiciel permet de supprimer l'imbrication de tout nombre de schémas imbriqués à toute profondeur.

Quel que soit le nombre de niveaux impliqués, le résultat des schémas desquels l'imbrication a été supprimée est un produit croisé des schémas parent et enfant. Lorsque plusieurs niveaux d'imbrications doivent être supprimés, l'imbrication du schéma enfant le plus profond est supprimée en premier, puis celle du résultat (le produit croisé du schéma parent et du schéma enfant le plus profond) et ainsi de suite jusqu'à l'imbrication du schéma de niveau supérieur.

256 2012-11-22

Données imbriquées

La suppression de l'imbrication de tous les schémas (produit croisé de l'ensemble des données) peut générer un résultat inattendu. Par exemple, si une commande client inclut plusieurs valeurs client, telles que les adresses de livraison et de facturation, l'aplatissement d'une commande client par la suppression de l'imbrication des schémas client et de postes produit des lignes de données pouvant ne pas être utiles pour le traitement de la commande.

257

10.4.7.1 Suppression de l'imbrication de données imbriquées

Créez la sortie dont vous voulez supprimer l'imbrication dans le schéma de sortie d'une requête.

Les données de colonnes ou schémas non imbriqués peuvent s'avérer plus complexes à filtrer après l'opération de suppression de l'imbrication. Vous pouvez exécuter la commande Couper pour supprimer des colonnes ou schémas du niveau supérieur. Pour supprimer des schémas ou colonnes imbriqués dans des schémas imbriqués, faites du schéma imbriqué le schéma actuel puis coupez les colonnes non nécessaires ou les colonnes imbriquées.

Cliquez avec le bouton droit de la souris sur le nom du schéma dont vous souhaitez supprimer l'imbrication et sélectionnez Supprimer l'imbrication.

2012-11-22

Données imbriquées

La sortie de la requête (l'entrée de la prochaine étape dans le flux de données) inclut les données dans la nouvelle relation, comme illustré dans le diagramme suivant.

10.4.8 Transformation de niveaux inférieurs de données imbriquées

Les données imbriquées incluses dans l'entrée de transformations (à l'exception des transformations

Query ou XML_Pipeline) passent par la transformation sans être incluses dans l'opération de transformation. Seules les colonnes de niveau supérieur du jeu de données d'entrée sont disponibles pour des transformations ultérieures.

10.4.8.1 Transformer des valeurs de niveaux inférieurs de schémas imbriqués

Exécutez l'une des actions suivantes pour obtenir les données imbriquées :

• Utilisez une transformation Query pour supprimer l'imbrication des données.

• Utilisez une transformation XML_Pipeline pour sélectionner des parties des données imbriquées.

• Exécutez la transformation.

Imbriquez de nouveau les données pour recréer les relations imbriquées.

Rubriques associées

•

Suppression de l'imbrication de données imbriquées

• Guide de référence : XML_Pipeline

258 2012-11-22

Données imbriquées

10.5 Extraction et analyse XML pour les colonnes

Outre l'extraction de données de fichiers et de messages XML, leur représentation sous forme de données NRDM lors d'une transformation puis leur chargement dans un fichier ou un message XML, le progiciel permet également d'extraire des données XML stockées dans une table source ou dans une colonne de fichier plat, de les transformer en données NRDM, puis de les charger dans une colonne de fichier cible ou plat.

De plus en plus de fournisseurs de bases de données permettent de stocker des données XML dans une seule colonne. Le champ est en général une valeur varchar, long ou clob. La fonctionnalité de gestion XML du progiciel prend également en charge la lecture et l'écriture de tels champs. Le progiciel fournit quatre fonctions prenant en charge l'extraction et le chargement de colonnes :

• extract_from_xml

• load_to_xml

• long_to_varchar

• varchar_to_long

La fonction extract_from_xml extrait le contenu XML stocké dans une seule colonne et crée la structure

NRDM correspondante pour permettre sa transformation par le progiciel. Cette fonction prend uniquement en charge les données varchar.

Pour permettre l'extraction et l'analyse de colonnes, les données de colonnes long et clob doivent être converties en varchar avant de pouvoir être transformées par le progiciel.

• Le progiciel convertit une entrée de type de données clob en données varchar si vous sélectionnez l'option Importer les types de données non pris en charge comme VARCHAR de taille lors de la création d'une connexion de banque de données de base de données dans l'Editeur de banque de données.

• Si la source utilise un type de données long, appliquez la fonction long_to_varchar pour convertir les données en valeur varchar.

Remarque :

Le progiciel limite la taille des données XML prises en charge par ces méthodes à 100 Ko en raison de la limitation actuelle de ce type de données varchar. Il est prévu que cette restriction soit levée à l'avenir.

La fonction load_to_xml génère du contenu XML d'une structure NRDM donnée dans le progiciel, puis charge ce contenu dans une colonne varchar. Si vous souhaitez qu'un job convertisse la sortie en colonne long, appliquez la fonction varchar_to_long qui utilise la sortie de la fonction load_to_xml en tant qu'entrée.

259 2012-11-22

Données imbriquées

10.5.1 Exemples de scénarios

Les scénarios suivants décrivent l'utilisation des fonctions permettant d'extraire des données XML d'une colonne source et de les charger dans une colonne cible.

Rubriques associées

•

Extraction de données XML d'une colonne dans le progiciel

•

Chargement de données XML vers une colonne du type de données long

•

Extraction de chaînes XML data quality à l'aide de la fonction extract_from_xml

260

10.5.1.1 Extraction de données XML d'une colonne dans le progiciel

Ce scénario utilise les fonctions long_to_varchar et extract_from_xml pour extraire les données XML d'une colonne avec des données de type long.

Supposons tout d'abord que vous avez déjà effectué les étapes suivantes : a.

Importé une table Oracle contenant une colonne nommée Contenu avec le type de données long qui contient les données XML pour un bon de commande.

Importé dans le référentiel le schéma XML PO.xsd qui fournit le format pour les données XML.

Créé un projet, un job et un flux de données pour votre conception.

Ouvert le flux de données et déposé la table source avec la colonne nommée contenu dans le flux de données.

Effectuez alors les actions suivantes : a.

Créez une requête avec une colonne de sortie du type de données varchar et assurez-vous que sa taille est suffisante pour contenir les données XML.

Nommez cette colonne de sortie contenu.

Dans la section Mappage de l'éditeur de requêtes, ouvrez l'Assistant Fonction, sélectionnez le type de fonction Conversion, puis sélectionnez la fonction long_to_varchar et configurez-la en saisissant ses paramètres.

long_to_varchar(content, 4000)

Le second paramètre de cette fonction (4000 dans ce cas) représente la taille maximale des données XML stockées dans la colonne de la table. Utilisez ce paramètre avec prudence. Si la taille n'est pas suffisante pour contenir le maximum de données XML pour la colonne, le progiciel tronquera les données, engendrant une erreur d'exécution. Inversement, ne saisissez pas un nombre trop important, ce qui exploiterait trop de mémoire de l'ordinateur lors de l'exécution.

Dans l'éditeur de requêtes, mappez la colonne de table source vers une nouvelle colonne de sortie.

2012-11-22

Données imbriquées

261 e.

Créez une seconde requête utilisant la fonction extract_from_xml pour extraire les données XML.

Pour appeler la fonction extract_from_xml, cliquez avec le bouton droit de la souris sur le contexte actuel dans la requête puis sélectionnez Nouvel appel de fonction.

Lorsque l'Assistant Fonction s'ouvre, sélectionnez Conversion puis extract_from_xml.

Remarque :

Vous pouvez utiliser la fonction extract_from_xml uniquement dans un nouvel appel de fonction.

Autrement, la fonction ne sera pas affichée dans l'Assistant Fonction.

Entrez les valeurs pour les paramètres d'entrée.

• La première valeur est le nom de la colonne XML. Saisissez contenu, qui correspond à la colonne de sortie dans la requête précédente contenant les données XML.

• Le second paramètre est le nom du schéma DTD ou XML. Saisissez le nom du schéma du bon de commande (dans ce cas PO).

• Le troisième paramètre est la fonction Activer la validation. Saisissez 1 si vous souhaitez que le progiciel valide les données XML avec le schéma spécifié. Dans le cas contraire, saisissez

Cliquez sur Suivant.

Pour la fonction, sélectionnez une ou plusieurs colonnes que vous souhaitez utiliser à la sortie.

Imaginez que ce schéma de bon de commande contienne cinq éléments de niveau supérieur :

DateCommande, AdresseLivraison, AdresseFacturation, Commentaire et Eléments. Vous pouvez sélectionner un nombre quelconque de colonnes de niveau supérieur d'un schéma XML qui inclut des données de colonnes scalaires ou NRDM. Le type de renvoi de la colonne est défini dans le schéma. Si la fonction échoue en raison d'une erreur lors de la tentative de production de la sortie XML, le progiciel renvoie une valeur nulle pour les colonnes scalaires et des tables imbriquées vides pour les colonnes NRDM.

La fonction extract_from_xml ajoute également deux colonnes :

• AL_ERROR_NUM : renvoie des codes d'erreur : 0 pour une réussite et un entier autre que zéro pour les échecs.

• AL_ERROR_MSG : renvoie un message d'erreur si la valeur de AL_ERROR_NUM est autre que 0. Renvoie une valeur nulle si la valeur de AL_ERROR_NUM est 0

Sélectionnez une ou plusieurs de ces colonnes en tant que sortie appropriée pour la fonction extract_from_xml.

Cliquez sur Terminer.

Le progiciel génère l'appel de fonction dans le contexte en cours et remplit le schéma de sortie de la requête avec les colonnes de sortie spécifiées.

Avec les données converties dans la structure NRDM, vous êtes prêt à lui appliquer des opérations de transformation appropriées.

Par exemple, si vous souhaitez charger la structure NRDM vers un fichier XML cible, créez un fichier

XML cible puis connectez la seconde requête à ce dernier.

2012-11-22

Données imbriquées

Remarque :

Si vous souhaitez modifier l'appel de fonction, cliquez avec le bouton droit de la souris sur l'appel de fonction dans la seconde requête et sélectionnez Modifier l'appel de fonction.

Dans cet exemple, pour extraire des données XML d'une colonne du type de données long, nous avons créé deux requêtes : la première pour convertir les données à l'aide de la fonction long_to_varchar et la seconde pour ajouter la fonction extract_from_xml.

Il est également possible d'utiliser une seule requête en saisissant l'expression de la fonction long_to_varchar directement dans le premier paramètre de la fonction extract_from_xml. Le premier paramètre de la fonction extract_from_xml peut utiliser une colonne du type de données varchar ou une expression qui renvoie les données de type varchar.

Si le type de données de la colonne source n'est pas long mais varchar, n'incluez pas la fonction long_to_varchar à votre flux de données.

262

10.5.1.2 Chargement de données XML vers une colonne du type de données long

Ce scénario utilise les fonctions load_to_xml et varchar_to_long pour convertir une structure NRDM en données scalaires de type varchar dans un format XML puis la charger vers une colonne du type de données long.

Dans cet exemple, vous souhaitez convertir en données XML une structure NRDM pour un bon de commande à l'aide de la fonction load_to_xml. Vous voulez ensuite charger ces données vers une colonne de table Oracle intitulée contenu du type de données long. La fonction load_to_xml renvoyant une valeur du type de données varchar, vous utilisez la fonction varchar_to_long pour convertir la valeur de type de données varchar en valeur de type de données long.

Créez une requête et connectez-la à une requête ou source précédente (présentant la structure

NRDM d'un bon de commande). Dans cette requête, créez une colonne de sortie du type de données varchar intitulée contenu. Assurez-vous que la taille de la colonne est suffisante pour contenir les données XML.

Dans la zone Mappage, ouvrez l'Assistant Fonction, cliquez sur la catégorie Fonctions de

conversion puis sélectionnez la fonction load_to_xml.

Cliquez sur Suivant.

Entrez les valeurs pour les paramètres d'entrée.

La fonction load_to_xml dispose de sept paramètres.

Cliquez sur Terminer.

Dans la zone de mappage de la fenêtre Query, notez l'expression de la fonction : load_to_xml(PO, 'PO', 1, '<?xml version="1.0" encoding = "UTF-8" ?>', NULL, 1, 4000)

Dans cet exemple, la fonction convertit la structure NRDM du bon de commande PO en données

XML et affecte la valeur au contenu de la colonne de sortie.

Créez une autre requête avec les colonnes de sortie correspondant aux colonnes de la table cible.

2012-11-22

Données imbriquées a.

Supposons que la colonne soit intitulée contenu et soit du type de données long.

Ouvrez l'Assistant Fonction dans la section de mappage de la requête puis sélectionnez la catégorie Fonctions de conversion.

Utilisez la fonction varchar_to_long pour mapper la colonne d'entrée contenu vers la colonne de sortie contenu.

La fonction varchar_to_long n'utilise qu'un seul paramètre d'entrée.

Saisissez une valeur pour le paramètre d'entrée.

varchar_to_long(content)

Connectez cette requête à une cible de base de données.

De même que dans l'exemple utilisant la fonction extract_from_xml, vous avez ici utilisé deux requêtes.

La première requête a converti une structure NRDM en données XML puis a affecté la valeur à une colonne du type de données varchar. La seconde requête a converti le type de données varchar en long.

Il est possible de ne mettre qu'une seule requête en œuvre en utilisant les deux fonctions dans une seule expression : varchar_to_long( load_to_xml(PO, 'PO', 1, '<?xml version="1.0" encoding = "UTF-8" ?>', NULL, 1, 4000) )

Si le type de données de la colonne de la table de la base de données cible stockant les données XML est varchar, la fonction varchar_to_long n'est pas utile dans la transformation.

Rubriques associées

• Guide de référence : fonctions et procédures

10.5.1.3 Extraction de chaînes XML data quality à l'aide de la fonction extract_from_xml

Ce scénario utilise la fonction extract_from_xml pour extraire des données XML des transformationsGeocoder, Global Suggestion Lists, Global Address Cleanse et USA Regulatory Address

Cleanse.

La transformation Geocoder, la transformation Global Suggestion Lists et la fonctionnalité Liste de propositions dans les transformations Global Address Cleanse et USA Regulatory Address Cleanse peuvent éditer un champ contenant une chaîne XML. Les transformations éditent les champs suivants pouvant contenir une chaîne XML.

263 2012-11-22

Données imbriquées

264

Transformation

Geocoder

Global Address Cleanse

Global Suggestion List

USA Regulatory Address Cleanse

Champ de sortie

XML Description de champ de sortie

Result_List

Contient une chaîne de sortie XML lorsque plusieurs enregistrements sont renvoyés pour une recherche. Le contenu dépend des données disponibles.

Suggestion_List

Contient une chaîne de sortie XML incluant toutes les valeurs de champ de composant de la liste de propositions indiquées dans les options de transformation.

Pour éditer ces champs comme champs XML, vous devez sélectionner XML comme style de sortie dans les options de transformation.

Pour utiliser les données figurant dans les chaînes XML (par exemple, dans une application Web qui utilise le job publié comme service Web), vous devez extraire les données. Il existe deux méthodes d'extraction de données :

Insérer une transformation Query à l'aide de la fonction extract_from_xml.

Cette méthode permet d'insérer une transformation Query dans le flux de données après les transformations Geocoder, Global Suggestion Lists, Global Address Cleanse ou USA Regulatory

Address Cleanse. Utilisez ensuite la fonction extract_from_xml pour analyser les données de sortie imbriquées.

Cette méthode est considérée comme meilleure pratique car elle propose des données de sortie analysées, facilement accessibles dans un intégrateur.

Développez un flux de données simple qui ne supprime pas l'imbrication des données.

Cette méthode permet d'éditer facilement le champ de sortie contenant la chaîne XML sans suppression de l'imbrication de données.

Cette méthode permet au développeur d'application ou à l'intégrateur de sélectionner de manière dynamique les composants de sortie dans le schéma de sortie final avant de les exposer comme service Web. Le développeur d'application doit travailler étroitement avec le concepteur de flux de données pour comprendre le flux de données au delà d'un service Web en temps réel. Le développeur d'application doit comprendre les options de transformation et indiquer les éléments à renvoyer de la liste de propositions d'adresse retour puis supprimer l'imbrication de la chaîne de sortie XML pour générer des éléments discrets d'adresse.

10.5.1.3.1 Extraire les chaînes XML de qualité des données à l'aide d'une fonction extract_from_xml

Créez un fichier XSD pour la sortie.

2012-11-22

Données imbriquées

Dans l'onglet Format de la bibliothèque d'objets locale, créez un schéma XML pour la XSD de sortie.

Dans l'onglet Format de la bibliothèque d'objets locale, créez un schéma XML pour gac_sugges tion_list.xsd

, global_suggestion_list.xsd,urac_suggestion_list.xsd, ou re sult_list.xsd

Dans le flux de données, incluez le champ suivant dans la Sortie de schéma de la transformation :

• Pour les transformations Global Address Cleanse, Global Suggestion Lists, et USA Regulatory

Address Cleanse, incluez le champ Liste_Proposition.

• Pour la transformation Geocoder, incluez le champ Liste_Résultats

Ajoutez une transformation Query après la transformation Global Address Cleanse, Global Suggestion

Lists, USA Regulatory Address Cleanse ou Geocoder. Terminez-la comme suit.

Passez par tous les champs sauf le champ Liste_Propositions ou le champ Liste_Résultats à partir de l'entrée de schéma jusqu'à la sortie de schéma. Pour ce faire, faites glisser les champs directement du schéma d'entrée vers le schéma de sortie.

Dans Sortie de schéma, faites un clic droit sur le nœud Requête et sélectionnez Nouveau schéma de sortie. Saisissez Liste_Propositions ou Liste_Résultats comme le nom du schéma (ou peu importe le nom du champ qui est dans la sortie XSD).

Dans Sortie de schéma, faites un clic droit sur le champ Liste_Proposition ou Liste_Résultats et sélectionnez En faire l'élément actuel.

Dans Sortie de schéma, faites un clic droit sur le champ Liste_Proposition ou Liste_Résultats et sélectionnez Nouvel appel de fonctions.

10.

Sélectionnez extract_from_xml dans la catégorie Fonctions de conversion et cliquez sur Suivant.

Dans la fenêtre Définir les paramètres d'entrée, saisissez les informations suivantes et cliquez sur

Suivant.

• Nom du champ XML : sélectionnez le champ Liste_Propositions ou Liste_Résultats de la transformation en amont.

• DTD ou nom de schéma : sélectionnez le schéma XML que vous avez créé pour gac_suggestion_list.xsd, urac_suggestion_list.xsd, ou result_list.xsd.

• Activer la validation : saisissez 1 pour activer la validation.

11.

Sélectionnez LISTE ou ENREGISTREMENT dans la liste des paramètres à gauche et cliquez sur le bouton de la flèche à droite pour l'ajouter à la liste Paramètres de sortie sélectionnés.

12.

Cliquez sur Terminer.

La Sortie de schéma inclut les champs de la liste de propositions/ liste de résultats dans le champ

Liste_Propositions ou Liste_Résultats.

13.

Incluez le schéma XML pour le XML de sortie après la Requête. Ouvrez le schéma XML pour valider que les champs sont identiques dans l'Entrée de schéma et dans la Sortie de schéma.

14.

Si vous extrayez des données depuis une transformation Global Address Cleanse, Global Suggestion

Lists, ou USA Regulatory Address Cleanse et que vous avez choisi de sortir uniquement un sous-ensemble des champs de sortie de la liste de propositions disponibles dans l'onglet Options, insérez une deuxième transformation Query pour spécifier les champs que vous souhaitez sortir.

Cette opération permet de sélectionner les composants de sortie dans le schéma de sortie final avant qu'il soit exposé comme un service Web.

265 2012-11-22

Données imbriquées

266 2012-11-22

Jobs en temps réel

Le logiciel prend en charge une transformation de données en temps réel. Temps réel signifie que le logiciel peut recevoir des demandes de systèmes ERP et d'applications Web et envoyer les réponses immédiatement après l'accès aux données demandées d'une mémoire cache de données ou d'une deuxième application. Vous définissez des opérations de traitement des messages à la demande en créant des jobs en temps réel dans le Designer.

11.1 Traitement d'un message de demande/réponse

Le message transféré via un système en temps réel comprend les informations requises pour exécuter une transaction commerciale. Le contenu de ce message peut varier :

• Il pourrait être une commande client ou une facture traitée par un système ERP, destinée à un cache de données.

• Il pourrait être une demande de statut de commande créée par une application Web nécessitant une réponse de la part d'un cache de données ou d'un système back-office.

Le serveur d'accès écoute sans cesse les messages entrants. Lorsqu'il reçoit un message, le serveur d'accès dirige le message vers un processus d'attente qui effectue un ensemble prédéfini d'opérations pour le type de message. Le serveur d'accès reçoit alors une réponse pour le message et répond à l'application initiale.

Deux composants prennent en charge le traitement du message de demande-réponse :

• Serveur d'accès — Ecoute les messages et dirige chaque message en fonction du type de message.

• Job en temps réel — Effectue un ensemble prédéfini d'opérations pour ce type de message et crée une réponse.

Le traitement peut nécessiter l'ajout de données supplémentaire au message à partir d'un cache de données ou le chargement des données du message dans un cache de données. Le serveur d'accès renvoie la réponse à l'application initiale.

267 2012-11-22

Jobs en temps réel

11.2 Qu'est-ce qu'un job en temps réel ?

Designer permet de définir le traitement de messages en temps réel à l'aide d'un job en temps réel.

Vous créez un job en temps réel différent pour chaque type de message que votre système peut créer.

11.2.1 Temps réel par rapport à job

Tout comme un job batch, un job en temps réel extrait, transforme et charge des données. Les jobs en temps réel "extraient" des données du corps du message reçu et de toutes sources secondaires utilisées dans le job. Chaque job en temps réel peut extraire des données d'un type de message individuel. Il peut également extraire des données d'autres sources, par exemple de tables ou de fichiers.

Les mêmes transformations que vous pouvez définir dans des batch jobs sont disponibles dans des jobs en temps réel. Cependant vous pouvez utiliser les transformations différemment dans des jobs en temps réel. Par exemple, vous pouvez utiliser des branches et des contrôles logiques plus souvent que vous ne le souhaiteriez dans les jobs batch. Si un client souhaite connaître le moment où il peut enlever sa commande au centre de distribution, vous serez amené à créer un job CheckOrderStatus

à l'aide d'une fonction de recherche pour compter les postes de commande client puis une transformation

Case pour indiquer le statut sous forme de chaînes : "Aucun poste n'est prêt pour l'enlèvement" ou "X poste de votre commande sont prêts pour l'enlèvement" ou "Votre commande est prête pour l'enlèvement".

Dans les jobs en temps réel, le logiciel écrit également des données dans les cibles de message et les cibles secondaires en parallèle. Chaque message reçoit ainsi une réponse dès que possible.

Contrairement aux jobs batch, les jobs en temps réel ne sont pas exécutés en réponse à une planification ou un déclencheur interne ; les jobs en temps réel sont exécutés comme des services en temps réel lancés via l'Administrateur. Les services en temps réel attendent alors des messages du serveur d'accès.

Lorsque le serveur d'accès reçoit un message, il le transfère à un service en temps réel en cours d'exécution conçu pour traiter ce type de message. Le service en temps réel traite le message et renvoie

268 2012-11-22

Jobs en temps réel une réponse. Le service en temps réel continue à écouter et traiter les messages à la demande jusqu'à ce qu'il reçoive une instruction pour arrêter.

11.2.2 Messages

La façon dont vous créez un job en temps réel dépend du type de message que vous souhaitez qu'il traite. Les messages types comprennent des informations requises pour implémenter une transaction commerciale spécifique et pour donner une réponse appropriée.

Par exemple, supposez qu'un message contienne des informations requises pour déterminer le statut d'une commande spécifique. Le message peut juste contenir le numéro de la commande client. Le job en temps réel correspondant peut utiliser l'entrée pour interroger les sources correctes et renvoyer les informations produit appropriées.

Dans ce cas, le message contient des données qui peuvent être représentées comme colonne individuelle dans un tableau comportant une seule ligne.

Dans un deuxième cas, un message pourrait être une commande client à saisir dans un système ERP.

Le message pourrait contenir le numéro de la commande, des informations client et les détails du poste de la commande. Le traitement des messages pourrait renvoyer une confirmation indiquant que la commande a été correctement soumise.

269

Dans ce cas, le message contient des données qui ne peuvent pas être représentées dans un seul tableau ; les informations de l'en-tête de la commande peuvent être représentées par un tableau et les postes de la commande par un deuxième tableau. Le logiciel représente les données d'en-tête et de poste du message dans une relation imbriquée.

2012-11-22

Jobs en temps réel

Au cours du traitement du message, le job en temps réel traite toutes les lignes de la table imbriquée pour chaque ligne de la table de niveau supérieur. Dans cette commande client, les deux postes sont traités pour la ligne individuelle des informations d'en-tête.

Les jobs en temps réel peuvent envoyer uniquement une ligne de données dans un message de réponse

(cible de message). Cependant vous pouvez structurer des cibles de message de sorte que toutes les données figurent sur une seule ligne en imbriquant des tableaux dans des colonnes d'un seul tableau de niveau supérieur.

Les flux de données du logiciel prennent en charge l'imbrication de tableaux dans d'autres tableaux.

Rubriques associées

•

Données imbriquées

11.2.3 Exemples de jobs en temps réel

Ces exemples donnent une description de niveau supérieur sur la façon dont des jobs en temps réel accèdent à des scénarios en temps réel classiques. Les sections suivantes décrivent les objets réels que vous souhaitez utiliser pour créer la logique dans Designer.

11.2.3.1 Chargement de transactions dans une application back-office

Un job en temps réel peut recevoir une transaction de la part d'une application Web et la charge dans une application back-office (ERP, SCM, système hérité). Une transformation Query vous permet d'inclure des valeurs d'un cache de données pour compléter la transaction avant de l'appliquer par rapport à l'application back-office (par exemple, un système ERP).

270 2012-11-22

Jobs en temps réel

11.2.3.2 Collection de données back-office dans un cache de données

Vous pouvez utiliser des messages pour conserver le cache de données actuel. Les jobs en temps réel peuvent recevoir des messages d'une application back-office et les charger dans un cache de données ou un entrepôt de données.

271

11.2.3.3 Récupération de valeurs, de cache de données, applications back-office

Vous pouvez créer des jobs en temps réel qui utilisent des valeurs issues d'un cache de données pour déterminer si l'application back-office (par exemple, un système ERP) doit être interrogée directement.

2012-11-22

Jobs en temps réel

11.3 Création de jobs en temps réel

Vous pouvez créer des jobs en temps réel en utilisant les mêmes objets comme jobs batch (flux de données, workflows, structures conditionnelles, boucles WHILE etc.). Cependant, l'utilisation d'objet doit respecter un modèle de job en temps réel valide.

11.3.1 Modèles de job en temps réel

11.3.1.1 Modèle de flux de données simple

Le modèle de flux de données simple permet de créer un job en temps réel à l'aide d'un flux de données simple dans sa boucle de traitement en temps réel. Ce flux de données simple doit comprendre une source de message simple et une cible de message simple.

272 2012-11-22

Jobs en temps réel

11.3.1.2 Modèle de flux de données multiples

Le modèle de flux de données multiples permet de créer un job en temps réel à l'aide de flux de données multiples dans sa boucle de traitement en temps réel.

L'utilisation de flux de données multiples, permet de garantir que les données de chaque message sont entièrement traitées dans un flux de données initial avant le début du traitement des flux de données suivants. Par exemple, si les données représentent 40 éléments, l'ensemble des 40 éléments doit être transféré par le premier flux de données vers une table de stockage ou une table en mémoire avant le transfert vers un deuxième flux de données. Vous pouvez ainsi contrôler et collecter toutes les données dans un message à tout point d'un job en temps réel pour la conception et la correction des erreurs.

Si vous utilisez des flux de données multiples dans une boucle en temps réel :

• Le premier objet de la boucle doit être un flux de données. Ce flux de données doit avoir une seule source de message.

• Le dernier objet de la boucle doit être un flux de données. Ce flux de données doit avoir une cible de message.

• Des flux de données supplémentaires ne peuvent pas avoir des sources ou des cibles de message.

• Vous pouvez ajouter n'importe quel nombre de flux de données supplémentaires à la boucle et vous pouvez les ajouter à n'importe quel nombre de workflows.

• Tous les flux de données peuvent utiliser des tables en mémoire entrantes et/ou sortantes pour transférer des jeux de données au flux de données suivant. Les tables en mémoire stockent les données dans la mémoire parallèlement à l'exécution d'une boucle. Elles améliorent la performance des jobs en temps réel avec des flux de données multiples.

11.3.2 Utilisation des modèles de job en temps réel

11.3.2.1 Modèle de flux de données simple

273 2012-11-22

Jobs en temps réel

Lorsque vous utilisez un flux de données simple dans une boucle de traitement en temps réel, l'apparence de votre diagramme de flux de données peut être la suivante :

274

Notez que le flux de données a une source de message et une cible de message.

11.3.2.2 Modèle de flux de données multiples

Lorsque vous utilisez des flux de données multiples dans une boucle de traitement en temps réel, vos diagrammes de flux de données peuvent ressembler à ceux de l'exemple de scénario suivant dans lequel Data Services écrit des données sur plusieurs cibles selon la conception de vos flux de données multiples.

Exigences de l'exemple de scénario :

Votre job doit effectuer les tâches suivantes, en terminant une tâche avant de passer à la suivante :

• Recevoir des demandes sur le statut d'ordres individuels de la part d'un portail Web et enregistrer chaque message sur un fichier plat de sauvegarde

• Exécuter une jointure de demande pour rechercher le statut de l'ordre et l'écrire dans une table de base de données client.

• Répondre à chaque message avec les résultats de la jointure de demande

Solution :

Créer d'abord un job en temps réel et ajouter un flux de données, un workflow et un autre flux de données à la boucle en temps réel. Ajouter ensuite un flux de données au workflow. Puis configurer les tâches dans chaque flux de données :

• Le premier flux de données reçoit le message XML (à l'aide d'une source de message XML) et enregistre le message dans le fichier plat (cible de format de fichier plat). Pendant ce temps, ce même flux de données écrit les données dans une table en mémoire (cible de la table).

2012-11-22

Jobs en temps réel

Remarque :

Vous voulez peut-être créer une table en mémoire pour déplacer les données vers des flux de données séquentiels. Pour en savoir plus, voir

Banques de données en mémoire .

• Le deuxième flux de données lit les données de message de la table en mémoire (source de la table), crée une jointure avec les données archivées (source de la table) et écrit les résultats dans une table de base de données (cible de la table) et une nouvelle table en mémoire (cible de la table).

Notez que ce flux de données ne comporte ni source de message ni cible de message.

• Le dernier flux de données envoie la réponse. Il lit le résultat de la jointure dans la table en mémoire

(source de la table) et charge la réponse (cible du message XML).

Rubriques associées

•

Conception d'applications en temps réel

11.3.3 Création d'un job en temps réel avec un flux de données simple

Dans Designer, créez ou ouvrez un projet existant.

Dans la zone de projet, cliquez avec le bouton droit de la souris sur l'espace et sélectionnez Nouveau

job en temps réel dans le menu contextuel.

275 2012-11-22

Jobs en temps réel

New_RTJob1 s'affiche dans la zone de projet. L'espace de travail affiche la structure du job, composée de deux marqueurs :

• RT_Process_begins

• Step_ends

Ces marqueurs représentent le début et la fin d'une boucle en temps réel.

Dans la zone de projet, renommez New_RTJob1.

Ajoutez toujours un préfixe aux noms de job avec leur type de job. Dans ce cas, utilisez la convention d'appellation : RTJOB_JobName.

Même si les jobs en temps réel sauvegardés sont regroupés sous l'onglet Job de la bibliothèque d'objets, les noms de job peuvent également s'afficher dans les éditeurs de texte utilisés pour créer des appels d'adaptateur ou de services Web. Dans ces cas, un préfixe sauvegardé avec le nom du job vous aidera à l'identifier.

Pour créer un job avec un flux de données simple : a.

Cliquez sur l'icône Flux de données dans la palette d'outils.

Vous pouvez ajouter des flux de données à un job batch ou à un job en temps réel. Lorsque vous placez une icône Flux de données dans un job, vous demandez au Data Services de valider le flux de données conformément aux exigences du type de job (batch ou temps réel).

Cliquez sur la boucle.

Les limites d'une boucle sont indiquées par des marqueurs de début et de fin. Une source de message et une cible de message sont autorisées dans une boucle en temps réel.

Connectez les marqueurs de début et de fin au flux de données.

Créez le flux de données en incluant une source et une cible de message.

Ajoutez, configurez et connectez un (des) objet(s) d'initialisation et de nettoyage le cas échéant.

11.4 Objets source et cible en temps réel

Objet

Les jobs en temps réel doivent contenir un objet source et/ou cible en temps réel. Normalement les objets disponibles sont les suivants :

Accès au logiciel

Message XML

Message sortant

Description

Message XML structuré au format de schéma

DTD ou XML

Utilisé en tant que :

Source ou cible

Message en temps réel avec un format spécifique

à l'application (non lisible par un analyseur XML)

Cible

Directement ou via des adaptateurs

Via un adaptateur

276 2012-11-22

Jobs en temps réel

Pour

Vous pouvez également utiliser des messages IDoc comme sources en temps réel pour des applications

SAP. Pour plus d'informations, voir Supplement for SAP.

La procédure d'ajout de sources et de cibles à des jobs en temps réel est identique à celle d'ajout de sources et de cibles à des jobs batch avec les éléments supplémentaires suivants :

Messages XML

Message sortant

Connaissances requises

Emplacement de la bibliothèque d'objets

Importer un schéma DTD ou XML pour définir un format

Onglet Formats

Définir une banque de données d'adaptateur et importer des métadonnées d'objet.

Onglet Banques de données sous banque de données d'adaptateur

Rubriques associées

•

Importer un format de schéma XML ou DTD

•

Banques de données de l'adaptateur

11.4.1 Pour afficher un schéma source ou cible de message XML

Dans l'espace de travail d'un job en temps réel, cliquez sur le nom d'une source ou d'une cible de message XML pour ouvrir son éditeur.

Si la source ou la cible de message XML contient des données imbriquées, le schéma affiche des tables imbriquées pour représenter les relations entre les données.

11.4.2 Sources et cibles secondaires

Les jobs en temps réel peuvent également avoir des sources ou des cibles secondaires (voir

Objets sources et cibles

). Par exemple, supposez que vous traitiez un message contenant une commande client à partir d'une application Web. La commande contient le nom du client mais lorsque vous appliquez la commande par rapport à votre système ERP, vous devez fournir des informations client plus détaillées.

Dans un flux de données d'un job en temps réel, vous pouvez compléter le message par les informations client pour créer le document complet à envoyer au système ERP. Les informations supplémentaires peuvent provenir du système ERP lui-même ou d'un cache de données contenant les mêmes informations.

277 2012-11-22

Jobs en temps réel

Les tables et les fichiers (notamment fichiers XML) en tant que sources peuvent fournir ces informations supplémentaires.

Le logiciel lit des données à partir de sources secondaires conformément à la façon dont vous configurez le flux de données. Le logiciel charge des données dans les cibles secondaires parallèlement à un message cible.

Ajoutez des sources et des cibles secondaires aux flux de données dans des jobs en temps réel de la même façon qu'aux flux de données dans des jobs batch (Voir

Ajout d'objets sources ou cibles aux flux de données ).

11.4.3 Chargement opérationnel de tables

Les tables cible dans des jobs en temps réel prennent en charge un chargement opérationnel dans lequel les données résultant du traitement d'un flux de données simple peuvent être chargées dans plusieurs tables en tant que transaction simple. Aucun élément de la transaction ne s'applique si un

élément échoue.

Remarque :

Les tables cible dans des jobs batch prennent également en charge un chargement opérationnel.

Cependant soyez prudent lorsque vous activez cette option pour un job batch car elle nécessite l'utilisation d'une mémoire, ce qui peut réduire la performance lorsque vous déplacez d'importantes quantités de données.

Vous pouvez indiquer l'ordre dans lequel les tables sont incluses dans la transaction à l'aide de l'éditeur de table cible. Cette fonctionnalité prend en charge un scénario dans lequel vous avez un groupe de tables avec des clés externes qui dépendent d'un groupe contenant des clés primaires.

Vous pouvez utiliser le chargement opérationnel uniquement lorsque toutes les cibles dans un flux de données sont dans la même banque de données. Si le flux de données charge des tables dans plusieurs banques de données, les cibles de chaque banque de données sont chargées indépendamment. Alors que plusieurs cibles d'une banque de données peuvent être incluses dans une transaction, les cibles d'autres banques de données doivent être incluses dans une autre transaction.

Vous pouvez indiquer le même ordre de transaction ou des ordres de transaction distincts pour toutes les cibles à inclure dans la même transaction. Si vous indiquez le même ordre de transaction pour toutes les cibles dans la même banque de données, les tables sont toujours incluses dans la mêle transaction mais sont chargées ensemble. Le chargement est validé une fois que le chargement de toutes les tables est terminé dans la transaction.

278 2012-11-22

Jobs en temps réel

Si vous indiquez des ordres de transaction distincts pour toutes les cibles dans la même banque de données, les ordres de transaction indiquent les ordres de chargement des tables. La table avec l'ordre de transaction le plus petit est chargée en premier etc., jusqu'à ce que la table avec l'ordre de transaction le plus grand soit chargée en dernier. Deux tables ne sont pas chargées simultanément. Le chargement est validé lorsque le chargement de la dernière table est terminé.

11.4.4 Astuces relatives à la conception pour flux de données dans des jobs en temps réel

Tenez compte des éléments suivants lorsque vous concevez des flux de données :

• Si vous incluez une table à une jointure avec une source en temps réel, le logiciel inclut le jeu de données de la source en temps réel comme boucle externe de la jointure. Si plusieurs sources supplémentaires sont incluses dans la jointure, vous pouvez contrôler quelle table est incluse à la boucle suivante la plus externe de la jointure à l'aide des classements de jointure des tables.

• Dans des jobs en temps réel, ne mettez pas en mémoire cache les données de sources secondaires sauf si ces données sont statiques. Les données seront lues au début du job en temps réel et ne seront pas mises à jour lors de l'exécution du job.

• Si aucune ligne n'est transférée à la cible XML, le job en temps réel renvoie une réponse vide au serveur d'accès. Par exemple, si le système reçoit une demande pour un numéro de produit qui n'existe pas, votre job peut être conçu de telle sorte qu'aucune donnée ne soit transférée au message de réponse. Vous pouvez être amené à fournir des instructions appropriées à votre utilisateur

(traitement d'exception dans votre job) dans le cadre de ce type de scénario.

• Si plusieurs lignes sont transférées à la cible XML, la cible lit la première ligne et rejette les autres lignes. Afin d'éviter ce problème, utilisez vos connaissances relatives au Modèle de données relationnel imbriqué et structurez vos formats de message source et cible de telle sorte qu'une "ligne" corresponde à un message. Le modèle de données relationnel imbriqué permet de structurer toute quantité de données sur une seule "ligne" car les colonnes des tableaux peuvent contenir d'autres tableaux.

• Les mécanismes de récupération ne sont pas pris en charge dans les jobs en temps réel.

Rubriques associées

• Guide de référence : Objets, job en temps réel

•

Données imbriquées

11.5 Test des jobs en temps réel

279 2012-11-22

Jobs en temps réel

11.5.1 Exécution d'un job en temps réel en mode test

Vous pouvez tester des conceptions de job en temps réel sans configurer le job comme service associé

à un serveur d'accès. En mode test, vous pouvez exécuter un job en temps réel à l'aide d'un exemple de message source à partir d'un fichier pour déterminer si le logiciel crée le message cible escompté.

11.5.1.1 Pour indiquer un exemple de message XML et un fichier test cible

Dans les éditeurs de cible et de source de message XML, entrez un nom de fichier dans la case

Fichier test XML.

Entrez le nom de chemin complet pour le fichier source qui contient votre échantillon de données.

Utilisez les chemins pour les fichiers test relatifs à l'ordinateur qui exécute le job server pour le référentiel actuel.

Exécutez le job.

Le mode test est toujours activé pour des jobs en temps réel. Le logiciel lit des données à partir du fichier test source et les charge dans le fichier test cible.

11.5.2 Utilisation de View Data

Pour garantir que la conception renvoie les résultats escomptés, exécutez votre job à l'aide de View data. View Data permet de capturer un échantillon de données de sortie pour garantir que la conception fonctionne.

Rubriques associées

•

Conception et débogage

11.5.3 Utilisation d'une cible de fichier XML

Vous pouvez utiliser une "cible de fichier XML" pour capturer le message créé par un flux de données en autorisant le renvoi du message au serveur d'accès.

280 2012-11-22

Jobs en temps réel

Tout comme un message XML, vous définissez un fichier XML en important un schéma DTD ou XML pour le fichier puis faites glisser le format dans la définition de flux de données. Contrairement aux messages XML, vous pouvez inclure des fichiers XML comme sources ou cibles dans des jobs batch et des jobs en temps réel.

11.5.3.1 Pour utiliser un fichier pour une capture de sortie à partir d'étapes de job en temps réel

Dans l'onglet Formats de la bibliothèque d'objets, faites glisser le schéma DTD ou XML dans un flux de données d'un job en temps réel.

Un menu vous invite à indiquer la fonction du fichier.

Sélectionnez Créer la cible du fichier XML.

La cible du fichier XML s'affiche dans l'espace de travail.

Dans l'éditeur de fichiers, indiquez l'emplacement où le logiciel écrit les données.

Saisissez un nom de fichier par rapport à l'ordinateur exécutant le job server.

Reliez la sortie de l'étape du flux de données de capture à l'entrée du fichier.

11.6 Building blocks des jobs en temps réel

281 2012-11-22

Jobs en temps réel

11.6.1 Complément aux données de message

Les données incluses dans des messages de sources en temps réel peuvent ne pas correspondre exactement à vos besoins pour le traitement ou l'archivage des informations. Dans ce cas, vous pouvez définir des étapes dans le job en temps réel pour compléter les informations du message.

Une technique permettant de compléter les données dans une source en temps réel comprend les

étapes suivantes :

Inclure une table ou un fichier en tant que source.

Outre la source en temps réel, inclure les fichiers ou les tables pour lesquels vous avez besoin d'informations complémentaires.

Utiliser une demande pour extraire les données requises de la table ou du fichier.

Utiliser les données de la source en temps réel pour rechercher les données supplémentaires nécessaires.

Vous pouvez inclure une expression JOIN dans la demande pour extraire les valeurs spécifiques requises de la source supplémentaire.

282

La condition de jointure relie les deux schémas d'entrée, ce qui se traduit par une sortie uniquement pour le document de poste de vente et les postes de ligne inclus dans la saisie à partir de l'application.

Utilisez prudemment les données dans la jointure pour garantir un retour de valeur. Si la jointure ne renvoie aucune donnée, la demande ne crée aucune ligne et le message retourne sans valeur au serveur d'accès. Si vous ne pouvez pas garantir le retour d'une valeur, tenez compte des alternatives suivantes :

2012-11-22

Jobs en temps réel

• Appel de la fonction de recherche – Renvoie une valeur par défaut si le système ne trouve aucune donnée

• Jointure externe – Renvoie toujours une valeur même si le système ne trouve aucune donnée

11.6.1.1 Complément aux données de message

Dans cet exemple, un message de demande comprend des informations sur la commande client et son message de réponse renvoie le statut de la commande. La logique applicative utilise le numéro de client et la classification de priorité pour déterminer le niveau du statut à renvoyer. Le message contient uniquement le nom du client et le numéro de la commande. Un job en temps réel est alors défini pour récupérer le numéro de client et la classification d'autres sources avant de déterminer le statut de la commande.

283

Incluez la source en temps réel au job en temps réel.

Incluez la source complémentaire au job en temps réel.

Cette source pourrait être une tableau ou un fichier. Dans cet exemple, les informations complémentaires requises ne changent pas très souvent, il est donc judicieux d'extraire les données d'un cache de données plutôt que d'accéder directement à un système ERP.

Relier les sources.

Dans une transformation Query, créez une jointure sur le nom du client :

Message.CustName = Cust_Status.CustName

Vous pouvez créer la sortie pour inclure uniquement les colonnes requises par le job en temps réel pour déterminer le statut de la commande.

Complétez le job en temps réel pour déterminer le statut de la commande.

L'exemple indiqué ici détermine le statut de la commande dans l'une des deux méthodes, en fonction de la valeur du statut client. Le statut de la commande des clients les mieux classés est déterminé directement de l'ERP. Le statut de la commande pour les autres clients est déterminé à partir d'un cache de données d'informations relatives à la commande client.

La logique peut être organisée en flux de données simple ou multiples. L'illustration ci-dessous présente un modèle de flux de données simple.

2012-11-22

Jobs en temps réel

Les deux branches renvoient le statut de commande pour chaque ligne de poste de la commande.

Le flux de données fusionne les résultats et crée la réponse. La section suivante décrit comment concevoir des chemins de branche dans un flux de données.

11.6.2 Création de branche de flux de données en fonction d'une valeur de cache de données

L'une des choses les plus importantes que vous pouvez faire avec un job en temps réel est de concevoir une logique qui détermine si des réponses doivent être générées à partir d'un cache de données ou de données d'une application back-office (ERP, SCM, CRM).

Voici une technique permettant de créer cette logique :

Déterminez la règle d'accès au cache de données et à l'application back-office.

Comparez les données de la source en temps réel à la règle.

Définissez chaque chemin pouvant résulter de la sortie.

Vous pouvez être amené à prendre en compte le cas où la règle indique l'accès à l'application back-office mais le système n'est pas disponible actuellement.

Fusionnez les résultats de chaque chemin dans un jeu de données simple.

Transférez le résultat unique vers la cible en temps réel.

Vous pouvez être amené à effectuer un contrôle des erreurs et un traitement des exceptions pour

être sûr qu'une valeur est transférée à la cible. Si la cible reçoit un jeu vide, le job en temps réel renvoie une réponse vide (début et fin de balise XML uniquement) au serveur d'accès.

284 2012-11-22

Jobs en temps réel

Cet exemple décrit une section d'un job en temps réel qui traite une nouvelle commande client. La section assure le contrôle du stock disponible des produits commandés, elle répond à la question "le stock magasin est-il suffisant pour satisfaire cette commande ? "

La règle contrôlant l'accès à l'application back-office indique que le stock (Stck.) doit être supérieur à une valeur prédéfinie (IMargin), supérieure à la quantité commandée (Qté) pour considérer la valeur en stock des données mises en cache comme acceptable.

Le logiciel compare chaque poste de la commande dans l'ordre de mappage.

Tableau 11-3 : Commande d'achat entrante

N°Commande

9999

IDClient

1001

Elément

001

002

Poste

Article

7333

2288

Qté

300

1400

Tableau 11-4 : Cache de données de stock

Article

7333

2288

Stock

600

1500

IMargin

100

200 stock.

Remarque :

La quantité d'articles dans la commande client est comparée aux valeurs en stock du cache de données.

11.6.3 Appel de fonctions d'application

Un job en temps réel peut utiliser des fonctions d'application pour traiter des données. Vous pouvez inclure des tables comme paramètres d'entrée ou de sortie à la fonction.

Les fonctions d'application nécessitent des valeurs de saisie pour certains paramètres et certains peuvent ne pas être renseignés. Vous devez déterminer les exigences de la fonction pour préparer les entrées appropriées.

Pour créer l'entrée, vous pouvez indiquer la table de niveau supérieur, les colonnes de niveau supérieur et toutes les tables imbriquées un niveau au-dessous des tables listées dans la clause FROM du contexte appelant la fonction. Si la fonction d'application comprend une structure comme paramètre d'entrée, vous devez indiquer les colonnes individuelles composant la structure.

285 2012-11-22

Jobs en temps réel

Un flux de données peut contenir plusieurs étapes qui appellent une fonction, récupèrent des résultats puis les placent dans les colonnes et les tables requises pour une réponse.

11.7 Conception d'applications en temps réel

Le logiciel propose une connexion à faible impact fiable entre une application Web et des applications back-office, par exemple un système ERP. Chaque implémentation d'un système ERP étant différente et le logiciel incluant une logique d'aide à la décision polyvalente, vous disposez de plusieurs opportunités pour concevoir un système répondant à vos besoins en matière de ressource et d'informations internes et externes.

11.7.1 Baisse des requêtes nécessitant un accès à une application back-office

Cette section propose un ensemble de recommandations et de considérations permettant de réduire le temps passé à tester des cycles de développement.

Les informations auxquelles vos clients sont autorisés à accéder via votre application Web peuvent influencer la performance que les clients voient sur le Web. Vous pouvez améliorer la performance par vos décisions en matière de conception d'application Web. Notamment, vous pouvez structurer votre application pour réduire le nombre de requêtes nécessitant un accès direct à l'application back-office

(ERP, SCM, système hérité).

Par exemple, si votre système ERP prend en charge une structure de détermination du prix complexe qui comprend des dépendances, par exemple la priorité du client, la disponibilité du produit ou la quantité commandée, vous ne pourrez peut-être pas compter sur les valeurs d'un cache de données pour les informations prix. L'autre solution serait de demander les informations prix directement à partir du système ERP. L'accès au système ERP semble plus lent que l'accès direct à la base de données, réduisant la performance des expériences de vos clients avec l'application Web.

Pour réduire l'impact des requêtes nécessitant un accès direct au système ERP, modifiez votre application Web. Via l'exemple de la détermination du prix, personnalisez l'application pour éviter l'affichage des informations prix avec des informations produit standard et affichez la détermination du prix uniquement après le choix d'un produit ou d'une quantité spécifique par le client. Ces techniques paraissent évidentes dans le cadre des systèmes de réservations de compagnies aériennes qui fournissent des informations prix, une offre pour un vol spécifique, contrairement à d'autres sites Web qui indiquent la détermination du prix pour chaque article affiché comme élément des catalogues de produit.

286 2012-11-22

Jobs en temps réel

11.7.2 Messages de jobs en temps réel aux instances d'adaptateur

Si un job en temps réel souhaite envoyer un message à une instance d'adaptateur, reportez-vous à la documentation sur l'adaptateur pour décider si vous devez créer un appel de fonction message ou un message sortant.

• Les appels de fonction message permettent à l'instance d'adaptateur de collecter des demandes et d'envoyer des réponses.

• Les objets de message sortant peuvent uniquement envoyer des messages sortants. Ils ne peuvent pas être utilisés pour recevoir des messages.

Rubriques associées

•

Importation de métadonnées par une banque de données d'adaptateur

11.7.3 Service en temps réel appelé par une instance d'adaptateur

Cette section utilise des termes propres à la programmation Java. (Reportez-vous à la documentation

SDK sur l'adaptateur pour en savoir plus sur les termes tels que instance de l'opération et ressource de l'information.)

Lorsqu'une instance de l'opération (dans un adaptateur) reçoit un message d'une ressource d'information, elle le convertit en fichier XML (le cas échéant) puis envoie le message XML à un service en temps réel.

Dans le service en temps réel, le message de l'adaptateur est représenté par un objet de schéma DTD ou XML (archivé dans l'onglet Formats de la bibliothèque d'objets). Le schéma DTD ou XML représente le schéma de données pour la ressource d'information.

Le service en temps réel traite le message de la ressource de l'information (transmis par l'adaptateur) et renvoie une réponse.

Dans l'exemple de flux de données ci-dessous, le Query traite un message (représenté ici par "Activité") reçu d'une source (une instance de l'adaptateur) et renvoie la réponse à une cible (à nouveau une instance de l'adaptateur).

287 2012-11-22

Jobs en temps réel

288 2012-11-22

Flux de données intégrés

Le logiciel fournit une option facile à utiliser pour créer des flux de données intégrés.

12.1 Vue d'ensemble des flux de données intégrés

Un flux de données intégré est un flux de données qui est appelé depuis un autre flux de données. Les données sont transmises dans ou en dehors du flux de données intégré à partir du flux parent par une seule source ou cible. Le flux de données intégré peut contenir autant de sources ou cibles que nécessaire, mais uniquement un seule entrée ou une seule sortie peut transmettre les données vers ou depuis le flux de données parent.

Il est possible de créer les types de flux de données intégrés suivants :

Type

Une entrée

Une sortie

Aucune entrée ni sortie

A utiliser lorsque vous souhaitez...

Ajouter un flux de données intégré à la fin d'un flux de données.

Ajouter un flux de données intégré au début d'un flux de données.

Répliquer un flux de données existant.

Un flux de données intégré est une aide à la conception qui n'a aucun effet sur l'exécution des jobs.

Lorsque le logiciel exécute le flux de données parent, il développe les flux de données intégrés, optimise le flux de données parent puis l'exécute.

Utilisez les flux de données intégrés pour :

• Simplifier l'affichage du flux de données. Regroupez des sections d'un flux de données dans les flux de données intégrés pour permettre une documentation et une présentation plus claires.

• Réutiliser la logique du flux de données. Enregistrez les sections logiques d'un flux de données pour pouvoir utiliser la logique exacte dans d'autres flux de données, ou fournir ou manière simple de répliquer la logique et de la modifier pour d'autres flux.

• Déboguer la logique du flux de données. Répliquez les sections d'un flux de données comme des flux de données intégrés pour pouvoir les exécuter indépendamment.

289 2012-11-22

Flux de données intégrés

12.2 Exemple des cas où utiliser les flux de données intégrés

Dans cet exemple, un flux de données utilise une source unique pour charger trois systèmes cibles différents. La transformation Case envoie chaque ligne de la source aux différentes transformations qui les traitent pour obtenir une sortie cible unique.

Il est possible de simplifier le flux de données parent en utilisant des flux de données intégrés pour les trois cas différents.

12.3 Création de flux de données intégrés

Il existe deux manières de créer des flux de données intégrés.

• Sélectionnez les objets dans un flux de donnée, faites un clic droit et sélectionnez Créer un flux

de données intégré.

290 2012-11-22

Flux de données intégrés

• Faites glisser un flux de données complet et validé de la bibliothèque d'objets vers un flux de données ouvert dans l'espace de travail. Puis :

• Ouvrez le flux de données que vous venez à l'instant d'ajouter.

• Faites un clic droit sur un objet que vous souhaitez utiliser comme un port d'entrée ou de sortie et sélectionnez Créer le port pour cet objet.

Le logiciel marque l'objet que vous sélectionnez comme le point de connexion pour ce flux de données intégré.

Remarque :

Il est possible d'indiquer un seul port, ce qui signifie que le flux de données intégré peut apparaitre uniquement au début ou à la fin du flux de données parent.

Data Services ignore certains des fichiers physiques requis pour les sources et cibles auxquelles des ports sont affectés.

• Lors de l'utilisation d'un flux de données intégré, certaines données seront directement transmises de l'appelant vers la ou les transformations en regard du port source.

• Lors de l'utilisation directe d'un flux de données, Data Services utilisera les fichiers physiques dans les sources et cibles, mais ignorera les ports.

12.3.1 Utilisation de l'option Créer un flux de données intégré

291

12.3.1.1 Créer un flux de données intégré

Sélectionnez les objets dans un flux de données ouvert à l'aide d'une des méthodes suivantes :

• Cliquez sur l'espace vide et faites glisser le rectangle autour des objets

• Appuyez sur Ctrl et cliquez sur chaque objet

Assurez-vous que les objets que vous sélectionnez sont :

• Tous connectés les uns avec les autres

• Connectés à d'autres objets en fonction du type de flux de données intégré que vous souhaitez créer, tel qu'une entrée, une sortie, ou aucune entrée ni sortie.

Faites un clic droit et sélectionnez Créer un flux de données intégré.

La fenêtre Créer un flux de données intégré s'ouvre, avec le flux de données intégré connecté au flux parent par un objet d'entrée.

Nommez le flux de données intégré à l'aide de la convention FDI_NomFDI par exemple FDI_ERP.

Si vous décochez la case Remplacer les objets dans le flux de données d'origine, le logiciel n'apporte aucune modification dans le flux de données d'origine. Le logiciel enregistre le nouvel objet du flux

2012-11-22

Flux de données intégrés de données intégré dans le référentiel et l'affiche dans la bibliothèque d'objets sous l'onglet Flux de données.

Il est possible d'utiliser un flux de données intégré créé sans remplacement comme un flux de données autonome pour le dépannage.

Si l'option Remplacer les objets dans le flux de données d'origine est sélectionnée, le flux de données d'origine devient un flux de données parent, qui a un appel vers le nouveau flux de données intégré.

Cliquez sur OK.

292

Le flux de données intégré apparait dans le nouveau flux de données parent.

Cliquez sur le nom du flux de données intégré pour l'ouvrir.

Notez que le logiciel a créé un nouvel objet, FDI_ERP_Entrée qui correspond au port d'entrée qui connecte ce flux de données intégré au flux de données parent.

Lorsque vous utilisez l'option Créer un flux de données intégré, le logiciel crée automatiquement un objet d'entrée ou de sortie en fonction de l'objet qui est connecté au flux de données intégré lors de sa création.

Par exemple, si un flux de données intégré a une connexion de sortie, le flux de données intégré inclut alors un objet du fichier XML cible étiqueté NomFDI_Sortie

Les conventions d'appellation pour chaque type de flux de données intégré sont :

Type Conventions d'appellation

Une entrée

Une sortie

NomFDI_Entrée

NomFDI_Sortie

2012-11-22

Flux de données intégrés

Type

Aucune entrée ni sortie

Conventions d'appellation

Le logiciel crée un flux de données intégré sans objet d'entrée ou de sortie

12.3.2 Création de flux de données intégrés à partir de flux existants

Pour appeler un flux de données existant depuis un autre flux de données, placez le flux de données dans le flux de données parent, puis marquez quelle source ou quelle cible utiliser pour transmettre les données entre les flux de données parent et intégré.

12.3.2.1 Créer un flux de données intégré en dehors d'un flux de données existant

Faites glisser un flux de données valide existant de la bibliothèque d'objets dans un flux de données qui est ouvert dans l'espace de travail.

Pensez à renommer le flux à l'aide de la convention d'appellation FDI_NomFDI.

Le flux de données intégré apparait sans aucune pointe de flèche (ports) dans l'espace de travail.

Ouvrez le flux de données intégré.

Faites un clic droit sur un objet cible ou source (fichier ou table) et sélectionnez Créer le port.

Remarque :

Assurez-vous d'indiquer uniquement un port de sortie ou d'entrée.

De la même façon qu'un flux de données normal, les différents types de ports de flux de données intégrés sont indiqués par des marquages directionnels sur l'icône du flux de données intégré.

12.3.3 Utilisation des flux de données intégrés

Lorsque vous créez et configurez un flux de données intégré à l'aide de l'option Créer un flux de

données intégré, le logiciel crée un nouveau fichier XML d'entrée ou de sortie et enregistre le schéma dans le référentiel comme un schéma XML. Il est possible de réutiliser un flux de données intégré en le faisant glisser de l'onglet Flux de données de la bibliothèque d'objets vers d'autres flux de données.

Pour enregistrer l'heure de mappage, il est possible que vous souhaitiez utiliser l'option Mettre à jour le schéma ou l'option Schéma de correspondance.

293 2012-11-22

Flux de données intégrés

Le scénario d'exemple suivant utilise les deux options :

• Créez le flux de données 1.

• Sélectionnez les objets dans le flux de données 1 et créez le flux de données intégré 1 pour que le flux de données parent 1 appelle le flux de données intégré 1.

• Créez le flux de données 2 et le flux de données 3 et ajoutez le flux de données intégré 1 aux deux flux.

• Retournez au flux de données 1. Modifiez le schéma de l'objet précédant le flux de données intégré

1 et utilisez l'option Mettre à jour le schéma avec le flux de données intégré 1. Cette option met à jour le schéma du flux de données intégré 1 dans le référentiel.

• Désormais, les schémas dans les flux de données 2 et 3 qui sont alimentés dans le flux de données intégré 1 seront différents du schéma attendu par le flux de données intégré.

• Utilisez l'option Schéma de correspondance pour le flux de données intégré 1 dans les flux de données 2 et 3 pour résoudre les incohérences au moment de l'exécution. L'option Schéma de correspondance affecte uniquement les paramètres dans le flux de données actuel.

Les sections suivantes décrivent plus en détail l'utilisation des options Mettre à jour le schéma et Schéma de correspondance.

12.3.3.1 Mise à jour des schémas

Le logiciel fournit une option pour mettre à jour un schéma d'entrée d'un flux de données intégré. Cette option met à jour le schéma d'un objet d'entrée d'un flux de données intégré avec le schéma de l'objet précédent dans le flux de données parent. Toutes les occurrences du flux de données intégré se mettent

à jour lorsque vous utilisez cette option.

12.3.3.1.1 Mettre à jour un schéma

Ouvrez le flux de données parent du flux de données intégré.

Faites un clic droit sur l'objet du flux de données intégré et sélectionnez Mettre à jour le schéma.

294

12.3.3.2 Correspondance des données entre les flux de données parent et intégré

Le schéma d'un objet d'entrée d'un flux de données intégré peut correspondre à un schéma de l'objet précédent dans le flux de données parent par le nom ou par le poste. Une correspondance par poste est celle par défaut.

12.3.3.2.1 Spécifier la manière dont les schémas doivent correspondre

Ouvrez le flux de données parent du flux de données intégré.

2012-11-22

Flux de données intégrés

Faites un clic droit sur l'objet du flux de données intégré et sélectionnez Schéma de

correspondancePar nom ou Schéma de correspondancePar poste.

L'option Schéma de correspondance affecte uniquement les paramètres pour le flux de données actuel.

Data Services permet également au schéma de l'objet précédent dans le flux de données parent d'avoir plus ou moins de colonnes que le flux de données intégré. Le flux de données intégré ignore les colonnes supplémentaires et lit les colonnes manquantes comme des valeurs nulles.

Les colonnes dans les deux schémas doivent avoir des types de données identiques ou convertibles.

Consultez la section sur la "Conversion de type" dans le

Guide de référence pour plus d'informations.

12.3.3.3 Suppression d'objets de flux de données intégré

Il est possible de supprimer les ports du flux de données intégré ou de supprimer l'intégralité des flux de données intégrés.

12.3.3.3.1 Supprimer un port

Faites un clic droit sur l'objet d'entrée ou de sortie dans le flux de données intégré et décochezCréer

le port. Data Services supprime la connexion à l'objet parent.

Remarque :

Il est impossible de supprimer un port en supprimant simplement la connexion dans le flux parent.

12.3.3.3.2 Supprimer un flux de données intégré

Sélectionnez-le dans le flux de données parent ouvert et sélectionnez Supprimer dans le menu clic droit ou dans le menu Edition.

Si vous supprimez des flux de données intégrés de la bibliothèque d'objets, l'icône du flux de données intégré apparait avec un cercle rouge barré dans le flux de données parent.

Supprimez ces objets de flux de données intégré qui n'existent plus des flux de données parent.

12.3.4 Test séparé d'un flux de données intégré

Les flux de données intégrés peuvent être testés en les exécutant séparément comme des flux de donnés réguliers.

295 2012-11-22

Flux de données intégrés

Indiquez un fichier XML pour le port d'entrée ou le port de sortie.

Lorsque vous utilisez l'option Créer un flux de données intégré, un objet du fichier XML d'entrée ou de sortie est créé puis connecté (facultatif) à l'objet précédent ou suivant dans le flux de données parents. Pour tester le fichier XML sans le flux de données parent, cliquez sur le nom du fichier XML pour ouvrir son éditeur source ou cible pour indiquer un nom de fichier.

Placez le flux de données intégré dans un job.

Exécutez le job.

Il est également possible d'utiliser les fonctionnalités suivantes pour tester des flux de données intégrés :

• Afficher les données pour les exemples de données passées dans un flux de données intégré.

• Statistiques d'audit sur les données lues depuis les sources, transformées, et chargées dans les cibles, et règles sur les statistiques d'audit pour vérifier que les données attendues sont traitées.

Rubriques associées

• Guide de référence : fichier XML

•

Conception et débogage

12.3.5 Dépannage des flux de données intégrés

Les situations suivantes produisent des erreurs :

• Un port d'entrée et un port de sortie sont indiqués dans un flux de données intégré.

• Flux de données qui n'existent plus piégés.

• Connexion au flux de données parent supprimée alors que l'option Créer le port dans le flux de données intégré reste sélectionnée.

• Les transformations avec des séparateurs (comme la transformation Case) indiquées comme l'objet du port de sortie car un séparateur produit plusieurs sorties, et les flux de données intégrés peuvent seulement en avoir une.

• Variables et paramètres déclarés dans le flux de données intégré qui ne sont pas déclarés dans le flux de données parent.

• Intégration du même flux de données à tous les niveaux de ce flux de données.

Il est cependant possible d'avoir des niveaux d'intégration illimités. Par exemple, le flux de données

FDI1 appelle le flux de données intégré FDI1 qui appelle le FDI2.

Rubriques associées

•

Supprimer un flux de données intégré

•

Supprimer un port

296 2012-11-22

Variables et paramètres

Cette section propose des informations sur les éléments suivants :

• Ajout et définition de variables locales et globales pour des jobs

• Utilisation de variables d'environnement

• Utilisation de paramètres de substitution et configurations

13.1 Présentation des variables et des paramètres

Vous pouvez améliorer la flexibilité et la réutilisabilité des workflows et des flux de données en utilisant des variables locales et globales lorsque vous créez des jobs. Les variables sont des caractères génériques symboliques pour les valeurs. Le type de données d'une variable peut être pris en charge par le logiciel comme un entier, une décimale, une date ou une chaîne texte.

Vous pouvez utiliser des variables dans des expressions pour simplifier la prise de décision ou l'utilisation de données (utilisation de l'arithmétique ou substitution de caractère). Par exemple, une variable peut

être utilisée dans une instruction LOOP ou IF pour vérifier une valeur de variable afin de définir l'étape

à exécuter :

If $amount_owed > 0 print('$invoice.doc');

Si vous définissez des variables dans un job ou un workflow, le logiciel les utilise généralement dans un script, un catch ou un processus conditionnel.

297 2012-11-22

Variables et paramètres

298

Vous pouvez utiliser des variables dans des flux de données. Par exemple, utilisez-les dans une fonction personnalisée ou dans la clause WHERE d'une transformation Query.

Dans le logiciel, les variables locales sont limitées à l'objet dans lequel elles sont créées (job ou workflow). Vous devez utiliser des paramètres pour transférer des variables locales aux objets enfant

(worflows et flux de données).

Les variables locales sont limitées au job dans lequel elles sont créées ; cependant, les paramètres ne doivent pas être nécessairement transférés aux workflows et aux flux de données.

Remarque :

Si vous avez des workflows exécutés en parallèle, les variables globales ne sont pas affectées.

Les paramètres sont des expressions transférées dans un workflow ou un flux de données lorsqu'ils sont appelés dans un job.

Vous créez des variables locales, des paramètres et des variables globales à l'aide de la fenêtre

Variables et paramètres dans Designer.

Vous pouvez définir des valeurs pour des variables locales ou globales dans des objets de script. Vous pouvez également définir des valeurs de variables globales à l'aide d'un job externe, d'une exécution ou de propriétés de planification.

L'utilisation de variables globales apporte un maximum de flexibilité. Par exemple, au cours de la production, vous pouvez modifier des valeurs de variables globales par défaut au cours de l'exécution

à partir d'une planification de job ou d'un appel “SOAP” sans avoir à ouvrir un job dans Designer.

Les variables peuvent être utilisées comme noms de fichier pour :

• Sources et cibles de fichier plat

• Sources et cibles de fichier XML

• Cibles de message XML (exécutées dans Designer en mode test)

2012-11-22

Variables et paramètres

• Sources et cibles de fichier IDoc (dans un environnement d'application SAP)

• Sources et cibles de message IDoc (dans un environnement d'application SAP)

Rubriques associées

• Le guide de la Console de gestion : Administrateur, Support pour services Web

13.2 Fenêtre Variables et paramètres

Le logiciel affiche les variables et les paramètres définis pour un objet dans la fenêtre "Variables et paramètres".

13.2.1 Pour afficher les variables et les paramètres dans chaque job, workflow ou flux de données

Dans le menu Outils, sélectionnez Variables.

La fenêtre "Variables et paramètres" s'ouvre.

Dans la bibliothèque d'objets, cliquez deux fois sur un objet, ou dans la zone de projet, cliquez sur un objet pour l'ouvrir dans l'espace de travail.

Le cadre Contexte dans la fenêtre affiche alors l'objet que vous consultez. Si aucun objet n'est sélectionné, la fenêtre n'indique aucun contexte.

La fenêtre Variables et paramètres contient deux onglets.

L'onglet Définitions permet de créer et d'afficher des variables (nom et type de données) et des paramètres (nom, type de données et type de paramètre) pour un type d'objet. La variable locale et les paramètres peuvent être uniquement définis au niveau du workflow et du flux de données. Les variables globales peuvent être uniquement définies au niveau du job.

Le tableau suivant liste le type de variables et de paramètres que vous pouvez créer à l'aide de la fenêtre Variables et paramètres lorsque vous sélectionnez différents objets.

Type d'objet

Données que vous pouvez créer pour l'objet

Utilisé par

Job

Variables locales

Variables globales

Script ou structure conditionnelle dans le job

Tout objet dans le job

299 2012-11-22

Variables et paramètres

Type d'objet

Workflow

Flux de données

Données que vous pouvez créer pour l'objet

Utilisé par

Variables locales

Paramètres

Workflow transféré vers d'autres workflows ou flux de données à l'aide d'un paramètre.

Objets parents pour transférer des variables locales. Les workflows peuvent également renvoyer des variables ou des paramètres aux objets parents.

Paramètres

Clause WHERE, mappage de colonne ou fonction dans le flux de données.

Les flux de données ne peuvent pas renvoyer des valeurs de sortie.

L'onglet Appels permet d'afficher le nom de chaque paramètre défini pour tous les objets dans une définition d'objet parent. Vous pouvez également saisir des valeurs pour chaque paramètre.

Pour le type de paramètre d'entrée, les valeurs de l'onglet Appels peuvent être des constantes, des variables ou un autre paramètre.

Pour la sortie ou le type de paramètre entrée/sortie, les valeurs de l'onglet Appels peuvent être des variables ou des paramètres.

Les valeurs de l'onglet Appels doivent également utiliser :

• Le même type de données que la variable si elles se situent dans une entrée ou un type de paramètre entrée/sortie et un type de données compatible si elles se situent dans un type de paramètre de sortie.

• Règles de la langue de script et syntaxe

L'illustration suivante présente la relation entre un workflow en cours appelé DeltaFacts, le cadreContexte dans la fenêtre Variables et paramètres et le contenu dans les onglets Définition et Appels.

300 2012-11-22

Variables et paramètres

13.3 Utilisation de variables locales et de paramètres

Pour transférer une variable locale vers un autre objet, définissez la variable locale, puis à partir de l'objet appelant, créez un paramètre et mappez le paramètre à la variable locale en saisissant une valeur de paramètre.

Par exemple, pour utiliser une variable locale dans un flux de données, définissez la variable dans un workflow parent puis transférez la valeur de la variable comme paramètre du flux de données.

301 2012-11-22

Variables et paramètres

13.3.1 Paramètres

Des paramètres peuvent être définis pour :

• Transférer leurs valeurs aux workflows ou à l'extérieur de workflows

• Transférer leurs valeurs aux flux de données

Un type : entrée, sortie ou entrée/sortie est affecté à chaque paramètre. La valeur transférée par le paramètre peut être utilisée par tout objet appelé par le workflow ou flux de données.

Remarque :

Vous pouvez également créer des variables locales et des paramètres à utiliser dans des fonctions personnalisées.

Rubriques associées

• Guide de référence : Fonctions personnalisées

13.3.2 Transfert de valeurs aux flux de données

Vous pouvez utiliser une valeur transférée comme paramètre dans un flux de données pour contrôler les données transformées dans le flux de données. Par exemple, le flux de données DF_PartFlow traite quotidiennement des valeurs en stock. Il peut traiter tous les numéros de pièce fabricant utilisés ou une gamme de numéros de pièce fabricant en fonction d'exigences externes, par exemple la tranche de numéros traitée en dernier.

Si le workflow qui appelle DF_PartFlow enregistre la tranche de numéros traitée, il peut transférer la valeur de fin de la tranche $EndRange comme paramètre aux flux de données pour indiquer la valeur de début de la tranche suivante à traiter.

Le logiciel peut calculer une nouvelle valeur de fin en fonction d'un numéro de pièce fabricant archivé

à traiter chaque fois, par exemple $SizeOfSet puis transférer cette valeur au flux de données comme valeur de fin. Une transformation Query dans le flux de données utilise les paramètres transférés pour filtrer les numéros de pièce fabricant extraits de la source.

302 2012-11-22

Variables et paramètres

Le flux de données pourrait être utilisé par plusieurs appels figurant dans un ou plusieurs workflows pour exécuter la même tâche sur différentes tranches de numéros en indiquant différents paramètres pour les appels spécifiques.

13.3.3 Définition d'une variable locale

Cliquez sur le nom du job ou du workflow dans la zone de projet ou l'espace de travail ou cliquez deux fois sur la bibliothèque d'objets.

Cliquez sur Outils > Variables.

La fenêtre "Variables et paramètres" s'affiche.

Dans l'onglet Définitions, sélectionnez Variables.

Cliquez avec le bouton droit de la souris et sélectionnez Insérer.

Une nouvelle variable s'affiche (par exemple $NewVariable0). Une boîte de contexte s'affiche autour de la cellule du nom et le curseur prend la forme d'une flèche avec un crayon jaune.

Pour modifier le nom d'une variable, cliquez sur la cellule du nom.

Le nom peut contenir des caractères alphanumériques ou des traits de soulignement, mais il ne peut pas contenir d'espace. Le nom doit toujours commencer par un symbole dollar ($).

Cliquez sur la cellule du type de données pour la nouvelle variable et sélectionnez le type de données approprié dans la liste déroulante.

Fermez la fenêtre "Variables et paramètres".

13.3.4 Définition de paramètres

Deux étapes permettent de configurer un paramètre pour un workflow ou un flux de données :

• Ajouter la définition de paramètre au flux.

• Définir la valeur du paramètre dans l'appel de flux.

303 2012-11-22

Variables et paramètres

304

13.3.4.1 Pour ajouter le paramètre à la définition de flux

Cliquez sur le nom du workflow ou du flux de données.

Cliquez sur Outils > Variables.

La fenêtre "Variables et paramètres" s'affiche.

Accédez à l'onglet Définition.

Sélectionnez Paramètres.

Cliquez avec le bouton droit de la souris et sélectionnez Insérer.

Un nouveau paramètre s'affiche (par exemple, $NewParameter0). Un cadre de contexte s'affiche et le curseur prend la forme d'une flèche avec un crayon jaune.

Pour modifier le nom d'une variable, cliquez sur la cellule du nom.

Le nom peut contenir des caractères alphanumériques ou des traits de soulignement, mais il ne peut pas contenir d'espace. Le nom doit toujours commencer par un symbole dollar ($).

Cliquez sur la cellule du type de données pour le nouveau paramètre et sélectionnez le type de données approprié dans la liste déroulante.

Si le paramètre est une entrée ou un paramètre d'entrée/de sortie, il doit avoir le même type de données que la variable ; si le paramètre est un type de paramètre de sortie, il doit avoir un type de données compatible.

Cliquez sur la cellule du type de paramètre et sélectionnez le type de paramètre (entrée, sortie ou entrée/sortie).

Fermez la fenêtre "Variables et paramètres".

13.3.4.2 Pour définir la valeur du paramètre dans l'appel de flux

Ouvrez le job appelant, le workflow ou le flux de données.

Cliquez sur Outils > Variables pour ouvrir la fenêtre "Variables et paramètres".

Sélectionnez l'onglet Appels.

L'onglet Appels affiche tous les objets appelés à partir du job en cours, workflow ou flux de données.

Cliquez sur la cellule Valeur d'argument.

Un cadre de contexte s'affiche et le curseur prend la forme d'une flèche avec un crayon jaune.

Saisissez l'expression que le paramètre transfèrera dans la cellule.

2012-11-22

Variables et paramètres

Si le type de paramètre est une entrée, sa valeur peut être une expression contenant une constante

(par exemple, 0, 3 ou 'string1'), une variable ou un autre paramètre (par exemple, $startID ou

$parm1

Si le type de paramètre est une sortie ou une entrée/sortie, la valeur doit être une variable ou un paramètre. La valeur ne peut pas être une constante car par définition, la valeur d'un paramètre sortie ou entrée/sortie peut être modifiée par tout objet dans le flux.

Pour indiquer des valeurs spécifiques, utilisez la syntaxe suivante :

Type de valeur Syntaxe spécifique

Variable

$variable_name

Chaîne

'string

13.4 Utilisation de variables globales

Les variables globales sont globales dans un job. Vous ne devez pas définir de paramètres lorsque vous utilisez des variables globales. Cependant, lorsque vous utilisez un nom pour une variable globale dans un job, ce nom est alors réservé au job. Les variables globales sont exclusives dans le cadre du job dans lequel elles sont créées.

13.4.1 Création de variables globales

Définir des variables dans la fenêtre Variables et paramètres.

13.4.1.1 Création d'une variable globale

Cliquez sur le nom d'un job dans la zone de projet ou cliquez deux fois sur un job dans la bibliothèque d'objets.

Cliquez sur Outils > Variables.

La fenêtre "Variables et paramètres" s'affiche.

305 2012-11-22

Variables et paramètres

Dans l'onglet Définitions, sélectionnez Variables globales.

Cliquez avec le bouton droit de la souris sur Variables globales et sélectionnez Insérer.

Une nouvelle variable globale s'affiche (par exemple, $NewJobGlobalVariable0). Un cadre de contexte s'affiche et le curseur prend la forme d'une flèche avec un crayon jaune.

Pour modifier le nom d'une variable, cliquez sur la cellule du nom.

Le nom peut contenir des caractères alphanumériques ou des traits de soulignement, mais il ne peut pas contenir d'espace. Le nom doit toujours commencer par un symbole dollar ($).

Cliquez sur la cellule du type de données pour la nouvelle variable et sélectionnez le type de données approprié dans la liste déroulante.

Fermez la fenêtre "Variables et paramètres".

13.4.2 Affichage de variables globales

Les variables globales définies dans un job sont visibles pour les objets relatifs à ce job. Une variable globale définie dans un job ne peut pas être modifiée ou affichée à partir d'un autre job.

Vous pouvez afficher des variables globales dans la fenêtre Variables et paramètres (avec un job en cours dans l'espace de travail) ou dans la boîte de dialogue Propriétés d'un job sélectionné.

13.4.2.1 Pour afficher des variables globales dans un job à partir de la boîte de dialogue Propriétés

Dans la bibliothèque d'objets, sélectionnez l'onglet Jobs.

Cliquez avec le bouton droit de la souris sur le job dont vous voulez afficher les variables globales et sélectionnez Propriétés.

Cliquez sur l'onglet Variable globale.

Les variables globales s'affichent dans cet onglet.

13.4.3 Définition de valeurs de variables globales

Outre la définition d'une variable dans un job à l'aide d'un script d'initialisation, vous pouvez définir et gérer des valeurs de variable globale à l'extérieur d'un job. Les valeurs définies à l'extérieur d'un job sont traitées de la même façon que celles définies dans un script d'initialisation. Cependant, si vous

306 2012-11-22

Variables et paramètres définissez une valeur pour la même variable à l'intérieur et à l'extérieur d'un job, la valeur interne se substituera à la valeur de job externe.

Des valeurs de variables globales peuvent être définies à l'extérieur d'un job :

• Comme propriété de job

• Comme propriété d'exécution ou de planification

Les variables globales sans valeur définie sont également autorisées. Elles sont lues comme valeurs nulles.

Toutes les valeurs définies comme propriétés de job sont affichées dans les boîtes de dialogue Propriétés et Propriétés d'exécution de Designer et dans les pages Options d'exécution et Planification de l'Administrateur. En définissant des valeurs à l'extérieur d'un job, vous pouvez vous référer à ces boîtes de dialogue pour afficher des valeurs définies pour des variables globales et modifier facilement des valeurs lors d'un test ou de la planification d'un job.

Remarque :

Vous ne pouvez pas transférer des variables globales comme arguments de ligne de commande pour des jobs en temps réel.

13.4.3.1 Pour définir une valeur de variable globale comme propriété de job

Cliquez avec le bouton droit de la souris sur la librairie d'objets ou sur la zone de projet

Cliquez sur Propriétés.

Cliquez sur l'onglet Variable globale.

Toutes les variables globales créées dans ce job s'affichent.

Saisissez des valeurs pour les variables globales dans ce job.

Vous pouvez utiliser toute instruction utilisée dans un script avec cette option.

Cliquez sur OK.

Le logiciel sauvegarde les valeurs dans le référentiel comme propriétés de job.

Vous pouvez également afficher et modifier ces valeurs par défaut dans la boîte de dialogue

Propriétés d'exécution de Designer et dans les pages Options d'exécution et Planification de l'Administrateur. Vous pouvez ainsi substituer les valeurs de propriété du job lors de l'exécution.

Rubriques associées

• Guide de référence : Langue de script

307 2012-11-22

Variables et paramètres

308

13.4.3.2 Pour définir une valeur de variable globale comme propriété d'exécution

Exécutez un job à partir de Designer ou bien exécutez ou planifiez un job batch à partir de l'Administrateur.

Remarque :

A des fins de test, vous pouvez exécuter des jobs en temps réel à partir de Designer en mode test.

Vérifiez que vous avez défini les propriétés d'exécution pour un job en temps réel.

Affichez les variables globales dans le job et leurs valeurs par défaut (le cas échéant).

Modifiez les valeurs des variables globales le cas échéant.

Si vous utilisez Designer, cliquez sur OK. Si vous utilisez l'Administrateur, cliquez sur Exécuter ou

Planifier.

Le job est exécuté à l'aide les valeurs que vous saisissez. Les valeurs saisies comme propriétés d'exécution ne sont pas sauvegardées. Les valeurs saisies en tant que propriétés de planification sont sauvegardées mais sont accessibles uniquement depuis l'Administrateur.

13.4.3.3 Classement automatique de valeurs de variables globales dans un job

Si vous utilisez les méthodes décrites à la section précédente et si vous saisissez différentes valeurs pour une seule variable globale, le logiciel sélectionne la valeur de classement la plus élevée pour l'utiliser dans le job. Une valeur saisie comme propriété de job a le plus petit classement. Une valeur définie à l'intérieur d'un job a le classement le plus élevé.

• Si vous définissez une valeur de variable globale à la fois comme job et comme propriété d'exécution, la valeur de propriété d'exécution se substitue à la valeur de propriété de job et devient la valeur par défaut pour l'exécution de job en cours. Vous ne pouvez pas sauvegarder de valeurs de variables globales de propriété d'exécution.

Par exemple, supposez qu'un job, JOB_Test1, ait trois variables globales déclarées : $YEAR,

$MONTH et $DAY. La variable $YEAR est définie comme propriété de job avec une valeur 2003.

Pour l'exécution du job, vous définissez JANVIER et 31 respectivement comme variables $MONTH et $DAY comme propriétés d'exécution. Le logiciel exécute une liste d'instructions contenant des valeurs par défaut pour JOB_Test1 :

$YEAR=2003;

$MONTH='JANUARY';

$DAY=31;

2012-11-22

Variables et paramètres

Pour la deuxième exécution de job, si vous définissez les valeurs 2002 et JANUARY respectivement comme variables $YEAR et $MONTH comme propriétés d'exécution, l'instruction $YEAR=2002 remplacera $YEAR=2003. Le logiciel exécute la liste suivante d'instructions :

$YEAR=2002;

$MONTH='JANUARY';

Remarque :

Dans ce scénario, $DAY n'est pas défini et le logiciel lit cette valeur comme valeur nulle. Vous définissez 31 comme valeur pour $DA, au cours de la première exécution du job , cependant, les propriétés d'exécution pour les valeurs de variables globales ne sont pas sauvegardées.

• Si vous avez défini une valeur de variable globale à la fois pour une propriété de planification et de job, la valeur de propriété de planification se substitue à la valeur de propriété de job et devient la valeur par défaut externe pour l'exécution de job en cours.

Le logiciel sauvegarde les valeurs de propriété de planification dans le référentiel. Cependant, ces valeurs sont uniquement associées à une planification de job, pas au job lui-même. Par conséquent, ces valeurs sont affichées et modifiées dans l'Administrateur.

• Une valeur de variable globale définie à l'intérieur d'un job se substitue toujours à toute valeur externe. Cependant, la substitution n'est pas exécutée tant que le logiciel tente d'appliquer les valeurs externes au job en cours d'exécution avec la valeur interne. Jusque là, le logiciel traite les valeurs d'exécution, de planification ou de propriété comme valeurs par défaut.

Par exemple, supposez un job nommé JOB_Test2 contenant trois workflows, chacun comportant un flux de données. Le deuxième flux de données se trouve dans un workflow précédé d'un script dans lequel la valeur MAY est définie pour $MONTH. Le premier et le troisième flux de données ont la même variable globale sans valeur définie. La propriété d'exécution $MONTH = 'APRIL' constitue la valeur de variable globale.

Dans ce scénario, 'APRIL' devient la valeur par défaut pour le job. 'APRIL' reste la valeur de la variable globale tant qu'elle ne se chevauche pas avec une autre valeur pour la même variable dans le deuxième workflow. La valeur du script se trouvant dans le job, 'MAY' se substitue à 'APRIL' pour la variable $MONTH. Le logiciel continue à traiter le job avec cette nouvelle valeur.

309 2012-11-22

Variables et paramètres

13.4.3.4 Avantages à définir des valeurs à l'extérieur d'un job

Alors que vous pouvez définir des valeurs à l'intérieur de jobs, définir des valeurs de variables globales

à l'extérieur d'un job présente certains avantages.

Par exemple, des valeurs définies comme propriétés de job sont affichées dans les boîtes de dialogue

Propriétés et Propriétés d'exécution de Designer et dans les pages Options d'exécution et Planification de l'Administrateur. En définissant des valeurs à l'extérieur d'un job, vous pouvez vous référer à ces boîtes de dialogue pour afficher toutes les variables globales et leurs valeurs. Vous pouvez également facilement les modifier à des fins de test et de planification.

Dans l'Administrateur, vous pouvez définir des valeurs de variables globales lorsque vous créez ou modifiez une planification sans ouvrir Designer. Par exemple, utilisez des variables globales comme noms de fichier et dates de début et de fin.

13.5 Règles de variables locales et globales

310 2012-11-22

Variables et paramètres

Lorsque vous définissez des variables locales ou globales, tenez compte des règles relatives aux

éléments suivants :

• Attribution de nom

• Réplication de jobs et de workflows

• Importation et exportation

13.5.1 Attribution de nom

• Les variables locales et globales doivent avoir des noms uniques dans leur contexte de job.

• Toute modification de nom apportée à une variable globale peut être effectuée au niveau du job uniquement.

13.5.2 Réplication de jobs et de workflows

• Lorsque vous répliquez tous les objets, les variables locales et globales définies dans ce contexte de job sont également répliquées.

• Lorsque vous répliquez un flux de données ou un workflow, tous les paramètres et toutes les variables locales et globales sont également répliqués. Cependant vous devez valider ces variables locales et globales dans le contexte de job dans lequel elles ont été créées. Si vous tentez de valider un flux de données ou un workflow contenant des variables globales sans job, Data Services indique une erreur.

13.5.3 Importation et exportation

• Lorsque vous exportez un objet du job, vous exportez également toutes les variables locales et globales définies pour ce job.

• Lorsque vous exportez un objet de niveau inférieur (par exemple, un flux de données) sans le job parent, la variable globale n'est pas exportée. Seul l'appel vers cette variable globale est exporté.

Si vous utilisez cet objet dans un autre job sans définir la variable globale dans le nouveau job, une erreur de validation se produira.

311 2012-11-22

Variables et paramètres

13.6 Variables d'environnement

Vous pouvez utiliser des variables d'environnement système dans des jobs, des workflows ou des flux de données. Les fonctions get_env, set_env et is_set_env donnent accès aux variables de système d'exploitation sous-jacent qui se comportent comme l'autorise le système d'exploitation.

Vous pouvez définir temporairement la valeur d'une variable d'environnement dans un job, un workflow ou un flux de données. Une fois définie, la valeur est visible pour tous les objets de ce job.

Utilisez les fonctions get_env, set_env et is_set_env pour définir, récupérer et tester les valeurs de variables d'environnement.

Rubriques associées

• Guide de référence : fonctions et procédures

13.7 Définition de noms de fichier lors de l'exécution à l'aide de variables

Vous pouvez définir des noms de fichier lors de l'exécution en indiquant une variable comme nom de fichier.

Les variables peuvent être utilisées comme noms de fichier pour :

• Les sources et les cibles suivantes :

• Fichiers plats

• Fichiers XML et messages

• Fichiers IDoc et messages (dans un environnement SAP)

• La fonction lookup_ext (pour un fichier plat utilisé comme paramètre de table de recherche)

13.7.1 Pour utiliser une variable dans un nom de fichier plat

Créer une variable locale ou globale à l'aide de la fenêtre Variables et Paramètres.

Créer un script pour définir la valeur d'une variable locale ou globale ou appeler une variable d'environnement système.

Déclarer la variable dans l'éditeur de format de fichier ou dans l'éditeur de fonctions comme paramètre lookup_ext

312 2012-11-22

Variables et paramètres

• Lorsque vous définissez une valeur de variable pour un fichier plat, indiquez le nom de fichier et le nom du répertoire. Saisissez la variable dans la propriété Fichier(s) sous Fichier(s) de

données dans l'éditeur de format de fichier. Vous ne pouvez pas saisir une variable dans la propriété Répertoire racine.

• Pour les recherches, remplacez le chemin et le nom de fichier dans le cadre Table de recherche de l'éditeur de fonctions lookup_ext, par le nom de variable.

Le schéma suivant indique comment définir des valeurs pour des variables dans les sources et cibles de fichier plat dans un script.

313

Lorsque vous utilisez des variables comme sources et cibles, vous pouvez également utiliser plusieurs noms de fichier et caractères génériques. Ni l'un ni l'autre n'est pris en charge dans la fonction loo kup_ext

Le schéma ci-dessus donne un exemple sur la façon d'utiliser plusieurs noms de variables et caractères génériques. Notez que la variable $FILEINPUT comprend deux noms de fichier (séparés par une virgule). Les deux noms KNA1comma.* et KNA1c?mma.in) utilisent également les caractères génériques

(* et ? pris en charge par le logiciel.

Rubriques associées

• Guide de référence : lookup_ext

• Guide de référence : Langue de script Data Services

2012-11-22

Variables et paramètres

13.8 Paramètres de substitution

13.8.1 Présentation des paramètres de substitution

Les paramètres de substitution sont utiles lorsque vous souhaitez exporter et exécuter un job contenant des valeurs constantes dans un environnement spécifique. Par exemple, si vous créez un job faisant référence à un répertoire unique sur votre ordinateur local et que vous exportez ce job vers un autre ordinateur, le job recherchera le seul répertoire dans le nouvel environnement. Si ce répertoire n'existe pas, le job ne sera pas exécuté.

Au lieu d'utiliser un paramètre de substitution, vous pouvez facilement affecter une valeur pour la valeur constante initiale afin d'exécuter le job dans le nouvel environnement. Une fois que vous avez créé une valeur de paramètre de substitution pour le répertoire dans votre environnement, vous pouvez exécuter le job dans un environnement différent et tous les objets faisant référence au répertoire d'origine utiliseront automatiquement la valeur. En d'autres termes, vous devez uniquement modifier la valeur constante (le nom du répertoire d'origine) à un endroit (le paramètre de substitution) et sa valeur sera automatiquement transférée à tous les objets de ce job lorsqu'il est exécuté dans un nouvel environnement.

Vous pouvez configurer un groupe de paramètres de substitution pour un environnement d'exécution spécifique en associant leurs valeurs constantes sous une configuration de paramètre de substitution.

13.8.1.1 Paramètres de substitution par rapport aux variables globales

Les paramètres de substitution diffèrent des variables globales en ce sens où elles s'appliquent au niveau du référentiel. Les variables globales s'appliquent uniquement au job dans lequel elles sont définies. Vous utiliseriez une variable globale lorsque vous ne connaissez pas la valeur avant l'exécution et qu'elle doit être calculée dans le job. Vous utiliseriez un paramètre de substitution pour des constantes qui ne changent pas au cours de l'exécution. Un paramètre de substitution défini dans un référentiel local donné est disponible pour tous les jobs de ce référentiel. Par conséquent, l'utilisation d'un paramètre de substitution signifie que vous ne devez pas définir une variable globale dans chaque job pour paramétrer une valeur constante.

Le tableau suivant décrit les principales différences entre les variables globales et les paramètres de substitution.

314 2012-11-22

Variables et paramètres

315

Variables globales

Définies au niveau du job

Ne peuvent pas être partagées via des jobs

Spécifiques au type de données

La valeur peut varier au cours de l'exécution de job

Paramètres de substitution

Définis au niveau du référentiel

Disponibles pour tous les jobs dans un référentiel

Aucun type de données (toutes les chaînes)

Ensemble de constantes avant l'exécution du job

(constantes)

Cependant, vous pouvez utiliser des paramètres de substitution partout où des variables globales sont prises en charge, par exemple :

• Clauses WHERE de transformation Query

• Mappages

• Identificateurs d'instruction SQL pour transformation SQL

• Options de fichier plat

• User-defined transformations

• Address cleanse options de transformation

• Seuils de correspondance

13.8.1.2 Utilisation de paramètres de substitution

Vous pouvez utiliser des paramètres dans les expressions, les instructions SQL, les champs d'option et les chaînes de constante. Par exemple, de nombreuses options et de nombreux éditeurs d'expressions comprennent un menu de zone déroulante qui affiche une liste de tous les paramètres de substitution disponibles.

Le logiciel installe certains paramètres de substitution par défaut utilisés par des transformations Data

Quality. Par exemple, la transformation USA Regulatory Address Cleanse utilise les paramètres de substitution intégrés suivants :

• $$RefFilesAddressCleanse définit l'emplacement des répertoires address cleanse.

• $$ReportsAddressCleanse (activé sur Oui ou Non) active la collection de données pour la création de rapports avec les statistiques address cleanse. Ce paramètre de substitution indique l'emplacement où vous pouvez activer ou désactiver cette option pour tous les jobs du référentiel.

Les exemples suivants indiquent d'autres emplacements où vous pouvez utiliser des paramètres de substitution :

• Dans un script, par exemple :

Print('Data read in : [$$FilePath]'); or Print('[$$FilePath]');

• Dans un format de fichier, par exemple[$$FilePath]/file.txt comme nom de fichier.

2012-11-22

Variables et paramètres

13.8.2 Utilisation de l'éditeur de paramètres de substitution

Ouvrez l'"Editeur de paramètres de substitution" de Designer en sélectionnant Outils > Configurations

des paramètres de substitution. Utilisez l'éditeur de paramètres de substitution pour effectuer les tâches suivantes :

• Ajouter et définir un paramètre de substitution en ajoutant une nouvelle ligne dans l'éditeur.

• Pour chaque paramètre de substitution, utilisez les menus clic droit et les raccourcis clavier pour couper, copier, coller, supprimer et insérer des paramètres.

• Modifier l'ordre des paramètres de substitution en faisant glisser des lignes ou à l'aide des commandes

Couper, Copier, Coller et Insérer.

• Ajouter une configuration des paramètres de substitution en cliquant sur l'icône Créer une

configuration des paramètres de substitution dans la barre d'outils.

• Dupliquer une configuration des paramètres de substitution existante en cliquant sur l'icône Créer

une configuration des paramètres de substitution dupliquée.

• Renommer une configuration des paramètres de substitution en cliquant sur l'icône Renommer la

configuration des paramètres de substitution.

• Supprimer une configuration des paramètres de substitution en cliquant sur l'icône Supprimer la

configuration des paramètres de substitution.

• Réorganiser l'affichage des configurations en cliquant sur les icônes Trier les noms de configuration

par ordre croissant et Trier les noms de configuration par ordre décroissant.

• Déplacer la configuration par défaut de telle sorte qu'elle s'affiche en regard de la liste des paramètres de substitution en cliquant sur l'icône Déplacer la configuration par défaut vers l'avant.

• Modifier la configuration par défaut.

Rubriques associées

•

Ajout et définition de paramètres de substitution

13.8.2.1 Attribution de noms aux paramètres de substitution

Lorsque vous définissez des paramètres de substitution et leur attribuez des noms, utilisez les règles suivantes :

• Le préfixe de nom correspond à deux signes dollar $$ (les variables globales comportent un préfixe avec un signe dollar). Lorsque vous ajoutez de nouveaux paramètres de substitution dans l'éditeur de paramètres de substitution, l'éditeur ajoute automatiquement le préfixe.

316 2012-11-22

Variables et paramètres

• Lorsque vous saisissez des noms dans l'éditeur de paramètres de substitution, n'utilisez pas de ponctuation (ni guillemets ni crochets) sauf des traits de soulignement. Les caractères suivants ne sont pas autorisés :

,: / ' \ " = < > + | - * % ; \t [ ] ( ) \r \n $ ] +

• Vous pouvez saisir des noms directement dans des zones, des mappages de colonnes, des options de transformation etc. Cependant, vous devez les mettre entre crochets, par exemple,

[$$SamplesInstall].

• Les noms peuvent contenir tout caractère numérique ou alphanumérique ou des traits de soulignement mais pas d'espaces.

• Les noms ne sont pas sensibles à la casse.

• La longueur maximale d'un nom est de 64 caractères.

• Les noms doivent être uniques dans le référentiel.

13.8.2.2 Ajout et définition de paramètres de substitution

Dans Designer, ouvrez l'Editeur de paramètres de substitution en sélectionnant Outils >

Configurations des paramètres de substitution.

La première colonne liste les paramètres de substitution disponibles dans le référentiel. Pour en créer un, cliquez deux fois sur une cellule vide (une icône crayon s'affichera à gauche) et saisissez un nom. Le logiciel ajoute automatiquement un préfixe de sigle de double dollar ($$) au nom lorsque vous naviguez dans la cellule.

La deuxième colonne identifie le nom de la première configuration par défaut Configuration1 (vous pouvez modifier les noms de configuration en cliquant deux fois sur la cellule et en saisissant à nouveau le nom). Cliquez deux fois sur la cellule vide en regard du nom du paramètre de substitution et saisissez la valeur constante que représente le paramètre dans cette configuration. Le logiciel applique cette valeur lorsque vous exécutez le job.

Pour ajouter une autre configuration pour définir une deuxième valeur pour le paramètre de substitution, cliquez sur l'icône Créer configuration de paramètre de substitution dans la barre d'outils.

Saisissez un nom unique pour la nouvelle configuration de paramètre de substitution.

Saisissez la valeur qu'utilisera le paramètre de substitution pour cette configuration.

Vous pouvez maintenant sélectionner l'une des deux configurations de paramètre de substitution que vous venez de créer.

Pour modifier la configuration par défaut qui s'appliquera lorsque vous exécutez des jobs, sélectionnez-la dans la zone de liste déroulante en haut de la fenêtre.

Vous pouvez également exporter ces configurations de paramètre de substitution pour les utiliser dans d'autres environnements.

317 2012-11-22

Variables et paramètres

Exemple :

Dans l'exemple suivant, le paramètre de substitution $$NetworkDir a la valeur D:/Data/Staging dans la configuration nommée Windows_Subst_Param_Conf et la valeur /usr/data/staging dans la configuration UNIX_Subst_Param_Conf.

Notez que chaque configuration peut contenir plusieurs paramètres de substitution.

Rubriques associées

•

Attribution de noms aux paramètres de substitution

•

Exportation et importation de paramètres de substitution

13.8.3 Association d'une configuration des paramètres de substitution à une configuration système

Une configuration système regroupe un ensemble de configurations de banque de données et une configuration des paramètres de substitution. Une configuration des paramètres de substitution peut

être associée à une ou plusieurs configurations système. Par exemple, vous pouvez créer une configuration système pour votre système local et une configuration système différente pour un autre système. Selon votre environnement, les deux configurations système peuvent indiquer la même configuration des paramètres de substitution ou chaque configuration système peut nécessiter une configuration des paramètres de substitution différente.

Au cours de l'exécution d'un job, vous pouvez définir la configuration système et le job sera exécuté avec les valeurs de la configuration des paramètres de substitution associée.

318 2012-11-22

Variables et paramètres

Pour associer une configuration des paramètres de substitution à une nouvelle configuration du système ou une configuration système existante :

Dans Designer, ouvrez l'éditeur de configuration système en sélectionnant Outils > Configurations

système.

De manière facultative, créez une configuration système.

Sous le nom de la configuration système souhaité, sélectionnez une configuration des paramètres de substitution à associer à la configuration système.

Cliquez sur OK.

Exemple :

L'exemple suivant présente deux configurations système, Amérique et Europe. Dans ce cas, des configurations des paramètres de substitution existent pour chaque région (Europe_Subst_Parm_Conf and Americas_Subst_Parm_Conf). Chaque configuration des paramètres de substitution définit où les fichiers source de données sont situés pour cette région, par exemple D:/Data/Americas et

D:/Data/Europe. Sélectionnez la configuration des paramètres de substitution appropriée et les configurations de banque de données pour chaque configuration système.

Rubriques associées

•

Définition d'une configuration système

13.8.4 Remplacement d'un paramètre de substitution dans l'Administrateur

Dans l'Administrateur, vous pouvez remplacer les paramètres de substitution ou sélectionner une configuration système pour indiquer une configuration des paramètres de substitution sur quatre pages :

319 2012-11-22

Variables et paramètres

• Exécuter le job batch

• Planifier le job batch

• Commande de l'exécution de l'exportation

• Configuration du service en temps réel

Par exemple, la page Exécuter le job batch affiche le nom de la configuration système sélectionnée, la configuration des paramètres de substitution et le nom de chaque paramètre de substitution et sa valeur.

Pour remplacer un paramètre de substitution :

Sélectionnez la configuration système appropriée.

Sous Paramètres de substitution, cliquez sur Ajouter un paramètre ignoré qui affiche les paramètres de substitution disponibles.

Dans la liste déroulante, sélectionnez le paramètre de substitution à remplacer.

Dans la deuxième colonne, saisissez la valeur de remplacement. Saisissez la valeur comme une chaîne sans guillemets (contrairement aux variables globales).

Exécutez le job.

13.8.5 Exécution d'un job avec des paramètres de substitution

Pour voir les détails sur la façon dont les paramètres de substitution sont utilisés dans le job au cours de l'exécution dans le journal de suivi Designer :

Cliquez avec le bouton droit de la souris sur le nom de job et cliquez sur Propriétés.

Cliquez sur l'onglet Suivi.

Pour l'option Effectuer le suivi des assembleurs, définissez la valeur sur Oui.

Cliquez sur OK.

Lorsque vous exécutez un job à partir de Designer, la fenêtre Propriétés d'exécution s'affiche. Vous disposez des options suivantes :

• Dans l'onglet Options d'exécution du menu déroulant Configuration système, vous pouvez sélectionner la configuration système avec laquelle vous souhaitez exécuter le job. Si vous ne sélectionnez pas de configuration système, le logiciel applique la configuration des paramètres de substitution par défaut comme le définit l'éditeur de paramètres de substitution.

Vous pouvez cliquer sur Parcourir pour afficher la fenêtre "Sélectionner la configuration système" afin de voir la configuration des paramètres de substitution associée à chaque configuration système.

La fenêtre "Sélectionner la configuration système" est en lecture seule. Pour modifier une configuration système, cliquez sur Outils > Configurations système.

• Vous pouvez remplacer la valeur des paramètres de substitution spécifiques au moment de l'exécution. Cliquez sur l'onglet Paramètres de substitution, sélectionnez un paramètre de substitution dans la colonne Nom et saisissez une valeur en cliquant deux fois sur la cellule Valeur.

Pour remplacer les valeurs du paramètre de substitution, lorsque vous lancez un job via un service

Web, reportez-vous au Guide d'intégration.

320 2012-11-22

Variables et paramètres

Rubriques associées

•

Association d'une configuration des paramètres de substitution à une configuration système

•

Remplacement d'un paramètre de substitution dans l'Administrateur

13.8.6 Exportation et importation de paramètres de substitution

Les paramètres de substitution sont archivés dans un référentiel local avec leurs valeurs configurées.

Le logiciel ne comprend pas de paramètres de substitution en temps qu'élément d'une exportation normale. Vous pouvez cependant exporter des paramètres de substitution et des configurations vers d'autres référentiels en les exportant dans un fichier et en important le fichier dans un autre référentiel.

13.8.6.1 Exportation de paramètres de substitution

Cliquez avec le bouton droit de la souris sur la bibliothèque d'objets locale référentiel > Exporter

les configurations des paramètres de substitution.

Cochez la case de la colonne Exportation pour les configurations des paramètres de substitution

à exporter.

Sauvegardez le fichier.

Le logiciel le sauvegarde comme un fichier texte avec une extension .atl.

13.8.6.2 Importation de paramètres de substitution

Les paramètres de substitution doivent d'abord avoir été exportés dans un fichier ATL.

Tenez compte des comportements suivants lors de l'importation de paramètres de substitution :

• Le logiciel ajoute tous les nouveaux paramètres de substitution et les configurations au référentiel local de destination.

• Si le référentiel a un paramètre de substitution avec le même nom que celui du fichier exporté, l'importation écrasera la valeur du paramètre. De la même façon, si le référentiel a une configuration des paramètres de substitution avec le même nom que la configuration exportée, l'importation

écrasera toutes les valeurs de paramètre pour cette configuration.

Dans Designer, cliquez avec le bouton droit sur la bibliothèque d'objets et sélectionnez Référentiel

> Importer à partir du fichier.

Naviguez jusqu'au fichier à importer.

321 2012-11-22

Variables et paramètres

Cliquez sur OK.

Rubriques associées

•

Exportation de paramètres de substitution

322 2012-11-22

Exécution de jobs

Cette section contient une vue d'ensemble de l'exécution d'un job par le logiciel, les étapes pour exécuter les jobs, déboguer les erreurs et modifier les options du job server.

14.1 Vue d'ensemble d'une exécution de job

Il est possible d'exécuter les jobs de trois façons différentes. En fonction de vos besoins, vous pouvez configurer :

•

Jobs immédiats

Le logiciel lance les jobs batch et les jobs en temps réel, puis les exécute immédiatement depuis

Designer. Pour ces jobs, Designer et le Job Server désigné (où le job s'exécute, généralement plusieurs fois sur le même ordinateur) doivent être en cours d'exécution. Vous exécuterez probablement les jobs immédiats uniquement durant le cycle de développement.

•

Jobs planifiés

Les jobs batch sont planifiés. Pour planifier un job, utilisez l'Administrateur ou un planificateur tiers.

Lorsque les jobs sont planifiés par un logiciel tiers :

• Le job démarre en dehors du logiciel.

• Le job opère sur un job batch (ou script shell pour UNIX) qui a été exporté du logiciel.

Lorsqu'un job est appelé par un planificateur tiers :

• Le Job Server correspondant doit être en cours d'exécution.

• Designer n'a pas besoin d'être en cours d'exécution.

•

Services

Les jobs en temps réel sont configurés comme des services qui écoutent en continu les requêtes d'un serveur d'accès et traitent les requêtes à la demande dès leur réception. Utilisez l'Administrateur pour créer un service à partir d'un job en temps réel.

323 2012-11-22

Exécution de jobs

14.2 Préparation de l'exécution des jobs

14.2.1 Validation des jobs et des composants de jobs

Il est également possible de valider explicitement les jobs et leurs composants lors de leur création en :

Cliquant sur le bouton Tout valider dans la barre d'outils (ou en sélectionnantVa-

lider > Tous les objets de la vue depuis le menu Débogage). Cette commande contrôle la syntaxe de la définition d'objet pour l'espace de travail actif et pour tous les objets qui sont appelés de façon récursive depuis la vue de l'espace de travail actif.

En cliquant sur le bouton Valider l'affichage en cours dans la barre d'outils (ou en sélectionnant Valider > Vue actuelle depuis le menu Débogage. Cette commande contrôle la syntaxe de la définition d'objet pour l'espace de travail actif.

Vous pouvez définir les options de Designer (Outils > Options > Designer > Général) pour valider les jobs démarrés dans Designer avant l'exécution du job. Le paramètre par défaut est de ne pas valider.

Le logiciel valide également les jobs avant de les exporter.

Si lors de la validation le logiciel découvre une erreur dans la définition d'objet, il ouvre une boîte de dialogue indiquant qu'une erreur existe, puis il ouvre la fenêtre Sortie pour afficher l'erreur.

S'il existe des erreurs, double-cliquez sur l'erreur dans la fenêtre Sortie pour ouvrir l'éditeur de l'objet contenant l'erreur.

Si vous ne pouvez pas lire le texte d'erreur complet dans la fenêtre, vous pouvez accéder à des informations supplémentaires en faisant un clic droit sur la liste des erreurs et en sélectionnant Afficher depuis le menu contextuel.

Les messages d'erreur ont les niveaux de gravité suivants :

Gravité Description

Information

Message d'information uniquement ; n'empêche pas le job d'exécuter. Aucune action n'est requise.

324 2012-11-22

Exécution de jobs

Gravité

Avertissement

Erreur

Description

L'erreur n'est pas assez grave pour arrêter l'exécution du job, mais il est possible que vous obteniez des résultats imprévus. Par exemple, si le type de données d'une colonne source dans une transformation dans un flux de données ne correspond pas au type de données d'une colonne cible dans une transformation, le logiciel vous alerte avec un message d'avertissement.

L'erreur est assez gave pour arrêter l'exécution du job. Vous devez réparer l'erreur avant que le job exécute.

14.2.2 S'assurer que le Job Server est en cours d'exécution

Avant d'exécuter un job (comme une tâche immédiate ou planifiée), assurez-vous que le Job Server est associé avec le référentiel dans lequel le client exécute.

Lorsque Designer démarre, il affiche le statut du Job Server pour le référentiel auquel vous êtes connecté.

Icône Description

Le Job Server est en cours d'exécution

Le Job Server est inactif

Le nom du Job Server actif et le numéro du port apparaissent dans la barre de statut lorsque le curseur se trouve sur l'icône.

14.2.3 Paramétrage des options d'exécution du job

Les options pour les jobs incluent le débogage et le suivi. Bien qu'il s'agisse d'options d'objet (elles affectent la fonction de l'objet), elles se trouvent soit dans la fenêtre Propriété soit dans la fenêtre

Exécution associée avec le job.

Les options d'exécution pour les jobs peuvent être définies pour une instance unique ou comme une valeur par défaut.

325 2012-11-22

Exécution de jobs

• Le menu clic droit Exécuter définit les options pour une exécution unique seulement et remplace les paramètres par défaut

• Le menu clic droit Propriétés définit les paramètres par défaut

14.2.3.1 Définir les options d'exécution pour chaque exécution du job

Dans la zone Projet, faites un clic droit sur le nom du job et sélectionnez Propriétés.

Sélectionnez les options sur la fenêtre Propriétés.

Rubriques associées

•

Affichage et modification des propriétés des objets

• Guide de référence : paramètres

• Guide de référence : propriétés de suivi

•

Définition de valeurs de variables globales

14.3 Exécution des jobs comme des tâches immédiates

Les tâches immédiates ou "à la demande" sont initiées depuis Designer. Designer et le Job Server doivent être tous deux en cours d'exécution pour que le job s'exécute.

14.3.1 Pour exécuter un job comme une tâche immédiate

Dans la zone de projet, sélectionnez le nom du job.

Cliquez avec le bouton droit et sélectionnez Exécuter.

Le logiciel vous invite à enregistrer tous les objets qui comportent des modifications qui n'ont pas

été enregistrées.

L'étape suivante est différente si la case Procéder à une validation complète avant l'exécution

du job est cochée dans les Options de Designer :

• Si vous n'avez pas sélectionné cette case à cocher, une fenêtre s'ouvre et affiche les propriétés d'exécution (débogage et suivi) pour le job. Passez à l'étape suivante.

• Si vous avez sélectionné cette case à cocher, le logiciel valide le job avant son exécution. Vous devez corriger toutes les erreurs graves avant l'exécution du job. Il est possible également que des messages d'avertissement apparaissent, comme par exemple des messages qui indiquent

326 2012-11-22

Exécution de jobs que les valeurs de date seront converties en valeurs date-heure. Corrigez-les si vous le souhaitez

(ils n'empêchent pas l'exécution du job) ou cliquez sur OK pour continuer. Après la validation du job, une fenêtre s'ouvre et affiche les propriétés d'exécution (débogage et suivi) pour le job.

Définissez les propriétés d'exécution.

Vous pouvez sélectionner le Job Server de votre choix pour traiter ce job, les profils de banque de données pour les sources et cibles le cas échéant, activer une récupération automatique, remplacer les propriétés de suivi par défaut ou sélectionner des variables globales lors de l'exécution.

Pour plus d'informations, consultez :

Remarque :

La configuration des propriétés d'exécution affecte ici une modification temporaire pour l'exécution en cours uniquement.

Cliquez sur OK.

Dès que le logiciel débute l'exécution, la fenêtre d'exécution s'ouvre avec le bouton du journal de suivi actif.

Utilisez les boutons en haut de la fenêtre du journal pour afficher le journal de suivi, le journal de surveillance et le journal des erreurs (s'il existe des erreurs).

Une fois le job terminé, utilisez un outil de requête RDBMS pour contrôler les contenus de la table ou du fichier cible.

Rubriques associées

•

Designer : généralités

• Guide de référence : paramètres

• Guide de référence : propriétés de suivi

•

Définition de valeurs de variables globales

•

Débogage des erreurs d'exécution

•

Examen des données cibles

14.3.2 Onglet Surveillance

L'onglet Surveillance liste les journaux de suivi de toutes les exécutions d'un job en cours ou les plus récentes.

Les icônes des feux de signalisation dans l'onglet Surveillance ont les significations suivantes :

• Un feu vert indique que le job est en cours d'exécution

Il est possible de faire un clic droit et de sélectionner Supprimer le job pour arrêter un job qui est toujours en cours d'exécution.

• Un feu rouge indique que le job est arrêté

327 2012-11-22

Exécution de jobs

Il est possible de faire un clic droit et de sélectionner Propriétés pour ajouter une description pour un journal de suivi spécifique. Cette description est enregistrée avec le journal auquel il est possible d'accéder ultérieurement par l'onglet Journal.

• Une croix rouge indique que le job a rencontré une erreur

14.3.3 Onglet Journal

Il est également possible de sélectionner l'onglet Journal pour afficher l'historique du journal de suivi d'un job.

Cliquez sur le journal de suivi pour l'ouvrir dans l'espace de travail.

Utilisez les icônes du journal de suivi, de surveillance et des erreurs (de gauche à droite en haut de la fenêtre d'exécution du job dans l'espace de travail) pour afficher chaque type de journal disponible pour la date et heure à laquelle le job a été exécuté.

14.4 Débogage des erreurs d'exécution

Les tables suivantes listent les outils qui peuvent vous aider à comprendre les erreurs d'exécution :

Outil

Journal de suivi

Journal de surveillance

Journal des erreurs

Données cible

Définition

Enumère les étapes exécutées dans le job et l'heure à laquelle l'exécution a commencé et terminé.

Affiche chaque étape de chaque flux de données dans le job, le nombre de lignes qui se déplacent dans chaque étape, et la durée de chaque étape.

Affiche le nom de l'objet qui était exécuté au moment où une erreur s'est produite, et le texte du message d'erreur obtenu. Si le job a exécuté par rapport aux données SAP, certaines erreurs ABAP sont aussi disponibles dans le journal des erreurs.

Examine toujours les données cibles pour voir si le job a produit les résultats attendus.

Rubriques associées

•

Utilisation des journaux

328 2012-11-22

Exécution de jobs

•

Examen des journaux de suivi

•

Examen des journaux de surveillance

•

Examen des journaux des erreurs

•

Examen des données cibles

14.4.1 Utilisation des journaux

Cette section décrit la manière d'utiliser les journaux dans Designer.

• Pour ouvrir le journal de suivi à l'exécution du job, sélectionnez Outils > Options > Designer >

Général > Ouvrir le moniteur à l'exécution du job.

• Pour copier le contenu du journal à partir d'un journal ouvert, sélectionnez une ou plusieurs lignes et utilisez les commandes clés [Ctrl+C].

14.4.1.1 Accéder à un journal lors de l'exécution du job

Si Designer est exécuté lors de l'exécution du job, la fenêtre d'exécution s'ouvre automatiquement et affiche les informations du journal de suivi.

Utilisez les icônes du moniteur et du journal des erreurs (icônes du milieu et de droite en haut de la fenêtre d'exécution) pour afficher ces journaux.

La fenêtre d'exécution reste ouverte jusqu'à ce que vous la fermiez.

14.4.1.2 Accéder à un journal après que la fenêtre d'exécution a été fermée

Dans la zone du projet, cliquez sur l'onglet Journal.

Cliquez sur un nom de job pour afficher tous les fichiers des journaux de suivi, de surveillance et des erreurs dans l'espace de travail. Ou développez le job qui vous intéresse pour afficher la liste des fichiers du journal de suivi et cliquez sur l'un d'entre eux.

Les indicateurs de journal signifient les éléments suivants :

329 2012-11-22

Exécution de jobs

Indicateur du journal de job

Description

Indique que le job a exécuté avec succès sur le Job Server explicitement sélectionné.

Indique que job a été exécuté avec succès par un groupe de serveurs.

Le Job Server listé a exécuté le job.

Indique que le job a rencontré une erreur sur le Job Server explicitement sélectionné.

Indique que le job a rencontré une erreur alors qu'il était exécuté par un groupe de serveurs. Le Job Server listé a exécuté le job.

Cliquez sur l'icône du journal pour l'exécution du job qui vous intéresse. (Identifiez l'exécution à partir du poste dans la séquence ou de l'horodatage.)

Utilisez la zone de liste pour passer d'un type de journal à un autre ou pour afficher Aucun journal ou Tous les journaux.

14.4.1.3 Supprimer un journal

Il est possible de configurer la durée durant laquelle un journal doit être gardé dans l'Administrateur.

Si vous souhaitez supprimer manuellement les journaux de Designer :

Dans la zone du projet, cliquez sur l'onglet Journal.

Faites un clic droit sur le journal que vous souhaitez supprimer et sélectionnez Supprimer le journal.

Rubriques associées

• Guide d'administration : configuration de la période de rétention d'un journal

14.4.1.4 Examen des journaux de suivi

Utilisez les journaux de suivi pour déterminer à quel endroit une exécution a échoué, si les étapes d'exécution se sont produites dans l'ordre attendu, et quelles parties de l'exécution prennent le plus de temps.

330 2012-11-22

Exécution de jobs

14.4.1.5 Examen des journaux de surveillance

Le journal de surveillance quantifie les activitiés des composants du job. Il fait une liste du temps passé sur un composant donné d'un job et du nombre de lignes de données qui se déplacent par ce composant.

14.4.1.6 Examen des journaux des erreurs

Le logiciel produit un journal des erreurs pour chaque exécution de job. Utilisez les journaux des erreurs pour déterminer la manière dont une exécution a échoué. Si l'exécution s'est terminée sans erreur, le journal des erreurs est vide.

14.4.2 Examen des données cibles

La meilleure mesure de la réussite d'un job est l'état des données cibles. Examinez toujours les données pour vous assurer que l'opération de mouvement des données a produit les résultats que vous attendiez.

Assurez-vous que :

• Les données n'aient pas été tronquées ou converties dans des types incompatibles.

• Les données n'aient pas été dupliquées dans la cible.

• Les données ne se soient pas perdues entre les mises à jour de la cible.

• Les clés générées aient été correctement incrémentées.

• Les valeurs mises à jour aient été correctement gérées.

14.5 Modification des options du Job Server

Familiarisez-vous avec les aspects les plus techniques de la gestion des données effectuée par le logiciel (à l'aide du

Guide de référence) et certaines de ses interfaces comme celles pour les adaptateurs et les applications SAP.

Il existe de nombreuses options disponibles dans le logiciel pour le dépannage et l'ajustement d'un job.

331 2012-11-22

Exécution de jobs

Option Description de l'option Valeur par défaut

Adapter Data Exchange

Time-out

(Pour les adaptateurs). Définit la durée durant laquelle un appel de fonction ou un message sortant attend une réponse de l'opération de l'adaptateur.

10800000

(3 heures)

Adapter Start Time-out

(Pour les adaptateurs). Définit la durée durant laquelle l'Administrateur ou Designer attend une réponse du

Job Serveur qui gère les adaptateurs (démarrage/arrêt/statut).

90000 (90 secondes)

AL_JobServerLoadBalan ceDebug

Permet à un Job Serveur de noter les informations du groupe de serveurs si la valeur est définie sur VRAI.

Les informations sont enregistrées dans : $LI

NK_DIR/log/<JobServerName>/server_event log.txt

FAUX

AL_JobServerLoadOSPol ling

Définit l'intervalle d'interrogation (en secondes) que le logiciel utilise pour obtenir les informations sur le statut utilisées pour calculer l'index d'équilibrage de chargement. Cet index est utilisé par des groupes de serveurs.

Display DI Internal Jobs

Affiche la banque de données interne du logiciel,

CD_DS_d0cafae2, et les jobs associés dans la bibliothèque d'objets. La banque de données

CD_DS_d0cafae2 prend en charge deux jobs internes.

Le premier calcule les dépendances d'utilisation sur les tables de référentiel, et le deuxième met à jour les configurations du groupe de serveurs.

Si vous modifiez le mot de passe du référentiel, le nom d'utilisateur ou d'autres informations de connexion, remplacez la valeur par défaut de cette option par VRAI, fermez et rouvrez Designer, puis mettez à jour la configuration de banque de données

CD_DS_d0cafae2 pour qu'elle corresponde à la nouvelle configuration du référentiel. Cela permet au job de calcul des dépendances d'utilisation

(CD_JOBd0cafae2) et au job du groupe de serveurs

(di_job_al_mach_info) d'exécuter sans aucune erreur de connexion.

FAUX

FTP Number of Retry

Définit le nombre de tentatives pour une connexion au FTP qui échoue initialement.

332 2012-11-22

Exécution de jobs

Option

FTP Retry Interval

Global_DOP

Ignore Reduced Msg

Type

Description de l'option Valeur par défaut

Définit l'intervalle de tentative de connexion au FTP en millisecondes.

1000

Définit le degré de parallélisme pour tous les flux de données exécutés par un Job Server donné. Il est

également possible de définir le Degré de paralléli-

sme pour les flux de données individuellement à partir de la fenêtre Propriétés de chaque flux de données.

Si la valeur de Degré de parallélisme d'un flux de données est 0, alors le Job Server utilise la valeur

Global_DOP. Le Job Server utilise la valeur Degré de

parallélisme du flux de données si elle est définie sur une autre valeur que 0 car elle remplace la valeur

Global_DOP.

(Pour les applications SAP). Désactive le traitement du type de message réduit IDoc pour tous les types de message si la valeur est définie sur VRAI.

FAUX

Ignore Reduced Msg

Type_foo

Splitter Optimization

(Pour les applications SAP). Désactive le traitement du type de message réduit IDoc pour un type de message spécifique (tel quefoo) si la valeur est définie sur VRAI.

FAUX

OCI Server Attach Retry

Le moteur appelle la fonction OCIServerAttach d'Oracle chaque fois qu'il établit une connexion avec

Oracle. Si le moteur appelle cette fonction trop rapidement (en traitant des flux de données parallèles par exemple), la fonction peut échouer. Pour corriger cette erreur, augmenter la valeur de tentative à 5.

Le logiciel peut se bloquer si vous créez un job dans lequel une source de fichier alimente deux requêtes.

Si cette option est définie sur VRAI, le moteur crée en interne deux fichiers sources qui alimentent les deux requêtes au lieu d'un séparateur qui alimente les deux requêtes.

FAUX

333 2012-11-22

Exécution de jobs

Option Description de l'option Valeur par défaut

Use Explicit Database Links

Les jobs avec des liens de base de données normalement importés font preuve d'une performance améliorée car le logiciel utilise ces liens pour pousser vers le bas le traitement vers une base de données. Si vous définissez cette option sur FAUX, aucun flux de données n'utilise les banques de données liées.

L'utilisation des banques de données liées peut également être désactivée depuis n'importe qu'elle boîte de dialogue des propriétés des flux de données.

L'option de niveau du flux de données a la priorité sur cette option de niveau du Job Server.

VRAI

Use Domain Name

Ajoute un nom de domaine à un nom de Job Server dans le référentiel. Cet ajout crée un nom de serveur complet et permet à Designer de localiser un Job

Server sur un domaine différent.

VRAI

Rubriques associées

• Guide d'optimisation de la performance : utilisation d'exécution parallèle, degré de parallélisme

14.5.1 Modifier les valeurs d'option pour un Job Server individuel

Sélectionnez le Job Server avec lequel vous souhaitez travailler en le configurant comme Job Server par défaut.

Sélectionnez Outils > Options > Designer > Environnement.

Sélectionnez un Job Server dans la section Job server par défaut.

Cliquez sur OK.

Sélectionnez Outils > Options > Job Server > Général.

334 2012-11-22

Exécution de jobs int

AL_JobServer

AL_JobServer string

AL_Engine

Repository

Section

Saisissez la section et la clé que vous souhaitez utiliser dans la liste suivante des paires de valeurs :

Clé

int AdapterDataExchangeTimeout

AdapterStartTimeout

AL_JobServerLoadBalanceDebug

AL_JobServerLoadOSPolling

DisplayDIInternalJobs

FTPNumberOfRetry

FTPRetryInterval

Global_DOP

IgnoreReducedMsgType

IgnoreReducedMsgType_foo

OCIServerAttach_Retry

SPLITTER_OPTIMIZATION

UseExplicitDatabaseLinks

UseDomainName

335 2012-11-22

Exécution de jobs

Saisissez une valeur.

Par exemple, saisissez les informations suivantes pour modifier la valeur par défaut du nombre de fois qu'un Job Serveur retente d'établir une connexion au FTP s'il a initialement échoué.

Option

Section

Clé

Valeur

Exemple de valeur

AL_Engine

FTPNumberOfRetry

Ces paramètres modifient la valeur par défaut pour l'option FTPNumberOfRetry passant de zéro à deux.

Pour enregistrer les paramètres et fermer la fenêtre Options, cliquez sur OK.

Sélectionnez à nouveau un Job Serveur par défaut en répétant l'étape 1, si besoin.

14.5.2 Utilisation des noms de lecteurs mappés dans un chemin d'accès

Le progiciel prend uniquement en compte les chemins d'accès au format UNC (Universal Naming

Convention) pour les répertoires. Si vous configurez un chemin d'accès pour un lecteur mappé, le progiciel convertit le lecteur en question dans son équivalent UNC.

Pour éviter que votre lecteur mappé ne soit reconverti en chemin d'accès UNC, vous devez ajouter les noms des lecteurs dans la fenêtre "Options" de Designer.

Sélectionnez Outils > Options.

Dans la fenêtre "Options", développez Job Server et sélectionnez Général.

Dans la zone d'édition Section, saisissez MappedNetworkDrives.

Dans la zone d'édition Clé, saisissez LecteurLocal1 pour établir le mappage avec un lecteur local ou LecteurDistant1 pour établir le mappage avec un lecteur distant.

Dans la zone d'édition Valeur, saisissez une lettre de lecteur, comme M:\ pour un lecteur local ou

\\<nom_ordinateur>\<nom_partage> pour un lecteur distant.

Pour fermer la fenêtre, cliquez sur OK.

Si vous voulez ajouter un autre lecteur mappé, vous devez fermer la fenêtre "Options" et recommencer la saisie. Veillez à ce que chaque entrée dans la zone d'édition Clé corresponde à un nom unique.

336 2012-11-22

Evaluation des données

337

Puisque les systèmes opérationnels changent fréquemment, le contrôle de la qualité des données devient critique dans vos jobs d'extraction, de transformation et de chargement (ETL). Designer propose des contrôles de qualité des données qui agissent comme un pare-feu pour identifier et réparer les erreurs dans les données. Ces fonctionnalités peuvent aider à s'assurer que vous avez des informations fiables.

Vous pouvez utiliser les fonctionnalités suivantes proposées par Designer pour déterminer et améliorer la qualité et la structures de vos données source :

• Utilisation du Profileur de données pour déterminer :

• La qualité des données source avant de les extraire. Le Profileur de données peut identifier les anomalies dans les données sources pour vous aider à mieux définir des mesures de correction pour la transformation Validation, Data Quality ou pour d'autres transformations.

• La distribution, la relation et la structure des données sources pour mieux concevoir les jobs et les flux de données, ainsi que l'entrepôt de données cible.

• Le contenu des données sources et cibles pour pouvoir vérifier que le job d'extraction des données renvoie les résultats attendus.

• Utilisation de la fonctionnalité Afficher les données pour :

• Afficher les données sources avant d'exécuter un job pour vous aider à créer des conceptions de job de meilleure qualité.

• Comparer les exemples de données des différentes étapes du job pour vérifier que le job d'extraction des données renvoie les résultats attendus.

• Utiliser la fonctionnalité Affichage des données lors de la conception pour afficher et analyser l'entrée et la sortie pour un jeu de données en temps réel lors de la conception d'une transformation avant même que le flux de données soit terminé ou valide.

• Utilisation la transformation Validation pour :

• Vérifier que les données sources répondent à vos règles d'entreprise.

• Prendre des mesures appropriées lorsque les données ne répondent pas aux règles d'entreprise.

• Utilisation de la fonctionnalité d'audit du flux de données pour :

• Définir des règles qui déterminent si une source, une transformation ou un objet cible traite les données correctes.

• Définir les mesures à prendre lorsqu'une règle d'audit échoue.

• Utilisation des transformations de qualité des données pour améliorer la qualité des données.

2012-11-22

Evaluation des données

• Utilisation des tableaux de bords Validation des données dans l'outil de rapports de métadonnées pour évaluer l'exactitude des données cibles en fonction des règles de validation créées dans les jobs batch. Ce retour permet aux utilisateurs professionnels de réviser, d'évaluer et d'identifier rapidement les incohérences ou les erreurs potentielles dans les données sources.

Rubriques associées

•

Utilisation du Profileur de données

•

Utilisation de l'affichage des données pour déterminer la qualité des données

•

Utilisation de l'affichage des données lors de la conception

•

Utilisation de la transformation Validation

•

Utilisation de l'Audit

•

Présentation de la qualité des données

• Guide Management Console Guide : rapports de tableaux de bords de validation des données

15.1 Utilisation du Profileur de données

Le Profileur de données exécute sur un serveur de profileur pour fournir les informations de profileur de données suivantes qui peuvent être vues par plusieurs utilisateurs :

• Analyse de colonne : le Profileur de données fournit deux types de profils de colonne :

• Profilage de base : cette information inclut la valeur minimale, la valeur maximale, la valeur moyenne, la longueur minimale de la chaîne et la longueur maximale de la chaîne.

• Profilage détaillé : l'analyse de colonne détaillée inclut le nombre distinct, le pourcentage distinct, la médiane, la longueur médiane de la chaîne, le nombre modèle et le pourcentage modèle.

• Analyse de relation : cette information identifie les incohérences de données entre deux colonnes pour lesquelles vous définissez une relation, y compris les colonnes qui ont une clé primaire existante et une relation de la clé étrangère. Il est possible d'enregistrer deux niveaux de données :

• Enregistrez les données uniquement dans les colonnes que vous avez sélectionnées pour la relation.

• Enregistrez les valeurs dans toutes les colonnes dans chaque ligne.

15.1.1 Sources de données qu'il est possible de profiler.

Il est possible d'exécuter le Profileur de données sur les données contenues dans les sources suivantes :

Voir les Notes de version pour la liste complète des sources prises en charge par le Profileur de données.

• Bases de données, ce qui inclut :

338 2012-11-22

Evaluation des données

• Connecteur Attunity pour les bases de données sur l'ordinateur central

• DB2

• Oracle

• SQL Server

• Sybase IQ

• Teradata

• Applications, ce qui inclut :

• One World de JD Edwards

• JD Edwards World

• Applications Oracle

• PeopleSoft

• Applications SAP

• SAP Master Data Services

• SAP NetWeaver Business Warehouse

• Siebel

• Fichiers plats

15.1.2 Connexion au serveur du profileur

Vous devez installer et configurer le serveur du profileur avant de pouvoir utiliser le Profileur de données.

Designer doit être connecté au serveur du profileur pour exécuter le Profileur de données et afficher ses résultats. Vous fournissez cette information de connexion sur la fenêtre Connexion au serveur du profileur.

Utilisez l'une des méthodes suivantes pour appeler la fenêtre Connexion au serveur du profileur.

• Depuis le menu de la barre d'outils, sélectionnez Outils > Connexion au serveur du profileur.

• Sur la barre de statut en bas, double-cliquez sur l'icône Serveur du profileur qui se trouve à droite de l'icône Job server.

Saisissez vos informations de connexion pour le CMS.

•

Système

Indiquez le nom du serveur et éventuellement le port pour le CMS.

•

Nom d'utilisateur

Indiquez le nom d'utilisateur à utiliser pour se connecter au CMS.

•

Mot de passe

339 2012-11-22

Evaluation des données

Indiquez le mot de passe à utiliser pour se connecter au CMS.

•

Authentification

Indiquez le type d'authentification utilisé par le CMS.

Cliquez sur Se connecter.

Le logiciel essaye de se connecter au CMS à l'aide des informations indiquées. Lorsque vous vous connectez avec succès, la liste des référentiels du profileur qui sont à votre disposition est affichée.

Sélectionnez le référentiel que vous souhaitez utiliser.

Cliquez sur OK pour vous connecter à l'aide du référentiel sélectionné.

Lorsque vous vous connectez avec succès au serveur du profileur, l'icône Serveur du profileur sur la barre de statut en bas n'a plus le signe X rouge dessus. De plus, lorsque vous déplacez le pointeur sur l'icône, la barre de statut affiche l'emplacement du serveur du profileur.

Rubriques associées

• Guide Management Console Guide : gestion du serveur du profileur

• Guide d'administration : gestion des utilisateurs et des droits

15.1.3 Statistiques du profileur

340

15.1.3.1 Profil de colonne

Il est possible de générer des statistiques pour une ou plusieurs colonnes. Les colonnes peuvent toutes appartenir à une source de données ou à plusieurs sources de données. Dans le cas d'une génération de statistiques pour plusieurs sources dans une tâche du profileur, toutes les sources doivent être dans la même banque de données.

Profilage de base

Par défaut, le Profileur de données génère les attributs de profileur de base suivants pour chaque colonne sélectionnée.

Attribut de base

Min.

Nombre min.

Max.

Description

La valeur la plus basse dans cette colonne.

Nombre de lignes qui contiennent la valeur la plus basse dans cette colonne.

La valeur la plus élevée dans cette colonne.

2012-11-22

Evaluation des données

Attribut de base

Nombre max.

Moyenne

Longueur minimale de la chaîne

Longueur maximale de la chaîne

Longueur moyenne de la chaîne

Valeurs nulles

% de valeurs nulles

Zéros

% de zéros

Vides

% de vides

Description

Nombre de lignes qui contiennent la valeur la plus élevée dans cette colonne.

Pour les colonnes numériques, la valeur moyenne dans cette colonne.

Pour les colonnes avec des caractères, la longueur de la valeur de chaîne la plus courte dans cette colonne.

Pour les colonnes avec des caractères, la longueur de la valeur de chaîne la plus longue dans cette colonne.

Pour les colonnes avec des caractères, la longueur moyenne des valeurs de chaîne dans cette colonne.

Nombre de valeurs nulles dans cette colonne.

Pourcentage de lignes contenant une valeur nulle dans cette colonne.

Nombre de valeurs 0 dans cette colonne.

Pourcentage de lignes contenant une valeur 0 dans cette colonne.

Pour les colonnes avec des caractères, le nombre de lignes qui contiennent un vide dans cette colonne.

Pourcentage de lignes contenant un vide dans cette colonne.

Profilage détaillé

Il est possible de générer plusieurs attributs détaillés en plus des attributs ci-dessus, mais la génération d'attributs détaillés consomme plus de temps et de ressources de l'ordinateur. Par conséquent, il est recommandé de ne pas sélectionner le profil détaillé à moins d'avoir besoin des attributs suivants :

Attribut détaillé

Médiane

Description

La valeur qui se trouve dans la ligne du milieu de la table source.

Longueur médiane de la chaîne

Distincts

Pour les colonnes avec des caractères, la valeur qui se trouve dans la ligne du milieu de la table source.

Nombre de valeurs distinctes dans cette colonne.

% de distincts

Modèles

% de modèle

Pourcentage de lignes contenant chaque valeur distincte dans cette colonne.

Nombre des différents modèles dans cette colonne.

Pourcentage de lignes contenant chaque modèle dans cette colonne.

341 2012-11-22

Evaluation des données

Exemples d'utilisation des statistiques de profilage de colonne pour améliorer la qualité des données

Il est possible d'utiliser les attributs de profil de colonnes pour vous aider dans les différentes tâches, y compris les tâches suivantes :

• Obtenir des statistiques, des fréquences, des plages et des valeurs hors normes de base. Par exemple, ces statistiques de profilage peuvent indiquer qu'une valeur de colonne est notamment plus élevée que les autres valeurs dans la source de données. Il est possible que vous décidiez alors de définir une transformation Validation pour activer un indicateur dans une table différente avant de charger cette valeur hors normes dans la table cible.

• Identifier des variantes du même contenu. Par exemple, le numéro de référence peut être un type de données integer dans une source de données, et un type de données varchar dans une autre source de données. Il est possible que vous décidiez alors quel type de données vous souhaitez utiliser dans votre entrepôt de données cible.

• Découvrir des modèles et des formats de données. Par exemple, les statistiques de profilage peuvent indiquer que le numéro de téléphone se trouve sous des formats différents. Avec ces informations de profil, il est possible que vous décidiez de définir une transformation Validation pour toutes les convertir afin qu'elles utilisent le même format cible.

• Analyser la plage numérique. Par exemple, le numéro de client peut avoir une plage de chiffres dans une source, et une plage différente dans une autre source. La cible requiert d'avoir un type de données qui s'adapte à la plage maximale.

• Identifier les informations manquantes, les valeurs nulles et les vides dans le système source. Par exemple, les statistiques de profilage peuvent indiquer que les valeurs nulles apparaissent pour les numéros de fax. Il est possible que vous décidiez alors de définir une transformation Validation pour replacer la valeur nulle avec une phrase telle que "Inconnu" dans la table cible.

Rubriques associées

•

Affichage des attributs de colonne générés par le profileur de données

•

Soumission des tâches du profileur de colonnes

15.1.3.2 Profil de relation

Un profil de relation indique le pourcentage des valeurs non correspondantes dans les colonnes des deux sources. Les sources incluent :

• Tables

• Fichiers plats

• Une combinaison d'une table et d'un fichier plat

342 2012-11-22

Evaluation des données

Les colonnes clés peuvent avoir une clé primaire et une relation de la clé étrangère définies, ou elles peuvent n'avoir aucun lien (si l'une d'elle provient d'une banque de données et l'autre d'un format de fichier).

Il est possible de choisir entre deux niveaux de profils de relation à enregistrer :

•

Enregistrer uniquement les données de colonnes clés

Par défaut, le Profileur de données enregistre uniquement les données des colonnes que vous avez sélectionnées pour la relation.

Remarque :

Le niveau Enregistrer uniquement les données de colonnes clés n'est pas disponible avec l'utilisation des banques de données Oracle.

•

Enregistrer toutes les données de colonnes

Il est possible d'enregistrer les valeurs des autres colonnes dans chaque ligne, mais ce processus prend plus de temps et consomme plus de ressources d'ordinateur.

Lorsque vous affichez les résultats du profil de relation, vous pouvez descendre dans la hiérarchie pour voir les données réelles qui ne correspondent pas.

Il est possible d'utiliser le profil de relation pour vous aider dans les différentes tâches, y compris les tâches suivantes :

• Identifier les données manquantes dans le système source. Par exemple, une source de données peut inclure la région, mais il est possible que ce ne soit pas le cas d'une autre source.

• Identifier les données redondantes dans les sources de données. Par exemple, il est possible qu'il existe des noms et des adresses en double entre deux sources, ou qu'aucun nom n'existe pour une adresse dans une source.

• Valider les relations dans les sources de données. Par exemple, deux systèmes de suivi des problèmes différents peuvent inclure un sous-ensemble de problèmes signalés par le client, mais certains problèmes existent uniquement dans un système ou dans l'autre.

Rubriques associées

•

Soumission des tâches du profileur de relations

•

Affichage des résultats du profileur

15.1.4 Exécution d'une tâche du profileur

Le profileur de données permet de calculer les statistiques du profileur pour tous les ensembles de colonnes sélectionnés.

343 2012-11-22

Evaluation des données

Remarque :

Cette fonctionnalité facultative n'est pas disponible pour les colonnes avec des schémas imbriqués, ou les types de données LONG ou TEXT.

Il est impossible d'exécuter une tâche du profileur de la colonne avec une tâche du profileur de la relation.

15.1.4.1 Soumission des tâches du profileur de colonnes

Dans la bibliothèque d'objets de Designer, vous pouvez sélectionner une table ou un fichier plat.

Pour une table, accédez à l'onglet "Banques de données" et sélectionnez une table. Pour profiler toutes les tables d'une banque de données, sélectionnez le nom de celle-ci. Pour sélectionner un sous-ensemble de tables dans l'onglet "Banques de données", maintenez la touche Ctrl enfoncée en sélectionnant chaque table.

Pour un fichier plat, accédez à l'onglet "Formats" et sélectionnez un fichier.

Après avoir sélectionné la source de données, vous pouvez générer des statistiques de profil de colonne selon une des méthodes suivantes :

• Cliquez avec le bouton droit et sélectionnez Soumettre la demande de profil de la colonne.

Le calcul de certaines statistiques de profil peut durer longtemps. Sélectionnez cette méthode pour que la tâche du profileur s'exécute de manière asynchrone et que vous puissiez lancer d'autres tâches Designer pendant l'exécution de la tâche du profileur.

Cette méthode permet également de profiler plusieurs sources en une seule tâche du profileur.

• Cliquez avec le bouton droit, sélectionnez Afficher les données, cliquez sur l'onglet "Profil", puis sur Mettre à jour. Cette option soumet une tâche du profileur synchrone et vous devez attendre qu'elle soit terminée pour pouvoir lancer d'autres tâches dans Designer.

Vous pouvez éventuellement utiliser cette option si vous êtes déjà dans la fenêtre "Afficher les données" et que vous remarquez que les statistiques de profil n'ont pas encore été générées ou que la date où elles l'ont été est antérieure à vos besoins.

(Facultatif) Modifiez le nom de la tâche du profileur.

Le profileur de données génère un nom par défaut pour chaque tâche du profileur. Vous pouvez modifier le nom de la tâche afin de créer un nom plus significatif, un nom unique ou supprimer les tirets qui sont autorisés dans les noms des colonnes, mais pas dans ceux des tâches.

Si vous sélectionnez une source unique, le format du nom par défaut est le suivant :

nomutilisateur_t_nomsource

Si vous sélectionnez plusieurs sources, le format du nom par défaut est le suivant :

nomutilisateur_t_nompremièresource_nomdernièresource

344 2012-11-22

Evaluation des données

345 t

Colonne

nomutilisateur nompremièresource nomdernièresource

Description

Nom d'utilisateur utilisé par le progiciel pour accéder aux services système.

Type de profil. La valeur est C pour le profil de colonne qui obtient des attributs (comme valeur faible et valeur élevée) pour chaque colonne sélectionnée.

Nom de la première source par ordre alphabétique.

Nom de la dernière source par ordre alphabétique si vous en sélectionnez plusieurs.

Si vous sélectionnez une source, la fenêtre "Soumettre la demande de profil de colonne" liste les colonnes et les types de données.

Conservez la coche devant chaque colonne à profiler et supprimez la coche devant chaque colonne que vous ne désirez pas profiler.

Autrement, vous pouvez cliquer dans la case à cocher placée en haut devant Nom pour désélectionner toutes les colonnes, puis cocher les cases.

Si vous avez sélectionné plusieurs sources, la fenêtre "Soumettre la demande du profileur de colonne

" liste les sources à gauche.

Sélectionnez une source pour afficher ses colonnes du côté droit.

Du côté droit de la fenêtre "Soumettre la demande de profil de colonne", conservez la coche devant chaque colonne à profiler et supprimez la coche devant chaque colonne que vous ne désirez pas profiler.

Autrement, vous pouvez vous pouvez cliquer dans la case à cocher placée en haut devant Nom pour désélectionner toutes les colonnes, puis cocher chaque case des colonnes à profiler.

Répétez les étapes 1 et 2 pour chaque source de données.

(Facultatif) Sélectionnez Profilage détaillé pour une colonne.

Remarque :

Le profileur de données consomme beaucoup de ressources lorsqu'il génère des statistiques de profil détaillées. Choisissez le profilage détaillé uniquement si vous avez besoin de ces attributs : comptage distinct, pourcentage distinct, valeur médiane, longueur de chaîne médiane, modèle, nombre de modèles. Si vous avez sélectionné le profilage détaillé, vérifiez que le répertoire de cache paginable indiqué contient suffisamment d'espace disque pour la taille des données que vous profilez.

Si vous voulez des attributs détaillés pour toutes les colonnes de toutes les sources listées, cliquez sur "Profilage détaillé" et sélectionnez Appliquer pour toutes les colonnes de toutes les sources.

Si vous voulez supprimer le profilage détaillé pour toutes les colonnes, cliquez sur "Profilage détaillé" et sélectionnez Supprimer pour toutes les colonnes de toutes les sources.

Cliquez sur Soumettre pour exécuter la tâche du profileur.

2012-11-22

Evaluation des données

Remarque :

Si les métadonnées de la table ont été modifiées depuis que vous les avez importées (par exemple, ajout d'une colonne), vous devez réimporter la table source avant d'exécuter la tâche du profileur.

Si vous avez cliqué sur l'option Soumettre la demande de profil de colonne pour atteindre cette fenêtre "Soumettre la demande du profileur de colonne", le panneau du moniteur du profileur s'affiche automatiquement en cliquant sur Soumettre.

Si vous avez cliqué sur Mettre à jour dans l'onglet "Profil" de la fenêtre "Afficher les données", la fenêtre du moniteur du "Profileur" ne s'affiche pas en cliquant sur Soumettre. A la place, une tâche du profileur est soumise de manière asynchrone et vous devez attendre qu'elle soit terminée pour pouvoir effectuer d'autres tâches dans Designer.

Vous pouvez également surveiller votre tâche de profileur d'après son nom dans l'Administrateur.

Quand la tâche du profileur est terminée, vous pouvez afficher les résultats de profil dans l'option

Afficher les données.

Rubriques associées

•

Profil de colonne

•

Surveillance des tâches du profileur à l'aide de Designer

•

Affichage des résultats du profileur

• Guide d'administration : Configuration des ressources d'exécution

• Guide Management Console Guide : Surveillance des tâches du profileur à l'aide de l'Administrateur

15.1.4.2 Soumission des tâches du profileur de relations

Un profil de relation montre le pourcentage de valeurs sans correspondance dans les colonnes de deux sources. Les sources peuvent être un des éléments suivants :

• Tables

• Fichiers plats

• Combinaison d'une table et d'un fichier plat

Une relation de clé primaire et de clé étrangère peut être définie pour les colonnes ou bien elles peuvent

être sans relation (comme quand l'une vient d'une banque de données et l'autre d'un format de fichier).

Les deux colonnes ne doivent pas obligatoirement être du même type, mais elles doivent être convertibles. Par exemple, si vous exécutez une tâche du profileur de relations sur une colonne Integer et une colonne Varchar, le profileur de données convertit les valeurs des entiers en valeur de caractères

(Varchar) pour effectuer la comparaison.

346 2012-11-22

Evaluation des données

347

Remarque :

Le profileur de données consomme beaucoup de ressources lorsqu'il génère des valeurs de relations.

Si vous prévoyez d'utiliser le profilage de relations, vérifiez que le répertoire de cache paginable indiqué contient suffisamment d'espace disque pour la taille des données que vous profilez.

Rubriques associées

•

Sources de données qu'il est possible de profiler.

• Guide d'administration : Configuration des ressources d'exécution

15.1.4.2.1 Génération d'un profil de relation pour les colonnes de deux sources

Dans la bibliothèque d'objets de Designer, sélectionnez deux sources.

Pour sélectionner deux sources dans la même banque de données ou le même format de fichier : a.

Accédez à l'onglet "Banque de données" ou "Format" dans la bibliothèque d'objets.

Maintenez la touche Ctrl enfoncée en sélectionnant la deuxième table.

Cliquez avec le bouton droit et sélectionnez Soumettre la demande de profil de relation.

Pour sélectionner deux sources de banques de données ou formats de fichier différents : a.

Accédez à l'onglet "Banque de données" ou "Format" dans la bibliothèque d'objets.

Cliquez avec le bouton droit sur la première source, sélectionnez Soumettre la demande de

profil de la relation > Relation avec.

Changez de banque de données ou de format dans la bibliothèque d'objets d.

Cliquez sur la deuxième source.

La fenêtre "Soumettre la demande de profil de la relation" s'affiche.

Remarque :

Il est impossible de créer un profil de relation pour les colonnes dont les données sont de type LONG ou TEXTE.

(Facultatif) Modifiez le nom de la tâche du profileur.

Vous pouvez modifier le nom de la tâche afin de créer un nom plus significatif, un nom unique ou supprimer les tirets qui sont autorisés dans les noms des colonnes, mais pas dans ceux des tâches.

Le nom par défaut généré par le profileur de données pour plusieurs sources a le format suivant :

nomutilisateur

_t_nompremièresource_nomdernièresource

Colonne

nomutilisateur

Description

Nom d'utilisateur utilisé par le progiciel pour accéder aux services système.

Type de profil. La valeur est R pour le profil de relation qui obtient des valeurs sans correspondance dans les deux colonnes sélectionnées.

nompremière source

Nom de la première source sélectionnée.

nomdernièresource Nom de la dernière source sélectionnée.

2012-11-22

Evaluation des données

Par défaut, s'il existe une relation, le volet supérieur de la fenêtre "Soumettre la demande de profil de la relation" affiche une ligne entre la colonne de clé primaire et la colonne de clé étrangère des deux sources. Vous pouvez changer les colonnes à profiler.

La moitié inférieure de la fenêtre "Soumettre la demande de profil de la relation" montre que la tâche du profileur va utiliser l'opération égale (=) pour comparer les deux colonnes. Le profileur de données va déterminer les valeurs qui ne sont pas égales et calculer le pourcentage de valeurs non correspondantes.

Pour supprimer une relation existante entre deux colonnes, sélectionnez la ligne, cliquez avec le bouton droit et sélectionnez Supprimer la relation sélectionnée.

Pour supprimer toutes les relations existantes entre deux sources, exécutez une des actions suivantes :

• Cliquez avec le bouton droit dans le volet supérieur et cliquez sur Supprimer toutes les relations.

• Cliquez sur Supprimer toutes les relations près du bas de la fenêtre "Soumettre la demande de profil de la relation".

S'il n'existe pas de relation de clé primaire et clé étrangère entre les deux sources de données, indiquez les colonnes à profiler. Vous pouvez redimensionner chaque source de données pour afficher toutes les colonnes.

Pour indiquer ou modifier les colonnes dont vous voulez voir les valeurs de relation : a.

Déplacez le curseur sur la première colonne à sélectionner. Maintenez le curseur enfoncé et dessinez une ligne vers l'autre colonne à sélectionner.

Si vous avez supprimé toutes les relations et que vous voulez que le profileur de données sélectionne une relation de clé primaire et clé étrangère existante, cliquer avec le bouton droit dans le volet supérieur et cliquez sur Proposer une relation, ou bien cliquez sur Proposer une

relation près du bas de la fenêtre "Soumettre la demande de profil de la relation".

L'option Enregistrer uniquement les données de colonnes clés est sélectionnée par défaut. Elle indique que le profileur de données enregistre les données uniquement dans les colonnes sélectionnées pour la relation. Aucun échantillon de données n'est visible dans les autres colonnes lorsque vous affichez le profil de la relation.

Pour voir les valeurs des autres colonnes dans le profil de la relation, sélectionnez l'option Enregistrer

les données de toutes les colonnes.

Cliquez sur Soumettre pour exécuter la tâche du profileur.

Remarque :

Le volet du moniteur du profileur s'affiche automatiquement lorsque vous cliquez sur Soumettre.

Vous pouvez également surveiller votre tâche de profileur d'après son nom dans l'Administrateur.

Lorsque la tâche du profileur est terminée, vous pouvez afficher les résultats du profil dans l'option

Afficher les données en cliquant avec le bouton droit sur une tables dans la bibliothèque d'objets.

348 2012-11-22

Evaluation des données

Rubriques associées

•

Affichage des données de profil de la relation générées par le profileur de données

•

Surveillance des tâches du profileur à l'aide de Designer

• Guide Management Console Guide : Surveillance des tâches du profileur à l'aide de l'Administrateur

•

Affichage des résultats du profileur

15.1.5 Surveillance des tâches du profileur à l'aide de Designer

La fenêtre du moniteur du "Profileur" s'affiche automatiquement lorsque vous soumettez une tâche du profileur si vous avez cliqué sur la barre de menu pour afficher la fenêtre du moniteur du "Profileur".

Vous pouvez ancrer ce volet du moniteur du profileur dans Designer ou le laisser séparé.

Le volet du moniteur du profileur affiche la tâche en cours d'exécution et toutes les tâches du profileur ayant été exécutées durant un nombre de jours configuré.

Vous pouvez cliquer sur les icônes dans le coin supérieur droit du moniteur du profileur pour afficher les informations suivantes :

Actualise le volet du moniteur du profileur pour qu'il affiche le dernier statut des tâches du profileur.

Sources profilées par la tâche sélectionnée.

Si la tâche a échoué, la fenêtre "Informations" affiche également le message d'erreur.

Le moniteur du profileur affiche les colonnes suivantes :

Colonne Description

Nom

Nom de la tâche du profileur envoyée depuis Designer.

Si la tâche du profileur s'applique à une seule source, le nom par défaut a le format suivant :

username_t_sourcename

Si la tâche du profileur s'applique à plusieurs sources, le nom par défaut a le format suivant :

username_t_firstsourcename_lastsourcename

349 2012-11-22

Evaluation des données

Colonne

Type

Statut

Horodatage

Sources

Description

Le type de la tâche du profileur peut être :

• Colonne

• Relation

Le statut d'une tâche du profileur peut être :

• Terminé : la tâche est terminée avec succès.

• En attente : la tâche est dans la file d'attente parce que le nombre maximal de tâches simultanées est atteint ou qu'une autre tâche profile la même table.

• Exécution en cours : la tâche est en train de s'exécuter.

• Erreur : la tâche a été interrompue avec une erreur. Double-cliquez sur la valeur de cette colonne Statut pour afficher le message d'erreur.

Date et heure d'exécution de la tâche du profileur.

Noms des tables sur lesquelles s'exécute la tâche du profileur.

Rubriques associées

•

Exécution d'une tâche du profileur

• Guide Management Console Guide : Configuration des paramètres de tâche du profileur

15.1.6 Affichage des résultats du profileur

Le profileur de données calcule et enregistre les attributs du profileur dans un référentiel du profileur pouvant être affiché par plusieurs utilisateurs.

Rubriques associées

•

Affichage des attributs de colonne générés par le profileur de données

•

Affichage des données de profil de la relation générées par le profileur de données

350 2012-11-22

Evaluation des données

15.1.6.1 Affichage des attributs de colonne générés par le profileur de données

Dans la bibliothèque d'objets, sélectionnez la table dont vous voulez afficher les attributs du profileur.

Cliquez avec le bouton droit et sélectionnez Afficher les données.

Cliquez sur l'onglet "Profil" (deuxième) pour afficher les attributs de profil de colonne.

L'onglet "Profil" affiche le nombre d'enregistrement physiques traités par le profileur de données pour générer les valeurs de la grille de profil.

La grille de profil contient les noms de colonne de la source actuelle et les attributs de profil de chaque colonne. Pour remplir la grille de profil, exécutez une tâche du profileur ou sélectionnez les noms dans cette colonne et cliquez sur Mettre à jour.

Vous pouvez trier les valeurs de chaque colonne d'attribut en cliquant sur leurs en-têtes. La valeur n/a dans la grille de profil indique qu'un attribut ne s'applique pas à un type de données.

Attribut de profil de base

Description

Min.

Nombre min.

Max.

Nombre max.

Moyenne

Type de données pertinent

Caractère Numérique

La plus faible de toutes les valeurs de cette colonne.

Oui

Nombre de lignes de cette colonne qui contiennent cette valeur la plus faible.

Oui

La plus élevée de toutes les valeurs de cette colonne.

Oui

Nombre de lignes de cette colonne qui contiennent cette valeur la plus élevée.

Oui

Pour les colonnes numériques, valeur moyenne de cette colonne.

n/a

Oui

Date/heure

Oui

Oui n/a

351 2012-11-22

Evaluation des données

Attribut de profil de base

Description

Type de données pertinent

Caractère Numérique

Longueur minimale de la chaîne

Pour les colonnes de caractères, longueur de la chaîne la plus courte dans cette colonne.

Oui

Longueur maximale de la chaîne

Longueur moyenne de la chaîne

Pour les colonnes de caractères, longueur de la chaîne la plus longue dans cette colonne.

Oui

Pour les colonnes de caractères, longueur moyenne de chaîne dans cette colonne.

Oui

Non

Valeurs nulles

Nombre de valeurs

NULL dans cette colonne.

Oui

% de valeurs nulles

Pourcentage de lignes qui contiennent une valeur NULL dans cette colonne.

Oui

Zéros

% de zéros

Vides

% de vides

Nombre de valeurs

0 dans cette colonne.

Pourcentage de lignes qui contiennent une valeur 0 dans cette colonne.

Non

Pour les colonnes de caractères, nombre de lignes comportant un vide dans cette colonne.

Oui

Pourcentage de lignes qui contiennent un vide dans cette colonne.

Oui

Non

Date/heure

Non

Oui

Non

352 2012-11-22

Evaluation des données d.

Si vous avez sélectionné l'option Profilage détaillé dans la fenêtre "Soumettre la demande du profileur de colonne", l'onglet "Profil" affiche également les colonnes d'attribut détaillées suivantes.

Attribut de profil détaillé

Description Type de données pertinent Caractère Numérique Date/heure

Distinctes

% de distinctes

Médiane

Longueur de la chaîne médiane

% de modèles

Modèles

Nombre de valeurs distinctes dans cette colonne.

Oui

Pourcentage de lignes qui contiennent chacune une valeur distincte dans cette colonne.

Oui

Valeur de la ligne du milieu de la table source.

Oui

Pour les colonnes de caractères, valeur de la ligne du milieu de la table source.

Pourcentage de lignes qui contiennent chacune une valeur distincte dans cette colonne. Format de chaque modèle unique de cette colonne.

Oui

Nombre de modèles différents dans cette colonne.

Oui

Non

Oui

Non

Cliquez sur une valeur d'attribut pour afficher la ligne entière de la table source. La moitié inférieure de la fenêtre "Afficher les données" affiche les lignes qui contiennent la valeur d'attribut sur laquelle vous avez cliqué. Vous pouvez masquer les colonnes que vous ne désirez pas afficher en cliquant sur l'icône Afficher/masquer les colonnes.

Par exemple, votre colonne ADRESSE cible doit comporter uniquement 45 caractères, mais les données de profilage de cette table source Client affichent que la longueur maximale de chaîne est

46. Cliquez sur la valeur 46 pour afficher les données réelles. Vous pouvez redimensionner la largeur de la colonne pour afficher la chaîne entière.

353 2012-11-22

Evaluation des données

(Facultatif) Cliquez sur Mettre à jour pour mettre à jour les attributs de profil. Raisons d'une mise

à jour à ce moment :

• Les attributs de profil n'ont pas encore été générés.

• La date de génération des attributs de profil est antérieure à celle voulue. La valeur Date de dernière mise à jour dans l'angle inférieur gauche de l'onglet "Profil" est l'horodatage de la dernière génération des profils d'attribut.

Remarque :

L'option Mettre à jour soumet une tâche synchrone du profileur et vous devez attendre qu'elle soit terminée pour pouvoir exécuter d'autres tâches dans Designer.

La fenêtre "Soumettre la demande de profil de colonne" s'affiche.

Comme les calculs de mise à jour ont un impact sur les performances, sélectionnez uniquement les noms des colonnes dont vous avez besoin pour cette opération de profilage. Vous pouvez

également cliquer dans la case à cocher située en haut devant Nom pour désélectionner toutes les colonnes, puis cocher la case placée devant chaque colonne à profiler.

Cliquez sur une statistique dans Distinctes ou Modèles pour afficher le pourcentage de chaque valeur distincte ou valeur de modèle dans une colonne. Les valeurs de modèle, le nombre d'enregistrements de chaque valeur de modèle et les pourcentages s'affichent dans la partie droite de l'onglet "Profil".

Par exemple, l'onglet "Profil" suivant pour la table CUSTOMERS affiche les attributs de profil pour la colonne REGION. L'attribut Distincts de la colonne REGION affiche la statistique 19, c'est-à-dire qu'il existe 19 valeurs distinctes pour REGION.

354

Cliquez sur la statistique de la colonne Distincts pour afficher chacune des 19 valeurs et le pourcentage de lignes de la table CUSTOMERS ayant cette valeur pour la colonne REGION. En outre, les barres de la colonne la plus à droite affichent la taille relative de chaque pourcentage.

2012-11-22

Evaluation des données

Les données de profilage du côté droit montrent qu'un important pourcentage des valeurs de REGION est Null. Cliquez sur Null sous Valeur ou sur 60 sous Enregistrements pour afficher les autres colonnes des lignes qui comportent une valeur Null dans la colonne REGION.

Vos règles de gestion peuvent indiquer que REGION de doit pas contenir de valeur NULL dans votre entrepôt de données cible. Décidez donc quelle valeur doit remplacer les valeurs NULL lorsque vous définissez une transformation Validation.

Rubriques associées

•

Exécution d'une tâche du profileur

•

Définition d'une règle de validation en fonction du profil de colonne

15.1.6.2 Affichage des données de profil de la relation générées par le profileur de données

Les données de profil de relation affichent le pourcentage de valeurs sans correspondance dans les colonnes de deux sources. Les sources peuvent être des tables, des fichiers plats ou une combinaison d'une table et d'un fichier plat. Une relation de clé primaire et de clé étrangère peut être définie pour les colonnes ou bien elles peuvent être sans relation (comme quand l'une vient d'une banque de données et l'autre d'un format de fichier).

Dans la bibliothèque d'objets, sélectionnez la table ou le fichier dont vous voulez afficher les données de profil de relation.

Cliquez avec le bouton droit et sélectionnez Afficher les données.

Cliquez sur l'onglet "Relation" (troisième) pour afficher les résultats du profil de relation.

Remarque :

L'onglet "Relation" n'est visible que si vous avez exécuté une tâche du profileur de relations.

Cliquez sur le pourcentage non nul dans le diagramme pour afficher les valeurs de clé non contenues dans l'autre table.

Par exemple, l'onglet Relation ci-dessous de Afficher les données montre le pourcentage de clients

(16,67) n'ayant pas de commande. Le profil de la relation a été défini sur la colonne CUST_ID de la table ODS_CUSTOMER et la colonne CUST_ID de la table ODS_SALESORDER. La valeur de l'ovale de gauche indique que 16,67 % des lignes de la table ODS_CUSTOMER ont des valeurs de CUST_ID qui n'existent pas dans la table ODS_SALESORDER.

355 2012-11-22

Evaluation des données

Cliquez sur le pourcentage 16,67 dans l'ovale ODS_CUSTOMER pour afficher les valeurs de

CUST_ID qui n'existent pas dans la table ODS_SALESORDER. Les valeurs sans correspondance

KT03 et SA03 s'affichent sur le côté droit de l'onglet Relation. Chaque ligne affiche une valeur de

CUST_ID sans correspondance, le nombre d'enregistrements comportant cette valeur de CUST_ID et le pourcentage total de clients comportant cette valeur de CUST_ID.

Cliquez sur l'une des valeurs du côté droit pour afficher les autres colonnes des lignes qui contiennent cette valeur.

La moitié inférieure de l'onglet "Profil de relation" affiche les valeurs des autres colonnes de la ligne comportant la valeur KT03 dans la colonne CUST_ID.

Remarque :

Si vous n'avez pas sélectionné l'option Enregistrer les données de toutes les colonnes dans la fenêtre "Soumettre la demande de profil de la relation", vous ne pouvez pas afficher les données des autres colonnes.

Rubriques associées

•

Soumission des tâches du profileur de relations

15.2 Utilisation de l'affichage des données pour déterminer la qualité des données

356 2012-11-22

Evaluation des données

Utilisez l'affichage des données pour vous aider à déterminer la qualité des données source et cible.

L'affichage des données fournit une fonctionnalité pour :

• Afficher des échantillons de données source avant d'exécuter un job afin de créer des conceptions de job de qualité supérieure.

• Comparer des échantillons de données de différentes étapes de votre job pour vérifier que le job d'extraction des données renvoie les résultats attendus.

Rubriques associées

•

Définition d'une règle de validation en fonction du profil de colonne

•

Utilisation de l'affichage des données

15.2.1 Onglet Données

L'onglet "Données" est toujours disponible et affiche le contenu des données de modèles de lignes.

Vous pouvez afficher un sous-ensemble de colonnes de chaque ligne et définir des filtres pour afficher un sous-ensemble de lignes.

Par exemple, vos règles de gestion peuvent imposer que tous les numéros de téléphone et de fax aient un seul format pour chaque pays. L'onglet "Données" ci-dessous affiche un sous-ensemble de lignes des clients résidant en France.

357

Notez que les colonnes PHONE et FAX affichent des valeurs ayant deux formats différents. Vous pouvez désormais décider du format à utiliser dans l'entrepôt de données cible et définir une transformation Validation en conséquence.

2012-11-22

Evaluation des données

Rubriques associées

•

Propriétés de l'affichage des données

•

Définition d'une règle de validation en fonction du profil de colonne

•

Onglet Données

15.2.2 Onglet Profil

Deux affichages sont disponibles sur l'onglet "Profil" :

• Sans le Profileur de données, l'onglet "Profil" affiche les attributs de colonnes suivants : valeurs distinctes, valeurs nulles, valeur minimale et valeur maximale.

• Si vous avez configuré et que vous utilisez le Profileur de données, l'onglet "Profil" affiche les mêmes attributs de colonnes ci-dessus, ainsi que de nombreuses autres statistiques calculées, telles que la valeur moyenne, la longueur minimale de la chaîne et la longueur maximale de la chaîne, le nombre distinct, le pourcentage distinct, la médiane, la longueur médiane de la chaîne, le nombre du modèle et le pourcentage du modèle.

Rubriques associées

•

Onglet Profil

•

Affichage des attributs de colonne générés par le profileur de données

15.2.3 Onglet Profil de relation ou Profil de colonne

Le troisième onglet affiché dépend de si vous avez configuré et que vous utilisez le Profileur de données ou non.

• Si vous n'utilisez pas le Profileur de données, l'onglet "Profil de colonne" permet de calculer les informations statistiques pour une seule colonne.

• Si vous utilisez le Profileur de données, l'onglet "Relation" affiche les incohérences de données entre les deux colonnes à partir desquelles il est possible de déterminer l'intégrité des données entre les deux sources.

Rubriques associées

•

Onglet Profil de colonne

•

Affichage des données de profil de la relation générées par le profileur de données

358 2012-11-22

Evaluation des données

15.3 Utilisation de la transformation Validation

Les fonctionnalités Profileur de données et Afficher les données peuvent identifier les anomalies dans les données entrantes. Il est alors possible d'utiliser une transformation Validation pour définir les règles qui séparent les bonnes données des mauvaises. Il est possible d'écrire les mauvaises données dans une table ou un fichier pour une révision ultérieure.

Pour plus de détails sur la transformation Validation, y compris sur la manière d'implémenter les fonctions réutilisables de validation, consultez le Guide de référence SAP BusinessObjects Data Services.

Rubriques associées

• Guide de référence : transformations, validation

15.3.1 Analyse du profil de colonne

Il est possible d'obtenir des informations sur le profil de colonne en soumettant des tâches du profileur de colonne.

Par exemple, si vous souhaitez analyser les données dans la table Clients dans l'exemple de base de données Northwinds sur Microsoft SQL Server.

Rubriques associées

•

Soumission des tâches du profileur de colonnes

15.3.1.1 Analyse des attributs de profil de colonne

Dans la bibliothèque d'objets, cliquez sur la table profilée Clients et sélectionnez Afficher les

données.

Sélectionnez l'onglet Profil dans la fenêtre "Afficher les données". L'onglet Profil affiche les attributs de profil de colonne indiqués sur l'illustration suivante.

359 2012-11-22

Evaluation des données

360

L'attribut Modèles pour la colonne PHONE indique la valeur 20, ce qui signifie qu'il existe 20 modèles différents.

Cliquez sur la valeur 20 sur la colonne de l'attribut "Modèles". Le volet "Données de profilage" affiche les modèles pour la colonne PHONE individuellement et le pourcentage de lignes pour chaque modèle.

Supposons que vos règles d'entreprise imposent que tous les numéros de téléphone en France doivent être sous le format 99.99.99.99. Cependant, les données de profilage indiquent que deux enregistrements sont sous le format (9) 99.99.99.99. Pour afficher les colonnes pour ces deux enregistrements dans le volet du bas, cliquez soit sur (9) 99.99.99.99 sous Valeur, soit sur 2 sous Enregistrement Vous pouvez voir que certains numéros de téléphone en France ont le préfixe

(1).

Il est possible d'utiliser une transformation Validation pour identifier les lignes contenant le préfixe non souhaité. Vous pouvez alors corriger les données pour vous conformer à vos règles d'entreprise, puis les recharger.

La section suivante décrit comment configurer la transformation Validation pour identifier les lignes erronée.

Rubriques associées

•

Définition d'une règle de validation en fonction du profil de colonne

2012-11-22

Evaluation des données

15.3.2 Définition d'une règle de validation en fonction du profil de colonne

Cette section utilise les résultats du Profileur de données et définit la transformation Validation selon l'exemple de règles d'entreprise. A partir de l'exemple précédent du préfixe téléphonique (1) pour les numéros de téléphone en France, la procédure suivante décrit la manière de définir un flux de données et une règle de validation qui identifient ce modèle. Il est alors possible de réviser les données ayant

échoué, d'apporter des modifications et de recharger les données.

15.3.2.1 Définition de la règle de validation identifiant un modèle

Cette procédure décrit la façon de définir un flux de données et une règle de validation qui identifie des lignes contenant le préfixe (1) décrit à la section précédente.

Créez un flux de données avec la table de Clients comme source, ajoutez une transformation

Validation et une cible et reliez les objets.

Ouvrez la transformation Validation en cliquant sur son nom.

Dans l'éditeur de transformation, cliquez sur Ajouter.

La boîte de dialogue Editeur de règles s'affiche.

Saisissez un Nom et de manière facultative une Description pour la règle.

Vérifiez que la case Actif est cochée.

Pour "Action en cas d'échec", sélectionnez Envoi vers échec.

Sélectionnez la case d'option Validation de colonne.

Sélectionnez la "colonne" CUSTOMERS.PHONE dans la liste déroulante.

Pour "Condition", dans la liste déroulante, sélectionnez Modèle de correspondance.

Pour la valeur, saisissez l'expression "99.99.99.99".

Cliquez sur OK.

La règle s'affiche dans la liste de règles.

Après l'exécution du job, les lignes mal formatées s'affichent dans la sortie Fail. Vous pouvez à présent vérifier les données ayant échouées, effectuer des corrections le cas échéant et recharger les données.

Rubriques associées

•

Analyse du profil de colonne

361 2012-11-22

Evaluation des données

15.4 Utilisation de l'Audit

L'audit offre la possibilité de s'assurer qu'un flux de données charge les données correctes dans l'entrepôt. Utilisez l'audit pour effectuer les tâches suivantes :

• Définir les points de vérification pour collecter les statistiques d'exécution sur les données qui sortent des objets. L'audit enregistre ces statistiques dans le référentiel.

• Définir des règles avec ces statistiques d'audit pour s'assurer qu'aux points suivants d'un flux de données, les données correspondent à celles attendues :

• Extraites des sources

• Traitées par des transformations

• Chargées dans les cibles

• Générer une notification d'exécution qui inclut la règle d'audit qui a échoué et les valeurs des statistiques d'audit au moment de l'échec.

• Afficher les statistiques d'audit après l'exécution du job pour aider à identifier les objets dans le flux de données qui peuvent avoir produit les données incorrectes.

Remarque :

Si vous ajoutez un point de vérification avant une opération qui est normalement poussée vers le bas vers le serveur de base de données, la performance peut se dégrader car ces opérations ne peuvent avoir lieu après un point de vérification.

15.4.1 Audit d'objets dans un flux de données

Il est possible de collecter les statistiques d'audit sur les données qui sortent d'un objet, tel qu'une source, une transformation ou une cible. Si une transformation a plusieurs sorties distinctes ou différentes

(telles que Validation ou Case), il est possible de réaliser un audit pour chaque sortie indépendamment.

Pour utiliser l'audit, définissez les objets suivant dans la fenêtre "Audit" :

Nom de l'objet

Point de vérification

Description

L'objet dans un flux de données dans lequel vous collectez les statistiques d'audit. Il est possible de réaliser un audit pour une source, une transformation ou une cible. Vous identifiez l'objet à vérifier lors de la définition d'une fonction d'audit sur celui-ci.

362 2012-11-22

Evaluation des données

Nom de l'objet

Fonction d'audit

Etiquette d'audit

Règle d'audit

Description

Les statistiques d'audit collectées par le logiciel pour une table, un schème de sortie ou une colonne. La table suivante montre les fonctions d'audit qu'il est possible de définir.

Objet de données Fonction d'audit Description

Table ou schéma de sortie

Count

Cette fonction collecte deux statistiques :

• Un nombre correct pour les lignes qui ont été traitées avec succès.

• Un nombre d'erreur pour les lignes qui ont généré certains types d'erreurs si vous avez activé la gestion des erreurs.

Colonne

Sum

Average

Checksum

Somme des valeurs numériques dans la colonne. Les types de données applicables incluent les nombres décimaux, doubles, entiers et réels. Cette fonction comprend uniquement les lignes correctes.

Moyenne des valeurs numériques dans la colonne. Les types de données applicables incluent les nombres décimaux, doubles, entiers et réels. Cette fonction comprend uniquement les lignes correctes.

Total de contrôle des valeurs dans la colonne.

Le seul nom dans le flux de données généré par le logiciel pour les statistiques d'audit collectées pour chaque fonction d'audit définie. Ces étiquettes permettent de définir des règles d'audit pour le flux de données.

Une expression booléenne dans laquelle vous utilisez les étiquettes d'audit pour vérifier le job. Si vous définissez plusieurs règles dans un flux de données, toutes les règles doivent réussir, sinon l'audit échoue.

363 2012-11-22

Evaluation des données

Nom de l'objet Description

Actions en cas d'échec de l'audit

Une ou plus des trois façons de générer des notifications d'un échec de la règle (ou des règles) d'audit : adresse électronique, script personnalisé, lever une exception.

15.4.1.1 Fonction d'audit

Cette section décrit les types de données pour les fonctions d'audit et pour les statistiques du nombre d'erreurs.

Types de données

La table suivant montre le type de données par défaut pour chaque fonction d'audit et les types de données autorisés. Il est possible de modifier le type de données dans la fenêtre "Propriétés" pour chaque fonction d'audit de Designer.

Fonctions d'audit Type de données par défaut

Nombre

Somme

Moyenne

Total de contrôle

ENTIER

Type de colonne audité

VARCHAR(128)

Types de données autorisés

ENTIER

ENTIER, DECIMAL, DOUBLE, REEL

VARCHAR(128)

Statistique du nombre d'erreurs

Lorsque vous activez une fonction d'audit Nombre, le logiciel collecte deux types de statistiques :

• Nombre de lignes correctes pour les lignes traitées sans erreur.

• Nombre de lignes d'erreurs pour les lignes qui n'ont pas pu être traitées par le job, et que ce dernier ignore pour pouvoir continuer à traiter. Les lignes d'erreur peuvent se produire lorsque vous spécifiez l'option Utiliser le filtre de dépassement de capacité dans l'Editeur source ou l'Editeur cible.

364

15.4.1.2 Etiquette d'audit

Le logiciel génère un nom unique pour chaque fonction d'audit définie à un point de vérification. Il est possible de modifier les noms d'étiquettes. Vous pouvez souhaiter modifier un nom d'étiquette pour créer un nom significatif plus court ou pour supprimer les tirets, qui sont autorisés dans les noms de colonnes mais pas dans les noms d'étiquettes.

2012-11-22

Evaluation des données

Génération de noms d'étiquette

Si le point de vérification se trouve sur une table ou sur un schéma de sortie, le logiciel génère les deux

étiquettes suivantes pour la fonction d'audit Nombre :

$Count_objectname

$CountError_objectname

Si le point de vérification se trouve sur une colonne, le logiciel génère une étiquette d'audit sous le format suivant :

$ fonctionaudit_nomobjet

Si le point de vérification se trouve dans un flux de données incorporé, les étiquettes sont sous les formats suivants :

$Count_objectname_embeddedDFname

$CountError_objectname_embeddedDFname

$auditfunction_objectname_embeddedDFname

Modification de noms d'étiquette

Il est possible de modifier le nom de l'étiquette d'audit lors de la création de la fonction d'audit, et avant la création d'une règle d'audit qui utilise l'étiquette.

Si vous modifiez le nom d'étiquette après l'avoir utilisé dans une règle d'audit, la règle d'audit n'utilise pas automatiquement le nouveau nom. Vous devez redéfinir la règle avec le nouveau nom.

15.4.1.3 Règle d'audit

Une règle d'audit est une expression booléenne qui comporte un côté gauche, un opérateur booléen et un côté droit.

• Le côté gauche peut être une seule étiquette d'audit, plusieurs étiquettes d'audit qui forment une expression avec un ou plusieurs opérateur(s) mathématique(s), ou une fonction avec des étiquettes d'audit comme paramètres.

• Le côté droit peut être une seule étiquette d'audit, plusieurs étiquettes d'audit qui forment une expression avec un ou plusieurs opérateur(s) mathématique(s), une fonction avec des étiquettes d'audit comme paramètres, ou une constante.

Les expressions booléennes suivantes sont des exemples de règles d'audit :

$Count_CUSTOMER = $Count_CUSTDW

$Sum_ORDER_US + $Sum_ORDER_EUROPE = $Sum_ORDER_DW round($Avg_ORDER_TOTAL) >= 10000

15.4.1.4 Notification d'audit

365 2012-11-22

Evaluation des données

Vous pouvez choisir n'importe quelle combinaison parmi les actions suivantes pour la notification d'un

échec d'audit. Si vous sélectionnez les trois actions, le logiciel les exécute dans cet ordre :

• Liste d'adresse électronique : le logiciel envoie une notification à propos de la règle d'audit qui a

échoué aux adresses électroniques listées dans cette option. Utilisez une virgule pour séparer la liste des adresses électroniques.

Il est possible d'indiquer une variable pour la liste d'adresses électroniques.

Cette option doit utiliser la fonction smtp_to pour envoyer le courrier électronique. Par conséquent, vous devez définir le serveur et l'expéditeur pour le protocole SMTP dans le Gestionnaire de serveurs.

• Script : le logiciel exécute le script personnalisé que vous avez créé dans cette option.

• Lever une exception : le job échoue si une règle d'audit échoue, et le journal des erreurs indique quelle règle d'audit a échoué. Le job s'arrête dès que la première règle d'audit échoue. Cette action est celle par défaut.

Il est possible d'utiliser cette exception d'audit dans un bloc Try/Catch. Il est possible de continuer l'exécution du job dans un bloc Try/Catch.

Si vous effacez cette action et qu'une règle d'audit échoue, le job s'achève avec succès et l'audit n'envoie pas de messages au journal des erreurs. Il est possible de voir quelles règles ont échoué dans le rapport de Détails de l'audit dans l'outil de rapports de métadonnées.

Rubriques associées

•

Affichage des résultats d'audit

15.4.2 Accès à la fenêtre Audit

Accédez à la fenêtre "Audit" depuis l'un des emplacements suivants de Designer :

• Depuis l'onglet Flux de données de la bibliothèque d'objets, faites un clic droit sur le nom du flux de données et sélectionnez l'option Audit.

• Dans l'espace de travail, faites un clic droit sur l'icône du flux de données et sélectionnez l'option

Audit.

• Lorsqu'un flux de données est ouvert dans l'espace de travail, cliquez sur l'icône Audit dans la barre d'outils.

Lorsque vous accédez pour la première fois à la fenêtre "Audit", l'onglet Etiquette affiche les sources et les cibles dans le flux de données. Si le flux de données contient plusieurs transformations Query consécutives, la fenêtre "Audit" affiche la première requête.

Cliquez sur les icônes en haut à gauche de l'onglet Etiquette pour modifier l'affichage.

366 2012-11-22

Evaluation des données

Icône Astuce

Tout réduire

Afficher tous les objets

Afficher la source, la cible et la requête de premier niveau

Afficher les objets étiquetés

Description

Réduit les extensions des objets source, cible, et de transformation.

Affiche tous les objets du flux de données.

Affichage par défaut qui montre les objets source, cible et de requête de premier niveau dans le flux de données. Si le flux de données contient plusieurs transformations

Query consécutives, seule la requête de premier niveau s'affiche.

Affiche les objets qui ont des étiquettes d'audit définies.

15.4.3 Définition de points de vérification, de règles et des actions en cas d'échec.

Accédez à la fenêtre "Audit".

Définissez des points de vérification.

Sur l'onglet Etiquette, faites un clic droit sur l'objet que vous souhaitez vérifier et sélectionnez une fonction d'audit ou des propriétés.

Lorsque vous définissez un point de vérification, le logiciel génère les éléments suivants :

• Une icône d'audit sur l'objet dans le flux de données dans l'espace de travail

• Une étiquette d'audit utilisée pour définir les règles d'audit.

En plus de choisir une fonction d'audit, la fenêtre Propriétés permet de modifier l'étiquette d'audit et le type de données de la fonction d'audit.

Par exemple, le flux de données Case_DF dispose des objets ci-dessous, et vous souhaitez vérifier que toutes les lignes de source sont traitées par la transformation Case.

• Table source ODS_CUSTOMER

• Quatre tables cible :

R1 contient les lignes où ODS_CUSTOMER.REGION_ID = 1

367 2012-11-22

Evaluation des données

R2 contient les lignes où ODS_CUSTOMER.REGION_ID = 2

R3 contient les lignes où ODS_CUSTOMER.REGION_ID = 3

R123 contient les lignes où ODS_CUSTOMER.REGION_ID IN (1, 2 ou 3) a.

Faites un clic droit sur la table source ODS_CUSTOMER et sélectionnez Nombre.

Le logiciel crée les étiquettes d'audit $Count_ODS_CUSTOMER et

$CountError_ODS_CUSTOMER, et une icône d'audit apparaît sur l'objet source dans l'espace de travail.

368 b.

De la même façon, faites un clic droit sur chaque table cible et sélectionnez Nombre. La fenêtre

Audit affiche les étiquettes d'audit suivantes :

Table cible

ODS_CUSTOMER

R123

Fonction d'audit

Nombre

Etiquette d'audit

$Count_ODS_CUSTOMER

$Count_ R1

$Count_ R2

$Count_ R3

$Count_ R123 c.

Si vous souhaitez supprimer une étiquette d'audit, faites un clic droit sur l'étiquette, et la fonction d'audit précédemment définie s'affiche avec une coche devant. Cliquez sur la fonction pour supprimer la coche et supprimez l'étiquette d'audit associée.

Lorsque vous faites un clic droit sur l'étiquette, vous pouvez également sélectionner Propriétés et sélectionner la valeur (Aucun audit) dans la liste déroulante Fonction d'audit.

Définissez des règles d'audit. Sur l'onglet Règle dans la fenêtre "Audit", cliquez sur Ajouter, ce qui active l'éditeur d'expression de la section Règles d'audit.

Si vous souhaitez comparer les statistiques d'audit pour un objet par rapport à un autre, utilisez l'éditeur d'expression, qui comporte trois zones de texte avec des listes déroulantes :

2012-11-22

Evaluation des données

369 a.

Sélectionnez l'étiquette du premier point de vérification dans la première liste déroulante.

Sélectionnez un opérateur booléen depuis la deuxième liste déroulante. Les options dans l'éditeur fournissent des opérateurs booléens courants. Si vous avez besoin d'un opérateur booléen qui ne se trouve pas dans cette liste, utilisez la zone d'expression personnalisée avec ses fonctions et éditeurs rapides pour saisir l'opérateur.

Sélectionnez l'étiquette pour le second point de vérification depuis la troisième liste déroulante.

Si vous souhaitez comparer la première valeur d'audit à une constant plutôt qu'à une seconde valeur d'audit, utilisez la zone d'expression personnalisée.

Par exemple, pour vérifier que le nombre de lignes de la table source est égal à celui des lignes dans la table cible, sélectionnez les étiquettes d'audit et l'opération booléenne dans l'éditeur d'expression comme suit :

Si vous souhaitez comparer les statistiques d'audit pour un objet ou plus par rapport aux statistiques pour plusieurs autres objets ou constantes, sélectionnez la zone d'expression personnalisée.

Cliquez sur le bouton d'ellipse pour ouvrir la fenêtre d'éditeur rapide en taille réelle.

Cliquez sur l'onglet Variables sur la gauche et développez le nœud Etiquettes.

Faites glisser la première étiquette d'audit de l'objet vers le volet de l'éditeur.

Saisissez un opérateur booléen e.

Faites glisser les étiquettes d'audit des autres objets auxquels vous souhaitez comparer les statistiques d'audit du premier objet, et placez les opérateurs mathématiques appropriés entre eux.

Cliquez sur OK pour fermer l'éditeur rapide.

La règle d'audit s'affiche dans l'éditeur personnalisé. Pour mettre à jour la règle dans la zone supérieure Règle d'audit, cliquez sur le titre "Règle d'audit" ou sur une autre option.

Cliquez sur Fermer dans la fenêtre Audit.

Par exemple, pour vérifier que le nombre de lignes de la table source est égal à la somme des lignes dans les trois premières tables cible, faites glisser les étiquettes d'audit et saisissez l'opération booléenne et des signes plus dans l'éditeur rapide comme suit :

Count_ODS_CUSTOMER = $Count_R1 + $Count_R2 + $Count_R3

Définissez la mesure à prendre si l'audit échoue.

Il est possible de sélectionner une ou plusieurs mesures suivantes :

• Lever exception : le job échoue si une règle d'audit échoue, et le journal des erreurs indique quelle règle d'audit a échoué. Cette action est celle par défaut.

Si vous désactivez cette option et qu'une règle d'audit échoue, le job s'achève avec succès et l'audit n'envoie pas de messages au journal des erreurs. Il est possible de voir quelles règles ont échoué dans le rapport de Détails de l'audit dans l'outil de rapports de métadonnées.

• Liste d'adresse électronique : le logiciel envoie une notification à propos de la règle d'audit qui a échoué aux adresses électroniques listées dans cette option. Utilisez une virgule pour séparer la liste des adresses électroniques.

Il est possible d'indiquer une variable pour la liste d'adresses électroniques.

• Script : le logiciel exécute le script que vous avez créé dans cette option.

2012-11-22

Evaluation des données

Exécutez le job.

La fenêtre "Propriétés d'exécution" a l'option Activer l'audit cochée par défaut. Décochez cette case si vous ne souhaitez pas collecter les statistiques d'audit pour cette exécution de job spécifique.

Regardez les résultats d'audit.

Il est possible de voir les règles d'audit passées et ayant échoué dans les rapports de métadonnées.

Si vous activez le suivi d'audit dans l'onglet Suivi dans la fenêtre "Propriétés d'exécution", vous pouvez voir tous les résultats d'audit sur le journal de surveillance des jobs.

Rubriques associées

•

Audit d'objets dans un flux de données

•

Affichage des résultats d'audit

15.4.4 Indications pour sélectionner les points de vérification

Voici des indications pour sélectionner des points de vérification :

• Lorsque vous vérifiez les données de sortie d'un objet, l'optimiseur ne peut pas pousser vers le bas les opérations après le point de vérification. Par conséquent, si la performance d'une requête poussée vers le serveur de base de données est plus importante que de regrouper les statistiques d'audit de la source, définissez le premier point de vérification sur la requête ou plus tard dans le flux de données.

Par exemple, supposons que le flux de données dispose d'objets source, cible et de requête, et que la requête a une clause WHERE qui est poussée vers le serveur de base de données qui réduit de manière significative le total de données qui sont renvoyées au logiciel. Définissez le premier point de vérification sur la requête, plutôt que sur la source, pour obtenir des statistiques d'audit sur les résultats de la requête.

• Si une fonction pushdown_sql se trouve après le point de vérification, le logiciel ne peut pas l'exécuter.

• Il est uniquement possible de vérifier un chargement par lots qui utilise la méthode API d'Oracle.

Pour les autres méthodes de chargements par lots, le logiciel n'a pas accès au nombre de lignes chargées.

• L'audit est désactivé lorsque vous exécutez un job avec le débogueur.

• Il est impossible de vérifier des schèmes MLD ou des jobs en temps réel.

• Il est impossible d'auditer dans un flux de données ABAP, mais il est possible d'auditer la sortie d'un flux de données ABAP.

• Si vous utilisez la fonction d'audit CHECKSUM dans un job qui exécute normalement en parallèle, le logiciel désactive le DOP pour l'ensemble du flux de données. L'ordre des lignes est important pour le résultat du CHECKSUM, et le DOP traite les lignes dans un ordre différent que dans la source.

370 2012-11-22

Evaluation des données

15.4.5 Audit du flux de données intégré

Il est possible de définir des étiquettes d'audit et des règles d'audit dans un flux de données intégré.

Cette section décrit les considérations suivante lors de l'audit d'un flux de données intégré :

•

Activation d'audit dans un flux de données intégré

•

Points de vérification non visibles en dehors du flux de données intégré

15.4.5.1 Activation d'audit dans un flux de données intégré

Si vous souhaitez collecter les statistiques d'audit sur un flux de données intégré lors de l'exécution d'un flux de données parent, vous devez activer l'étiquette d'audit du flux de données intégré.

15.4.5.1.1 Activer l'audit dans un flux de données intégré

Ouvrez le flux de données parent dans l'espace de travail de Designer

Cliquez sur l'icône Audit dans la barre d'outils pour ouvrir la fenêtre Audit.

Sur l'onglet Etiquette, développez les objets pour afficher les fonctions d'audit définies dans le flux de données intégré. Si un flux de données est intégré au début ou à la fin du flux de données parent, une fonction d'audit peut exister sur le port de sortie ou sur le port d'entrée.

Faites un clic droit sur le nom de la fonction Audit et sélectionnez Activer. Vous pouvez également sélectionner Propriétés pour modifier le nom de l'étiquette et l'activer.

Il est également possible de définir des règles d'audit avec l'étiquette activée.

15.4.5.2 Points de vérification non visibles en dehors du flux de données intégré

Lorsque vous intégrez un flux de données au début d'un autre flux de données, les données sont transmises du flux de données intégré au flux de données parent par une seule source. Lorsque vous intégrez un flux de données à la fin d'un autre flux de données, les données sont transmises du flux de données parent au flux de données intégré par une seule cible. Dans les deux cas, certains objets ne sont pas visibles dans le flux de données parent.

Parce que certains objets ne sont pas visibles dans le flux de données parent, les points de vérification sur ces objets ne sont pas non plus visibles dans le flux de données parent. Par exemple, le flux de données intégré suivant dispose d'une fonction d'audit définie dans la transformation SQL source et d'une fonction d'audit définie dans la table cible.

371 2012-11-22

Evaluation des données

La fenêtre Audit ci-dessous affiche ces deux points de vérification.

372

Lorsque vous intégrez ce flux de données, la sortie cible devient une source pour le flux de données parent et la transformation SQL n'est plus visible.

Un point de vérification existe toujours pour l'ensemble du flux de données intégré, mais l'étiquette n'est plus applicable. La fenêtre Audit ci-dessous pour le flux de données parent affiche la fonction d'audit définie dans le flux de données intégré, mais n'affiche aucune étiquette d'audit.

2012-11-22

Evaluation des données

Si vous souhaitez vérifier le flux de données intégré, faites un clic droit sur la fonction d'audit dans la fenêtre Audit et sélectionnez Activer.

15.4.6 Résolution des étiquettes d'audit non valides

Une étiquette d'audit peut devenir non valide dans les situations suivantes :

• Si vous supprimez l'étiquette d'audit dans un flux de données intégré activé par un flux de données parent.

• Si vous supprimez ou renommez un objet dans lequel un point de vérification était défini.

15.4.6.1 Résoudre des étiquettes d'audit non valides

Ouvrez la fenêtre Audit.

Développez le nœud Etiquettes non valides pour afficher les étiquettes.

Notez les étiquettes que vous souhaitez définir sur n'importe quel nouvel objet dans le flux de données.

Après avoir défini une étiquette d'audit correspondante sur un nouvel objet, faites un clic droit sur l'étiquette non valide et sélectionnez Supprimer.

Si vous souhaitez supprimer toutes les étiquettes non valides en même temps, faites un clic droit sur le nœud Etiquettes non valides et cliquez sur Tout supprimer.

15.4.7 Affichage des résultats d'audit

Il est possible de voir le statut de l'audit à l'un des endroits suivants :

• Journal de surveillance des jobs

• Si la règle d'audit échoue, les endroits qui affichent l'information d'audit dépendent de l'option Action

en cas d'échec que vous avez sélectionnée :

Action en cas d'échec

Lever une exception

Endroits où il est possible d'afficher les informations d'audit

Journal des erreurs des jobs, rapports de métadonnées

373 2012-11-22

Evaluation des données

Action en cas d'échec

Liste d'adresse électronique

Script

Rubriques associées

•

Journal de surveillance des jobs

•

Journal des erreurs des jobs

•

Rapports de métadonnées

Endroits où il est possible d'afficher les informations d'audit

Message électronique, rapports de métadonnées

Tous les endroits où le script personnalisé envoie les messages d'audit, rapports de métadonnées

15.4.7.1 Journal de surveillance des jobs

Si vous définissez Effectuer le suivi des données d'audit sur Oui dans l'onglet Suivi de la fenêtre

Propriétés d'exécution, des messages d'audit apparaissent dans le journal de surveillance des jobs. Il est possible de voir des messages pour les règles d'audit qui sont passées et ont échoué.

Les exemples de messages de réussite d'audit suivants apparaissent dans le journal de surveillance des jobs lorsque le Suivi d'audit est défini sur Oui :

Audit Label $Count_R2 = 4. Data flow <Case_DF>.

Audit Label $CountError_R2 = 0. Data flow <Case_DF>.

Audit Label $Count_R3 = 3. Data flow <Case_DF>.

Audit Label $CountError_R3 = 0. Data flow <Case_DF>.

Audit Label $Count_R123 = 12. Data flow <Case_DF>.

Audit Label $CountError_R123 = 0. Data flow <Case_DF>.

Audit Label $Count_R1 = 5. Data flow <Case_DF>.

Audit Label $CountError_R1 = 0. Data flow <Case_DF>.

Audit Label $Count_ODS_CUSTOMER = 12. Data flow <Case_DF>.

Audit Label $CountError_ODS_CUSTOMER = 0. Data flow <Case_DF>.

Audit Rule passed ($Count_ODS_CUSTOMER = (($CountR1 + $CountR2 + $Count_R3)): LHS=12, RHS=12. Data flow

<Case_DF>.

Audit Rule passed ($Count_ODS_CUSTOMER = $CountR123): LHS=12, RHS=12. Data flow <Case_DF>.

15.4.7.2 Journal des erreurs des jobs

374 2012-11-22

Evaluation des données

Lorsque vous sélectionnez l'option Lever une exception et que la règle d'audit échoue, le journal des erreurs des jobs affiche la règle qui a échoué. Les exemples de messages suivants apparaissent dans le journal des erreurs des jobs :

Audit rule failed <($Count_ODS_CUSTOMER = $CountR1)> for <Data flow Case_DF>.

15.4.7.3 Rapports de métadonnées

Il est possible de voir la colonne Audit Status dans les rapports Statistiques d'exécution du flux de données de l'outil de rapport de métadonnées. Cette colonne Audit Status contient les valeurs suivantes :

• Non audité

• Réussite : toutes les règles d'audit ont réussi. Cette valeur est un lien avec le rapport Détails de l'audit qui affiche les règles d'audit et les valeurs des étiquettes d'audit.

• Informations collectées : ce statut apparait lorsque vous définissez des étiquettes d'audit pour collecter des statistiques, mais que vous ne définissez pas de règles d'audit. Cette valeur est un lien avec le rapport Détails de l'audit qui affiche les valeurs des étiquettes d'audit.

• Echec : la règle d'audit a échoué Cette valeur est un lien avec le rapport Détails de l'audit qui affiche la règle d'audit qui a échoué et les valeurs des étiquettes d'audit.

Rubriques associées

• Guide Management Console Guide : rapports de tableaux de bords opérationnels

375 2012-11-22

Evaluation des données

376 2012-11-22

Qualité des données

16.1 Présentation de la qualité des données

Qualité des données est un terme qui fait référence à l'ensemble de transformations qui fonctionnent ensemble pour améliorer la qualité des données en nettoyant, améliorant, faisant correspondre et consolidant les éléments de données.

La qualité des données est principalement obtenue dans le progiciel à l'aide de quatre transformations :

• Address Cleanse. Analyse, standardise, corrige et améliore les données d'adresses.

• Data Cleanse. Analyse, standardise, corrige et améliore les données clients et opérationnelles.

• Geocoding. Utilise des données de coordonnées géographiques, d'adresses, de points d'intérêt pour ajouter adresse, latitude et longitude, recensement et autres informations à vos enregistrements.

• Match. Identifie les enregistrements doublons à plusieurs niveaux lors d'un seul transfert des individus, des membres ou des organisations dans plusieurs tables ou bases de données et les consolide en une source unique.

Rubriques associées

•

Address Cleanse

•

A propos du nettoyage de données

•

Géocodage

•

Stratégies de correspondance

16.2 Data Cleanse

16.2.1 A propos du nettoyage de données

Le nettoyage de données désigne le processus d'analyse et de standardisation des données.

377 2012-11-22

Qualité des données

Les règles d'analyse et autres informations qui définissent le mode d'analyse et de standardisation sont stockées dans un package de nettoyage des données. Le Cleansing Package Builder de SAP

BusinessObjects Information Steward fournit une interface utilisateur graphique permettant de créer et d'affiner les packages de nettoyage des données. Pour respecter vos besoins et standards spécifiques en matière de nettoyage des données, il est possible de créer un package de nettoyage des données en partant de zéro d'après un exemple de données ou bien d'en adapter un existant ou fourni par SAP.

Un package de nettoyage des données est créé et publié dans le Cleansing Package Builder, puis référencé par la transformation Data Cleanse dans SAP BusinessObjects Data Services à des fins de tests et de déploiement de la production.

Dans un workflow de Data Services, la transformation Data Cleanse identifie et isole des parties spécifiques de différentes données, puis les analyse et les met en forme selon le package de nettoyage des données référencé ainsi que les options définies directement dans la transformation.

Le diagramme suivant illustre comment SAP BusinessObjects Data Services et SAP BusinessObjects

Information Steward travaillent ensemble pour permettre de développer un package de nettoyage des données spécifique à vos besoins en matière de données et de l'appliquer lors du nettoyage de vos données.

16.2.2 Cycle de vie du package de nettoyage des données : développement, déploiement et gestion

Le processus de développement, de déploiement et de gestion d'un package de nettoyage des données est le résultat d'actions et de communications entre l'administrateur de Data Services, le testeur de

Data Services et l'administrateur de données du Générateur de packages de nettoyage. Les rôles, responsabilités et titres exacts varient selon les organisations, mais comprennent souvent ce qui suit :

378 2012-11-22

Qualité des données

Rôle

Administrateur de données du Générateur de packages de nettoyage des données

Responsabilité

Utilise le Générateur de packages de nettoyage et possède des connaissances en matière de domaines pour développer et affiner un package de nettoyage des données spécifique à un domaine de données.

Testeur de Data Services

Administrateur Data Services

Dans un environnement de test de Data Services, utilise la transformation

Data Services pour nettoyer les données et vérifier les résultats. Travaille avec l'administrateur de données du Générateur de packages de nettoyage de données pour affiner un package de nettoyage des données.

Dans un environnement de production Data Services, utilise la transformation Data Cleanse pour nettoyer les données selon les règles et les standards définis dans le package de nettoyage des données sélectionné.

Il existe habituellement trois phases itératives dans un workflow de package de nettoyage des données : développement (création et test), déploiement et gestion.

Durant la phase de création et de test, l'administrateur de données crée un package de nettoyage des données personnalisé d'après un exemple de données fourni par l'administrateur de Data Services, puis travaille avec le testeur de Data Services pour affiner le package de nettoyage des données.

Quand tout un chacun est satisfait des résultats, le package de nettoyage des données est déployé en production.

Durant la phase de déploiement, l'administrateur, le testeur et l'administrateur de données de Data

Services travaillent ensemble pour affiner encore le package de nettoyage des données afin que les données de production soient nettoyées en respectant la plage acceptable établie.

Pour terminer, le package de nettoyage des données passe en phase de gestion et mis à jour uniquement si les résultats des jobs planifiés régulièrement ne respectent pas la plage ou lorsque de nouvelles données sont introduites.

Un workflow classique est illustré par le diagramme ci-dessous :

379 2012-11-22

Qualité des données

380

Pour en savoir plus sur le processus de déplacement d'un package de nettoyage des données du développement vers la production et vers la maintenance, voir le

Guide d'administration SAP

BusinessObjects Information Steward.

Pour en savoir plus sur l'utilisation de l'outil de gestion des promotions de la Central Management

Console (CMC) pour déplacer des packages de nettoyage des données (ce qui est désigné sous le terme de promotion d'“objets” ou d'“InfoObjects”), voir le

Guide d'administration de la plateforme Business

Intelligence.

2012-11-22

Qualité des données

16.2.3 Configuration de la transformation Data Cleanse

Les conditions préalables pour la configuration de la transformation Data Cleanse incluent :

• L'accès aux packages de nettoyages des données nécessaires.

• L'accès au fichier ATL transféré à partir du générateur de packages de nettoyage des données.

• Les informations sur le mappage du champ d'entrée et de l'attribut (champ de sortie) pour les règles de correspondance des modèles définis par l'utilisateur définies dans l'onglet Données de référence de Cleansing Package Builder.

Configurer la transformation Data Cleanse :

Importez le fichier ATL transféré à partir du générateur de packages de nettoyage des données.

L'importation du fichier ATL apporte les informations requises et définissez automatiquement les options suivantes :

• Package de nettoyage des données

• Champ de sortie de filtre

• Séparateur de mots dans l'entrée

• Configuration de l'analyseur

Remarque :

Il est possible d'installer et d'utiliser le package de nettoyage des données personnelles et professionnelles fourni par SAP sans modification directement dans Data Services. Pour ce faire, sautez l'étape 1 et définissez manuellement les options requises dans la transformation Data Cleanse.

Dans le schéma d'entrée, sélectionnez les champs d'entrée que vous souhaitez mapper et faites les glisser vers les champs appropriés dans l'onglet Entrée

• Les données de nom et de société peuvent être mappées vers des champs discrets ou des champs multilignes.

• Les données personnalisées doivent être mappées vers des champs multilignes.

• Les données de téléphone, date, courrier électronique, numéro de sécurité sociale et de modèle défini par l'utilisateur peuvent être mappées vers des champs discrets ou des champs multilignes.

L'analyseur correspondant doit être activé.

Dans l'onglet Options , sélectionnez les valeurs d'option appropriées pour déterminer la manière dont Data Cleanse doit traiter les données.

Si vous modifiez la valeur par défaut d'une valeur d'option, un triangle vert apparait à côté du nom de l'option pour indiquer que la valeur a été modifiée.

Le fichier ATL que vous avez importé à l'étape 1 définit certaines options en fonction des informations contenues dans le package de nettoyage des données.

Dans l'onglet Sortie, sélectionnez les champs que vous souhaitez sortir de la transformation. Dans le Cleansing Package Builder, les champs de sortie sont appelés attributs.

Assurez-vous d'avoir mappé tous les attributs (champs de sortie) définis dans les modèles définis par l'utilisateur dans les données de référence de Cleansing Package Builder.

381 2012-11-22

Qualité des données

Rubriques associées

•

Configurations de transformation

•