Evaluation des données
Les colonnes clés peuvent avoir une clé primaire et une relation de la clé étrangère définies, ou elles peuvent n'avoir aucun lien (si l'une d'elle provient d'une banque de données et l'autre d'un format de fichier).
Il est possible de choisir entre deux niveaux de profils de relation à enregistrer :
•
Enregistrer uniquement les données de colonnes clés
Par défaut, le Profileur de données enregistre uniquement les données des colonnes que vous avez sélectionnées pour la relation.
Remarque :
Le niveau Enregistrer uniquement les données de colonnes clés n'est pas disponible avec l'utilisation des banques de données Oracle.
•
Enregistrer toutes les données de colonnes
Il est possible d'enregistrer les valeurs des autres colonnes dans chaque ligne, mais ce processus prend plus de temps et consomme plus de ressources d'ordinateur.
Lorsque vous affichez les résultats du profil de relation, vous pouvez descendre dans la hiérarchie pour voir les données réelles qui ne correspondent pas.
Il est possible d'utiliser le profil de relation pour vous aider dans les différentes tâches, y compris les tâches suivantes :
• Identifier les données manquantes dans le système source. Par exemple, une source de données peut inclure la région, mais il est possible que ce ne soit pas le cas d'une autre source.
• Identifier les données redondantes dans les sources de données. Par exemple, il est possible qu'il existe des noms et des adresses en double entre deux sources, ou qu'aucun nom n'existe pour une adresse dans une source.
• Valider les relations dans les sources de données. Par exemple, deux systèmes de suivi des problèmes différents peuvent inclure un sous-ensemble de problèmes signalés par le client, mais certains problèmes existent uniquement dans un système ou dans l'autre.
Rubriques associées
•
Soumission des tâches du profileur de relations
•
Affichage des résultats du profileur
15.1.4 Exécution d'une tâche du profileur
Le profileur de données permet de calculer les statistiques du profileur pour tous les ensembles de colonnes sélectionnés.
343 2012-11-22
Evaluation des données
Remarque :
Cette fonctionnalité facultative n'est pas disponible pour les colonnes avec des schémas imbriqués, ou les types de données LONG ou TEXT.
Il est impossible d'exécuter une tâche du profileur de la colonne avec une tâche du profileur de la relation.
15.1.4.1 Soumission des tâches du profileur de colonnes
1.
Dans la bibliothèque d'objets de Designer, vous pouvez sélectionner une table ou un fichier plat.
Pour une table, accédez à l'onglet "Banques de données" et sélectionnez une table. Pour profiler toutes les tables d'une banque de données, sélectionnez le nom de celle-ci. Pour sélectionner un sous-ensemble de tables dans l'onglet "Banques de données", maintenez la touche Ctrl enfoncée en sélectionnant chaque table.
Pour un fichier plat, accédez à l'onglet "Formats" et sélectionnez un fichier.
2.
Après avoir sélectionné la source de données, vous pouvez générer des statistiques de profil de colonne selon une des méthodes suivantes :
• Cliquez avec le bouton droit et sélectionnez Soumettre la demande de profil de la colonne.
Le calcul de certaines statistiques de profil peut durer longtemps. Sélectionnez cette méthode pour que la tâche du profileur s'exécute de manière asynchrone et que vous puissiez lancer d'autres tâches Designer pendant l'exécution de la tâche du profileur.
Cette méthode permet également de profiler plusieurs sources en une seule tâche du profileur.
• Cliquez avec le bouton droit, sélectionnez Afficher les données, cliquez sur l'onglet "Profil", puis sur Mettre à jour. Cette option soumet une tâche du profileur synchrone et vous devez attendre qu'elle soit terminée pour pouvoir lancer d'autres tâches dans Designer.
Vous pouvez éventuellement utiliser cette option si vous êtes déjà dans la fenêtre "Afficher les données" et que vous remarquez que les statistiques de profil n'ont pas encore été générées ou que la date où elles l'ont été est antérieure à vos besoins.
3.
(Facultatif) Modifiez le nom de la tâche du profileur.
Le profileur de données génère un nom par défaut pour chaque tâche du profileur. Vous pouvez modifier le nom de la tâche afin de créer un nom plus significatif, un nom unique ou supprimer les tirets qui sont autorisés dans les noms des colonnes, mais pas dans ceux des tâches.
Si vous sélectionnez une source unique, le format du nom par défaut est le suivant :
nomutilisateur_t_nomsource
Si vous sélectionnez plusieurs sources, le format du nom par défaut est le suivant :
nomutilisateur_t_nompremièresource_nomdernièresource
344 2012-11-22
Evaluation des données
345 t
Colonne
nomutilisateur nompremièresource nomdernièresource
Description
Nom d'utilisateur utilisé par le progiciel pour accéder aux services système.
Type de profil. La valeur est C pour le profil de colonne qui obtient des attributs (comme valeur faible et valeur élevée) pour chaque colonne sélectionnée.
Nom de la première source par ordre alphabétique.
Nom de la dernière source par ordre alphabétique si vous en sélectionnez plusieurs.
4.
Si vous sélectionnez une source, la fenêtre "Soumettre la demande de profil de colonne" liste les colonnes et les types de données.
Conservez la coche devant chaque colonne à profiler et supprimez la coche devant chaque colonne que vous ne désirez pas profiler.
Autrement, vous pouvez cliquer dans la case à cocher placée en haut devant Nom pour désélectionner toutes les colonnes, puis cocher les cases.
5.
Si vous avez sélectionné plusieurs sources, la fenêtre "Soumettre la demande du profileur de colonne
" liste les sources à gauche.
a.
Sélectionnez une source pour afficher ses colonnes du côté droit.
b.
Du côté droit de la fenêtre "Soumettre la demande de profil de colonne", conservez la coche devant chaque colonne à profiler et supprimez la coche devant chaque colonne que vous ne désirez pas profiler.
Autrement, vous pouvez vous pouvez cliquer dans la case à cocher placée en haut devant Nom pour désélectionner toutes les colonnes, puis cocher chaque case des colonnes à profiler.
c.
Répétez les étapes 1 et 2 pour chaque source de données.
6.
(Facultatif) Sélectionnez Profilage détaillé pour une colonne.
Remarque :
Le profileur de données consomme beaucoup de ressources lorsqu'il génère des statistiques de profil détaillées. Choisissez le profilage détaillé uniquement si vous avez besoin de ces attributs : comptage distinct, pourcentage distinct, valeur médiane, longueur de chaîne médiane, modèle, nombre de modèles. Si vous avez sélectionné le profilage détaillé, vérifiez que le répertoire de cache paginable indiqué contient suffisamment d'espace disque pour la taille des données que vous profilez.
Si vous voulez des attributs détaillés pour toutes les colonnes de toutes les sources listées, cliquez sur "Profilage détaillé" et sélectionnez Appliquer pour toutes les colonnes de toutes les sources.
Si vous voulez supprimer le profilage détaillé pour toutes les colonnes, cliquez sur "Profilage détaillé" et sélectionnez Supprimer pour toutes les colonnes de toutes les sources.
7.
Cliquez sur Soumettre pour exécuter la tâche du profileur.
2012-11-22
Evaluation des données
Remarque :
Si les métadonnées de la table ont été modifiées depuis que vous les avez importées (par exemple, ajout d'une colonne), vous devez réimporter la table source avant d'exécuter la tâche du profileur.
Si vous avez cliqué sur l'option Soumettre la demande de profil de colonne pour atteindre cette fenêtre "Soumettre la demande du profileur de colonne", le panneau du moniteur du profileur s'affiche automatiquement en cliquant sur Soumettre.
Si vous avez cliqué sur Mettre à jour dans l'onglet "Profil" de la fenêtre "Afficher les données", la fenêtre du moniteur du "Profileur" ne s'affiche pas en cliquant sur Soumettre. A la place, une tâche du profileur est soumise de manière asynchrone et vous devez attendre qu'elle soit terminée pour pouvoir effectuer d'autres tâches dans Designer.
Vous pouvez également surveiller votre tâche de profileur d'après son nom dans l'Administrateur.
8.
Quand la tâche du profileur est terminée, vous pouvez afficher les résultats de profil dans l'option
Afficher les données.
Rubriques associées
•
Profil de colonne
•
Surveillance des tâches du profileur à l'aide de Designer
•
Affichage des résultats du profileur
• Guide d'administration : Configuration des ressources d'exécution
• Guide Management Console Guide : Surveillance des tâches du profileur à l'aide de l'Administrateur
15.1.4.2 Soumission des tâches du profileur de relations
Un profil de relation montre le pourcentage de valeurs sans correspondance dans les colonnes de deux sources. Les sources peuvent être un des éléments suivants :
• Tables
• Fichiers plats
• Combinaison d'une table et d'un fichier plat
Une relation de clé primaire et de clé étrangère peut être définie pour les colonnes ou bien elles peuvent
être sans relation (comme quand l'une vient d'une banque de données et l'autre d'un format de fichier).
Les deux colonnes ne doivent pas obligatoirement être du même type, mais elles doivent être convertibles. Par exemple, si vous exécutez une tâche du profileur de relations sur une colonne Integer et une colonne Varchar, le profileur de données convertit les valeurs des entiers en valeur de caractères
(Varchar) pour effectuer la comparaison.
346 2012-11-22
Evaluation des données
347
Remarque :
Le profileur de données consomme beaucoup de ressources lorsqu'il génère des valeurs de relations.
Si vous prévoyez d'utiliser le profilage de relations, vérifiez que le répertoire de cache paginable indiqué contient suffisamment d'espace disque pour la taille des données que vous profilez.
Rubriques associées
•
Sources de données qu'il est possible de profiler.
• Guide d'administration : Configuration des ressources d'exécution
15.1.4.2.1 Génération d'un profil de relation pour les colonnes de deux sources
1.
Dans la bibliothèque d'objets de Designer, sélectionnez deux sources.
Pour sélectionner deux sources dans la même banque de données ou le même format de fichier : a.
Accédez à l'onglet "Banque de données" ou "Format" dans la bibliothèque d'objets.
b.
Maintenez la touche Ctrl enfoncée en sélectionnant la deuxième table.
c.
Cliquez avec le bouton droit et sélectionnez Soumettre la demande de profil de relation.
Pour sélectionner deux sources de banques de données ou formats de fichier différents : a.
Accédez à l'onglet "Banque de données" ou "Format" dans la bibliothèque d'objets.
b.
Cliquez avec le bouton droit sur la première source, sélectionnez Soumettre la demande de
profil de la relation > Relation avec.
c.
Changez de banque de données ou de format dans la bibliothèque d'objets d.
Cliquez sur la deuxième source.
La fenêtre "Soumettre la demande de profil de la relation" s'affiche.
Remarque :
Il est impossible de créer un profil de relation pour les colonnes dont les données sont de type LONG ou TEXTE.
2.
(Facultatif) Modifiez le nom de la tâche du profileur.
Vous pouvez modifier le nom de la tâche afin de créer un nom plus significatif, un nom unique ou supprimer les tirets qui sont autorisés dans les noms des colonnes, mais pas dans ceux des tâches.
Le nom par défaut généré par le profileur de données pour plusieurs sources a le format suivant :
nomutilisateur
_t_nompremièresource_nomdernièresource
Colonne
nomutilisateur
Description
Nom d'utilisateur utilisé par le progiciel pour accéder aux services système.
t
Type de profil. La valeur est R pour le profil de relation qui obtient des valeurs sans correspondance dans les deux colonnes sélectionnées.
nompremière source
Nom de la première source sélectionnée.
nomdernièresource Nom de la dernière source sélectionnée.
2012-11-22
Evaluation des données
3.
Par défaut, s'il existe une relation, le volet supérieur de la fenêtre "Soumettre la demande de profil de la relation" affiche une ligne entre la colonne de clé primaire et la colonne de clé étrangère des deux sources. Vous pouvez changer les colonnes à profiler.
La moitié inférieure de la fenêtre "Soumettre la demande de profil de la relation" montre que la tâche du profileur va utiliser l'opération égale (=) pour comparer les deux colonnes. Le profileur de données va déterminer les valeurs qui ne sont pas égales et calculer le pourcentage de valeurs non correspondantes.
4.
Pour supprimer une relation existante entre deux colonnes, sélectionnez la ligne, cliquez avec le bouton droit et sélectionnez Supprimer la relation sélectionnée.
Pour supprimer toutes les relations existantes entre deux sources, exécutez une des actions suivantes :
• Cliquez avec le bouton droit dans le volet supérieur et cliquez sur Supprimer toutes les relations.
• Cliquez sur Supprimer toutes les relations près du bas de la fenêtre "Soumettre la demande de profil de la relation".
5.
S'il n'existe pas de relation de clé primaire et clé étrangère entre les deux sources de données, indiquez les colonnes à profiler. Vous pouvez redimensionner chaque source de données pour afficher toutes les colonnes.
Pour indiquer ou modifier les colonnes dont vous voulez voir les valeurs de relation : a.
Déplacez le curseur sur la première colonne à sélectionner. Maintenez le curseur enfoncé et dessinez une ligne vers l'autre colonne à sélectionner.
b.
Si vous avez supprimé toutes les relations et que vous voulez que le profileur de données sélectionne une relation de clé primaire et clé étrangère existante, cliquer avec le bouton droit dans le volet supérieur et cliquez sur Proposer une relation, ou bien cliquez sur Proposer une
relation près du bas de la fenêtre "Soumettre la demande de profil de la relation".
6.
L'option Enregistrer uniquement les données de colonnes clés est sélectionnée par défaut. Elle indique que le profileur de données enregistre les données uniquement dans les colonnes sélectionnées pour la relation. Aucun échantillon de données n'est visible dans les autres colonnes lorsque vous affichez le profil de la relation.
Pour voir les valeurs des autres colonnes dans le profil de la relation, sélectionnez l'option Enregistrer
les données de toutes les colonnes.
7.
Cliquez sur Soumettre pour exécuter la tâche du profileur.
Remarque :
Si les métadonnées de la table ont été modifiées depuis que vous les avez importées (par exemple, ajout d'une colonne), vous devez réimporter la table source avant d'exécuter la tâche du profileur.
8.
Le volet du moniteur du profileur s'affiche automatiquement lorsque vous cliquez sur Soumettre.
Vous pouvez également surveiller votre tâche de profileur d'après son nom dans l'Administrateur.
9.
Lorsque la tâche du profileur est terminée, vous pouvez afficher les résultats du profil dans l'option
Afficher les données en cliquant avec le bouton droit sur une tables dans la bibliothèque d'objets.
348 2012-11-22
