Evaluation des données
15.4 Utilisation de l'Audit
L'audit offre la possibilité de s'assurer qu'un flux de données charge les données correctes dans l'entrepôt. Utilisez l'audit pour effectuer les tâches suivantes :
• Définir les points de vérification pour collecter les statistiques d'exécution sur les données qui sortent des objets. L'audit enregistre ces statistiques dans le référentiel.
• Définir des règles avec ces statistiques d'audit pour s'assurer qu'aux points suivants d'un flux de données, les données correspondent à celles attendues :
• Extraites des sources
• Traitées par des transformations
• Chargées dans les cibles
• Générer une notification d'exécution qui inclut la règle d'audit qui a échoué et les valeurs des statistiques d'audit au moment de l'échec.
• Afficher les statistiques d'audit après l'exécution du job pour aider à identifier les objets dans le flux de données qui peuvent avoir produit les données incorrectes.
Remarque :
Si vous ajoutez un point de vérification avant une opération qui est normalement poussée vers le bas vers le serveur de base de données, la performance peut se dégrader car ces opérations ne peuvent avoir lieu après un point de vérification.
15.4.1 Audit d'objets dans un flux de données
Il est possible de collecter les statistiques d'audit sur les données qui sortent d'un objet, tel qu'une source, une transformation ou une cible. Si une transformation a plusieurs sorties distinctes ou différentes
(telles que Validation ou Case), il est possible de réaliser un audit pour chaque sortie indépendamment.
Pour utiliser l'audit, définissez les objets suivant dans la fenêtre "Audit" :
Nom de l'objet
Point de vérification
Description
L'objet dans un flux de données dans lequel vous collectez les statistiques d'audit. Il est possible de réaliser un audit pour une source, une transformation ou une cible. Vous identifiez l'objet à vérifier lors de la définition d'une fonction d'audit sur celui-ci.
362 2012-11-22
Evaluation des données
Nom de l'objet
Fonction d'audit
Etiquette d'audit
Règle d'audit
Description
Les statistiques d'audit collectées par le logiciel pour une table, un schème de sortie ou une colonne. La table suivante montre les fonctions d'audit qu'il est possible de définir.
Objet de données Fonction d'audit Description
Table ou schéma de sortie
Count
Cette fonction collecte deux statistiques :
• Un nombre correct pour les lignes qui ont été traitées avec succès.
• Un nombre d'erreur pour les lignes qui ont généré certains types d'erreurs si vous avez activé la gestion des erreurs.
Colonne
Colonne
Colonne
Sum
Average
Checksum
Somme des valeurs numériques dans la colonne. Les types de données applicables incluent les nombres décimaux, doubles, entiers et réels. Cette fonction comprend uniquement les lignes correctes.
Moyenne des valeurs numériques dans la colonne. Les types de données applicables incluent les nombres décimaux, doubles, entiers et réels. Cette fonction comprend uniquement les lignes correctes.
Total de contrôle des valeurs dans la colonne.
Le seul nom dans le flux de données généré par le logiciel pour les statistiques d'audit collectées pour chaque fonction d'audit définie. Ces étiquettes permettent de définir des règles d'audit pour le flux de données.
Une expression booléenne dans laquelle vous utilisez les étiquettes d'audit pour vérifier le job. Si vous définissez plusieurs règles dans un flux de données, toutes les règles doivent réussir, sinon l'audit échoue.
363 2012-11-22
Evaluation des données
Nom de l'objet Description
Actions en cas d'échec de l'audit
Une ou plus des trois façons de générer des notifications d'un échec de la règle (ou des règles) d'audit : adresse électronique, script personnalisé, lever une exception.
15.4.1.1 Fonction d'audit
Cette section décrit les types de données pour les fonctions d'audit et pour les statistiques du nombre d'erreurs.
Types de données
La table suivant montre le type de données par défaut pour chaque fonction d'audit et les types de données autorisés. Il est possible de modifier le type de données dans la fenêtre "Propriétés" pour chaque fonction d'audit de Designer.
Fonctions d'audit Type de données par défaut
Nombre
Somme
Moyenne
Total de contrôle
ENTIER
Type de colonne audité
Type de colonne audité
VARCHAR(128)
Types de données autorisés
ENTIER
ENTIER, DECIMAL, DOUBLE, REEL
ENTIER, DECIMAL, DOUBLE, REEL
VARCHAR(128)
Statistique du nombre d'erreurs
Lorsque vous activez une fonction d'audit Nombre, le logiciel collecte deux types de statistiques :
• Nombre de lignes correctes pour les lignes traitées sans erreur.
• Nombre de lignes d'erreurs pour les lignes qui n'ont pas pu être traitées par le job, et que ce dernier ignore pour pouvoir continuer à traiter. Les lignes d'erreur peuvent se produire lorsque vous spécifiez l'option Utiliser le filtre de dépassement de capacité dans l'Editeur source ou l'Editeur cible.
364
15.4.1.2 Etiquette d'audit
Le logiciel génère un nom unique pour chaque fonction d'audit définie à un point de vérification. Il est possible de modifier les noms d'étiquettes. Vous pouvez souhaiter modifier un nom d'étiquette pour créer un nom significatif plus court ou pour supprimer les tirets, qui sont autorisés dans les noms de colonnes mais pas dans les noms d'étiquettes.
2012-11-22
Evaluation des données
Génération de noms d'étiquette
Si le point de vérification se trouve sur une table ou sur un schéma de sortie, le logiciel génère les deux
étiquettes suivantes pour la fonction d'audit Nombre :
$Count_objectname
$CountError_objectname
Si le point de vérification se trouve sur une colonne, le logiciel génère une étiquette d'audit sous le format suivant :
$ fonctionaudit_nomobjet
Si le point de vérification se trouve dans un flux de données incorporé, les étiquettes sont sous les formats suivants :
$Count_objectname_embeddedDFname
$CountError_objectname_embeddedDFname
$auditfunction_objectname_embeddedDFname
Modification de noms d'étiquette
Il est possible de modifier le nom de l'étiquette d'audit lors de la création de la fonction d'audit, et avant la création d'une règle d'audit qui utilise l'étiquette.
Si vous modifiez le nom d'étiquette après l'avoir utilisé dans une règle d'audit, la règle d'audit n'utilise pas automatiquement le nouveau nom. Vous devez redéfinir la règle avec le nouveau nom.
15.4.1.3 Règle d'audit
Une règle d'audit est une expression booléenne qui comporte un côté gauche, un opérateur booléen et un côté droit.
• Le côté gauche peut être une seule étiquette d'audit, plusieurs étiquettes d'audit qui forment une expression avec un ou plusieurs opérateur(s) mathématique(s), ou une fonction avec des étiquettes d'audit comme paramètres.
• Le côté droit peut être une seule étiquette d'audit, plusieurs étiquettes d'audit qui forment une expression avec un ou plusieurs opérateur(s) mathématique(s), une fonction avec des étiquettes d'audit comme paramètres, ou une constante.
Les expressions booléennes suivantes sont des exemples de règles d'audit :
$Count_CUSTOMER = $Count_CUSTDW
$Sum_ORDER_US + $Sum_ORDER_EUROPE = $Sum_ORDER_DW round($Avg_ORDER_TOTAL) >= 10000
15.4.1.4 Notification d'audit
365 2012-11-22
