Classement et définition de priorité des moteurs d'analyse. SAP BusinessObjects Data Services 4.1 Support Package 1

PDF

Документ

Qualité des données

Rubriques associées

•

Configurations de transformation

•

Editeurs de transformation Qualité des données

•

Ajout d'une transformation de qualité des données à un flux de données

16.2.4 Classement et définition de priorité des moteurs d'analyse

Pour les entrées multilignes, il est possible de configurer la transformation Data Cleanse pour utiliser uniquement des analyseurs spécifiques et pour indiquer l'ordre dans lequel ils sont exécutés. Le fait de sélectionner soigneusement les analyseurs à utiliser et dans quel ordre peut être bénéfique. Le fait d'éteindre les analyseurs dont vous n'avez pas besoin améliore significativement la vitesse d'analyse et réduit les chances que les données soient mal analysées.

Il est possible de modifier l'ordre des analyseurs pour une entrée multiligne spécifique en modifiant l'option de séquence d'analyseur correspondante dans le groupe des options Configuration_Analyseur de la transformation Data Cleanse. Par exemple, pour modifier l'ordre des analyseurs pour le champ d'entrée Multiligne1, modifiez l'option Sequence_analyseur_Multiligne1.

Pour modifier les analyseurs sélectionnés ou l'ordre des analyseurs, sélectionnez une séquence d'analyseur, cliquez sur OK sur le message puis utilisez la fenêtre "Options classées" pour effectuer les modifications.

Rubriques associées

•

Editeur d'options classées

16.2.5 Données d'analyse

La transformation Data Cleanse peut identifier et isoler une large variété de données. Dans la transformation Data Cleanse, vous mappez les champs d'entrée des données aux champs d'entrée appropriés dans la transformation. Les données personnalisées contenant des données opérationnelles ou de produit sont toujours mappées aux champs multilignes. Les données personnelles et professionnelles, les données de téléphone, adresse électronique, date et numéro de sécurité sociale peuvent être mappées aux champs d'entrée ou aux champs d'entrée multilignes.

L'exemple ci-dessous indique la manière dont Data Cleanse analyse les données de produit à partir d'un champ d'entrée multiligne et les affiche dans les champs de sortie discrets. Les données peuvent

également être affichées dans des champs composites, tels que “Description standard”, qui peuvent

être personnalisés dans le Générateur de packages de nettoyage des données pour répondre à vos besoins.

382 2012-11-22

Qualité des données

Données d'entrée

Gant ultra grip profit 2.3 grand noir cuir synthétique élastique avec Velcro

Mechanix Wear

Données analysées

Catégorie du produit

Taille

Matière

Marque déposée

Style de poignet

Type de la paume

Couleur

Fournisseur

Description standard

Gant

Grand

Cuir synthétique

Pro-Fit 2.3 Series

Velcro élastique

Ultra-Grip

Noir

Mechanix Wear

Gant - cuir synthétique, noir, taille : grand, Style de poignet :

Velcro élastique, Ultra-Grip,

Mechanix Wear.

L'exemple ci-dessous indique la manière dont Data Cleanse analyse les données de nom et de société, et les affiche dans les champs de sortie discrets. Les données peuvent également être affichées dans des champs composites qui peuvent être personnalisés dans le Générateur de packages de nettoyage des données pour répondre à vos besoins.

Données d'entrée Données analysées

Titre de civilité

M. Dan R. Smith, Jr., Responsable des comptes, expertcomptable agréé. Jones Inc.

Prénom 1

Prénom 2

Nom de famille

Titre de maturité

Titre honorifique

Fonction

Société

Dan

Smith

Jr.

Expert-comptable agréé

Responsable des comptes

Jones, Inc.

383 2012-11-22

Qualité des données

Données d'entrée

James Witt 421-55-2424 [email protected] 507-

555-3423 20 Aout 2003

Données analysées

Prénom 1

Nom de famille

Sécurité sociale

Adresse électronique

Téléphone

Date

James

Witt

421-55-2424 [email protected]

507.555.3423

20 août 2003

La transformation Data Cleanse analyse jusqu'à 6 noms par enregistrement, 2 par champ d'entrée.

Pour les six noms trouvés, elle analyse les composants tels que le titre de civilité, les prénoms, le nom de famille et le suffixe du nom. Elle envoie ensuite les données vers les champs individuels La transformation Data Cleanse analyse également jusqu'à 6 titres par enregistrement.

La transformation Data Cleanse analyse jusqu'à 6 noms de société par enregistrement,1 par champ d'entrée.

16.2.5.1 Analyse des numéros de téléphone

Data Cleanse peut analyser le plan de numérotation nord-américain (NANP) et les numéros de téléphone internationaux. Lorsque Data Cleanse analyse un numéro de téléphone, il édite les composants individuels du numéro dans les champs appropriés.

Les systèmes de numérotation téléphonique sont différents à travers le monde. Data Cleanse reconnait les numéros de téléphone par leur modèle et également par leur indicatif du pays (pour les numéros hors NANP).

Data Cleanse recherche les numéros de téléphone d'Amérique du Nord à l'aide de modèles communément utilisés, tels que (234) 567-8901, 234-567-8901 et 2345678901. Data Cleanse donne la possibilité de modifier le format à la sortie (choix du séparateur, par exemple).

Data Cleanse recherche les numéros de téléphone non nord-américains par modèle. Les modèles utilisés sont indiqués dans le générateur de packages de nettoyage des données dans l'onglet Données

de référence. L'indicatif du pays doit apparaitre au début du numéro. Data Cleanse n'offre pas la possibilité de modifier le format des numéros de téléphone internationaux. De plus, Data Cleanse n'effectue pas une comparaison croisée avec les adresses pour voir si les indicatifs du pays et de la ville du numéro de téléphone correspondent à l'adresse.

Rubriques associées

•

A propos du mappage un par un

384 2012-11-22

Qualité des données

16.2.5.2 Analyse des dates

Data Cleanse reconnait les dates dans de nombreux formats et les décompose en composants.

Data Cleanse peut analyser jusqu'à six dates de l'enregistrement défini. C'est-à-dire que Data Cleanse identifie jusqu'à six dates à l'entrée, les décompose dans des composants, et les rend disponibles en sortie, soit dans le format d'origine, soit dans le format standard sélectionné par l'utilisateur.

Rubriques associées

•

A propos du mappage un par un

385

16.2.5.3 Analyse des numéros de sécurité sociale des Etats-Unis

Data Cleanse analyse les numéros de sécurité sociale des Etats-Unis qui sont seuls ou sur une ligne d'entrée entourés d'un autre texte.

Champs utilisés

Data Cleanse édite chaque composant d'un numéro de sécurité sociale analysé, c'est-à-dire l'ensemble du numéro, la zone, le groupe et la série.

Comment Data Cleanse analyse les numéros de sécurité sociale.

Data Cleanse analyse les numéros de sécurité sociale selon les étapes suivantes :

Il identifie un numéro de sécurité sociale potentiel en regardant les modèles suivants :

Modèle

nnnnnnnnn nnn nn nnnn nnn-nn-nnnn

Chiffres par groupe

9 chiffres consécutifs

3, 2 et 4 (pour zone, groupe et série)

Délimité par

non applicable espaces

Tous les séparateurs pris en charge

Il effectue un contrôle de validité sur les cinq premiers chiffres uniquement. Les résultats possibles de ce contrôle de validité sont :

Résultat Description

Réussite

Data Cleanse a analysé les données et le numéro de sécurité sociale est édit dans un champ de sortie de numéro de sécurité sociale.

2012-11-22

Qualité des données

Résultat

Echoué

Description

Data Cleanse n'a pas analysé les données parce qu'il ne s'agit pas d'un numéro de sécurité sociale tel que défini par le gouvernement américain. Les données sont sorties comme des données supplémentaires, non analysées.

Contrôle de la validité

Lors d'un contrôle de validité, Data Cleanse ne vérifie pas qu'un numéro de sécurité sociale à 9 chiffres particulier soit émis, ou qu'il s'agisse du bon numéro pour la personne nommée. Il valide à la place les

5 premiers chiffres (zone et groupe). Data Cleanse ne valide pas les 4 derniers chiffres (série), sauf pour confirmer que ce sont des chiffres.

Données des Administrations de sécurité sociale

Data Cleanse valide les cinq premiers chiffres en fonction d'une table de l'Administration de la Sécurité

Sociale ( http://www.socialsecurity.gov/employer/ssns/HGJune2411_final.txt

). Les règles et les données qui guident ce contrôle sont disponibles sur http://www.ssa.gov/history/ssn/geocard.html

. Les informations sur le numéro de sécurité sociale référencées par Data Cleanse sont inclues dans le package de nettoyage des données.

Sorties de numéros de sécurité sociale valides

Data Cleanse sort uniquement les numéros de sécurité sociale qui ont réussi la validation. Si un numéro de sécurité sociale apparent échoue la validation, Data Cleanse ne transmet pas le numéro comme un numéro de sécurité sociale analysé, mais comme un numéro non valide.

Rubriques associées

• Guide de référence : transformations, champs de sortie Data Cleanse

386

16.2.5.4 Analyse des adresses électroniques

Lorsque Data Cleanse analyse des données d'entrée qu'il détermine être une adresse électronique, il place les composants de ces données dans des champs spécifiques pour la sortie. Ci-dessous se trouve un exemple d'une adresse électronique simple : [email protected]

En identifiant les différents composants des données (nom d'utilisateur, hôte, etc.) par leur relation entre eux, Data Cleanse peut affecter les données à des attributs spécifiques (champs de sortie).

Champs de sortie utilisés par Data Cleanse

Data Cleanse édite les composants individuels d'une adresse électronique analysée, c'est-à-dire le nom d'utilisateur du courrier électronique, le nom de domaine complet, le domaine principal, le deuxième domaine, le troisième domaine, le quatrième domaine, le cinquième domaine et le nom de l'hôte.

2012-11-22

Qualité des données

Ce que fait Data Cleanse

Data Cleanse peut exécuter les actions suivantes :

• Analyser une adresse électronique située dans un champ discret ou combinée avec d'autres données dans un champ multiligne.

• Répartir le nom du domaine dans ses sous-éléments.

• Vérifier que l'adresse électronique se trouve dans le bon format.

• Indiquer que l'adresse inclut un fournisseur d'accès à internet (FAI) ou un nom de domaine de courrier électronique référencé dans le type de courrier électronique des données de référence dans

Data Cleanse. Cet indicateur est affiché dans le champ de sortie Email_is_ISP.

Ce que Data Cleanse ne vérifie pas

Plusieurs aspects d'une adresse électronique ne sont pas vérifiés par Data Cleanse. Data Cleanse ne vérifie pas :

• si le nom du domaine (la partie à droite du signe @) est enregistré.

• si un serveur de courrier électronique est activé à cette adresse.

• si le nom d'utilisateur (la partie à gauche du signe @) est enregistré sur ce serveur de courrier

électronique (le cas échéant).

• si le nom personnel dans l'enregistrement peut être atteint à cette adresse électronique.

Composants d'adresse électronique

Le champ de sortie dans lequel Data Cleanse place les données dépend de la position des données dans l'enregistrement. Data Cleanse suit le système de nom de domaine (DNS) pour déterminer le bon champ de sortie.

Par exemple, si [email protected] correspondait à des données d'entrée,

Data Cleanse éditerait les éléments dans les champs suivants :

Champs de sortie

Adresse électronique

Utilisateur_Email

Domaine_Messagerie_Complet

Domaine_Messagerie_Principal

Domaine_Messagerie_Deuxième

Domaine_Messagerie_Troisième

Domaine_Messagerie_Quatrième

Domaine_Messagerie_Cinquième

Domaine_Messagerie_Hôte

Valeur de sortie

[email protected]

expat london.home.office.city.co.uk

uk co city office home london

387 2012-11-22

Qualité des données

Rubriques associées

•

A propos du mappage un par un

16.2.5.5 Analyse des modèles définis par l'utilisateur

Data Cleanse peut analyser les modèles trouvés dans une grande variété de données telles que :

• numéros de compte

• numéros de référence

• bons de commande

• numéros de facture

• NIV (numéro d'identification du véhicule)

• numéros du permis de conduire

Autrement dit, Data Cleanse peut analyser toutes les séquences alphanumériques pour lesquelles vous pouvez définir un modèle.

L'analyseur UDPM (correspondance des modèles définis par l'utilisateur) recherche le modèle dans chaque champ complet.

Les modèles sont définis à l'aide d'expressions régulières dans l'onglet Données de référence du générateur de packages de nettoyage des données. Faîtes un contrôle avec le propriétaire du package de nettoyage des données pour déterminer tout mappage requis pour les champs d'entrée et les champs de sortie (attributs).

16.2.5.6 Analyse des noms et numéros de rue

Data Cleanse n'identifie et n'analyse pas les composants individuels d'adresses. Pour analyser les données qui contiennent des informations d'adresse, traitez-les avec les transformations Global Address

Cleanse ou U.S. Regulatory Address Cleanse avant Data Cleanse. Si les données d'adresse sont traitées par la transformation Data Cleanse, elles sont généralement éditées dans les champs

"Supplément".

Rubriques associées

•

Fonctionnement d'Address Cleanse

388 2012-11-22

Qualité des données

389

16.2.5.7 A propos de l'analyse des données de société

Data Cleanse peut analyser des données de société.

Data Cleanse accepte ces noms de société seuls dans un champ ou avec d'autres données.

Une exception sur la manière dont Data Cleanserecombine les parties de mot contigües est faite pour les mots qui se terminent par un “S”, tels que Applebee's ou Macy's. Une chaîne d'entrée “Macy's” est divisée en trois jetons : MACY, ', s. Puisque le dernier jeton est un “S”, Data Cleanse combine d'abord les jetons et recherche le terme comprenant l'apostrophe (MACY'S). Si le terme n'est pas trouvé, Data

Cleanse recherche le terme sans l'apostrophe (MACYS). Si cette opération échoue, Data Cleanse laisse automatiquement les jetons ensemble (MACY'S) et ajoute la classification

FIRM_MISCELLANEOUS au terme. Puisque les mots terminant par “S” restent automatiquement ensemble, il n'est pas nécessaire d'ajouter au dictionnaire tous les noms de société comportant la marque du possessif.

16.2.5.8 A propos de l'analyse des données de nom et de titre

Data Cleanse peut analyser les données de nom et de titre.

Le nom d'une personne peut comprendre les parties suivantes : titre de civilité, prénoms, noms de famille, suffixes du nom, etc.

Data Cleanse peut accepter jusqu'à deux noms et titres comme composants discrets. Data Cleanse accepte également les données de nom et de titre avec d'autres données ou seules dans un champ.

La ligne du nom ou le champ multiligne peut contenir un ou deux noms par champ.

16.2.5.9 A propos du mappage un par un

Le mappage un par un est une option de la transformation Data Cleanse qui contrôle la manière dont plusieurs analyseurs éditent les données.

L'option Mappage un par un est disponible pour ces analyseurs :

• Date

• Courrier électronique

• Téléphone

2012-11-22

Qualité des données

Si l'option est définie sur Oui, la transformation Data Cleanse édite les données analysées de certains champs d'entrée discrets vers leurs champs de sortie correspondants. Les champs de sortie sont

“réservés” pour les analyses réalisées à partir de certains champs d'entrée discrets. Cette option affiche plus clairement le mappage du champ d'entrée qui contenait les données d'origine d'après les données analysées dans le champ de sortie. Par exemple, si les données d'entrée de Téléphone1 à Téléphone5

étaient vides et que le champ Téléphone6 contenait des données, à la sortie, les champs Téléphone1

à Téléphone5 sont toujours vides et Téléphone6 contient les données analysées.

Lorsque l'option Mappage un par un est définie sur Oui, tous les analyseurs qui utilisent cette option sont définis sur Oui. Par exemple, il est impossible d'activer l'option Mappage un par un uniquement pour l'analyseur de téléphone.

Si l'option Mappage un par un est définie sur Non, la transformation Data Cleanse analyse et édite les données dans l'ordre où elles sont entrées dans l'analyseur. Les données ne sont pas nécessairement envoyées vers le même champ que celui auquel elles étaient mappées à la sortie. Les données sont

éditées dans le premier champ disponible de la catégorie.

Remarque :

Les exemples de cette section illustrent les champs Date. Les mêmes exemples s'appliquent aussi aux champs Téléphone et Adresse électronique.

Exemple :

Cha mp

Date1

Données d'entrée

Données de sortie lorsque l'option est Non

<vide> 01/01/1968

Date2

Date3

Date4

Date5

Date6

01/01/1968

02/02/1968

<vide>

03/03/1968

04/04/1968

02/02/1968

03/03/1968

04/04/1968

<vide>

Données de sortie lorsque l'option estOui

<vide>

01/01/1968

02/02/1968

<vide>

03/03/1968

04/04/1968

Champs multilignes

Les champs discrets Date, Adresse électronique et Téléphone sont analysés avant les champs multilignes afin que tous les champs non réservés puissent contenir des données des champs multilignes.

Exemple :

Cha mp

Données d'entrée

Date1 <vide>

Données de sortie lorsque l'option est Non

01/01/1968

Données de sortie lorsque l'option estOui

<vide>

390 2012-11-22

Qualité des données

Cha mp

Données d'entrée

Date2 01/01/1968

Date3 <vide>

Date4 02/02/1968

Date5 <vide>

Données de sortie lorsque l'option est Non

02/02/1968

03/03/1968

04/04/1968

<vide>

Date6 <vide>

Multi ligne1

03/03/1968

04/04/1968

<vide>

Données de sortie lorsque l'option estOui

01/01/1968

<vide>

02/02/1968

03/03/1968 (non réservé, l'entrée multiligne peut être ajoutée ici)

04/04/1968 (non réservé, l'entrée multiligne peut être ajoutée ici)

<vide>

Champs Supplément

Quand l'option Mappage un par un est définie sur Oui et que le champ d'entrée contient plusieurs jeux de données, seul le premier jeu de données est placé dans le champ de sortie correspondant.

Tous les autres jeux de données sont placés dans le champ Supplément.

Exemple :

Champ

Données d'entrée

Date1

01/01/1968

02/02/1968

03/03/1968

04/04/1968

05/05/1968

06/06/1968

07/07/1968