Préparation de correspondance. SAP BusinessObjects Data Services 4.1 Support Package 1

Documento

Qualité des données

Sélectionnez une transformation Match dans votre flux de données, puis sélectionnez Outils >

Editeur de correspondance.

Dans l'éditeur Match, sélectionnez Options de transformation dans le volet de l'explorateur situé

à gauche, cliquez sur le bouton Ajouter, puis sélectionnez Groupes source.

La nouvelle opération Groupes source apparaît sous l'opération Sources d'entrée dans le volet de l'explorateur. Sélectionnez-la pour afficher les options Groupe source.

Confirmez que les sources d'entrée requises se trouvent dans la colonne Sources située à droite.

Cliquez deux fois sur la première ligne dans la colonne Groupes source située à gauche, puis saisissez un nom pour votre premier groupe source et appuyez sur Entrée.

Sélectionnez une source dans la colonne Sources, puis cliquez sur le bouton Ajouter.

Sélectionnez une valeur pour l'option Action non définie.

Cette option spécifie l'action à exécuter si une source d'entrée n'apparaît pas dans un groupe source.

Si vous avez sélectionné Par défaut comme action non définie à l'étape précédente, vous devez sélectionner une valeur dans l'option Groupe source par défaut.

Cette option est renseignée avec les groupes source que vous avez déjà définis. Si une source d'entrée n'est pas affectée à un groupe source, elle est affectée à ce groupe source par défaut.

Si vous le souhaitez, sélectionnez un champ dans la liste déroulante de l'option Champ du groupe

source contenant la valeur de vos groupes source.

16.4.7 Préparation de correspondance

16.4.7.1 Préparation des données pour la correspondance

Correction et normalisation des données

La précision des correspondances dépend de la qualité des données utilisées dans la transformation

Match. Pour établir une correspondance batch, il est toujours recommandé d'intégrer l'une des transformations de nettoyage d'adresse et une transformation Data Cleanse dans le flux de données avant de lancer la mise en correspondance.

Filtrage des enregistrements vides

Vous devez filtrer les enregistrements vides avant la mise en correspondance. Vous bénéficierez ainsi de meilleures performances. Utilisez une transformation Case pour diriger les enregistrements vers un autre chemin ou une transformation Query pour filtrer ou bloquer les enregistrements.

446 2012-11-22

Qualité des données

Mots parasites

Vous pouvez exécuter une recherche et remplacer les mots non significatifs pour le processus de correspondance. Dans le cas d'une correspondance basée sur les données société, des mots tels que

Inc., Corp., et Ltd. peuvent être supprimés. Pour cela, vous pouvez utiliser la fonction de recherche et remplacement dans la transformation Query.

Groupes de décomposition

Les groupes de décomposition organisent les enregistrements dans des collections représentant des correspondances potentielles, ce qui réduit le nombre de comparaisons à effectuer par la transformation

Match. Pour de meilleures performances, insérez une opération Groupe de décomposition dans la transformation Match.

Standards de correspondance

Pour obtenir plus facilement une correspondance, vous pouvez inclure des variantes de nom ou de données société dans le processus de correspondance. La variante de Bill correspond, par exemple,

à William. Pour effectuer des comparaisons, il est possible d'utiliser les données d'origine et une ou plusieurs variantes. Selon le type de données, vous pouvez ajouter un nombre compris entre un et cinq de variantes ou standards de correspondance à l'endroit de votre choix.

Si, par exemple, les prénoms sont comparés mais ne correspondent pas, les variantes sont comparées.

Si les variantes correspondent, les deux résultats ont encore une chance de concorder car les prénoms d'origine n'ont pas été considérés comme une correspondance.

Standards de correspondance personnalisée

Vous pouvez établir la correspondance d'après des champs de sortie Data Cleanse personnalisés et les alias associés. Mappez les champs de sortie personnalisés de Data Cleanse et les champs personnalisés s'afficheront dans l'onglet Champs de critères de l'éditeur de correspondance.

16.4.7.1.1 Champs à inclure pour la correspondance

Pour bénéficier des nombreuses fonctionnalités de la transformation Match, vous devez mapper plusieurs champs d'entrée autres que ceux que vous voulez utiliser comme critères de correspondance.

Exemple :

Voici certains des champs que vous pouvez inclure : Les noms des champs sont sans importance tant que vous vous souvenez des données qu'ils contiennent.

Contenu du champ

Source logique

Source physique

Contient...

Valeur qui spécifie de quelle source logique un enregistrement est issu. Ce champ est utilisé dans l'opération Grouper statistiques, dans les tables de comparaison et dans la transformation Associate.

Valeur qui spécifie de quelle source physique un enregistrement est issu. (Par exemple, un objet source ou un groupe d'enregistrements sélectionnés par le candidat.)

Ce champ est utilisé dans les options de la transformation Match, dans l'opération

Sélection du candidat et dans la transformation Associate.

447 2012-11-22

Qualité des données

Contenu du champ Contient...

Clés de décomposition

Champs de critères

Indicateurs de nombre

Priorité d'enregistrement

Champ qui contient la valeur de clé de décomposition pour la création de groupes de décomposition. Le fait d'inclure un champ qui contient déjà la valeur de clé de décomposition peut améliorer la performance dans la création des groupes de décomposition, car, dans ce cas, la transformation Match n'a pas à analyser plusieurs champs pour créer la clé de décomposition.

Champs qui contiennent les données à mettre en correspondance.

Valeur Oui ou Non pour indiquer si une source logique doit être comptée dans une opération Grouper statistiques.

Valeur utilisée pour indiquer qu'un enregistrement a la priorité sur un autre lors du classement des enregistrements. Ce champ est utilisé dans les opérations Hiérarchisation du groupe.

Appliquer une pénalité pour champ vide

Valeur ID unique de départ

Valeur Oui ou Non pour indiquer si Match doit appliquer une pénalité pour champ vide à un enregistrement. Ce champ est utilisé dans les opérations Hiérarchisation du groupe.

Valeur ID de départ incrémentée de 1 chaque fois qu'un ID unique est affecté. Ce champ est utilisé dans l'opération ID unique.

Il ne s'agit pas d'une liste complète. Selon les fonctionnalités que vous voulez utiliser, vous pouvez inclure d'autres champs qui seront utilisés dans la transformation Match.

448

16.4.7.2 Contrôle des comparaisons d'enregistrements

Le contrôle du nombre de comparaisons d'enregistrements dans le processus de correspondance est important pour deux raisons :

• Vitesse : En contrôlant le nombre réel de comparaisons, vous pouvez réduire le temps de traitement.

• Qualité de correspondance : En regroupant uniquement les enregistrements susceptibles de correspondre, vous êtes assuré d'obtenir de meilleurs résultats dans votre processus de correspondance.

Le contrôle du nombre de comparaisons s'effectue principalement dans la section Formation du groupe de l'éditeur de correspondance avec les opérations suivantes :

• Groupe de décomposition : décomposez vos enregistrements en petits groupes d'enregistrements plus susceptibles de correspondre.

• Sélection du candidat : sélectionnez uniquement les candidats de correspondance dans une table de base de données. Cette opération est principalement utilisée pour les jobs en temps réel.

2012-11-22

Qualité des données

Vous pouvez aussi utiliser des tables de comparaison pour inclure ou exclure des enregistrements pour comparaison par une source logique.

Rubriques associées

•

Groupes de décomposition

•

Sélection de candidats

•

Tables de comparaison

16.4.7.2.1 Groupes de décomposition

Lorsque vous créez des groupes de décomposition, vous placez les enregistrements dans des groupes susceptibles de correspondre. Par exemple, un scénario courant consiste à créer des groupes de décomposition basés sur un code postal. Cela permet de s'assurer que les enregistrements de codes postaux différents ne seront jamais comparés, car les chances de trouver un enregistrement correspondant avec un code postal différent sont très minces.

Clés de décomposition

Vous formez des groupes de décomposition en créant une clé de décomposition, à savoir un champ constitué de parties d'autres champs ou un champ unique qui est ensuite utilisé pour regrouper les enregistrements basés sur des données similaires.

Voici un exemple de clé de décomposition type créée en combinant les cinq chiffres du champ Postcode1 et les trois premiers caractères du champ Address_Primary_Name.

Champ (position de départ : longueur)

Données du champ Clé de décomposition générée

Postcode1 (1:5)

Address_Primary_Name

(1:3)

10101

Main

10101Mai

Dans cet exemple, tous les enregistrements correspondant à la clé de décomposition générée sont placés dans le même groupe de décomposition et comparés.

Tri des enregistrements dans le groupe de décomposition

Les enregistrements sont triés dans le champ de la clé de décomposition.

Vous pouvez ajouter une opération Hiérarchisation du groupe après l'opération Groupes de décomposition pour indiquer les enregistrements pilotes.

Rappel :

L'ordre est important ! Si vous créez des groupes de décomposition à l'aide d'enregistrements issus d'une source de type Suppression, assurez-vous que les enregistrements de suppression sont les pilotes dans le groupe de décomposition.

449 2012-11-22

Qualité des données

Structure des groupes de décomposition

Les groupes de décomposition sont constitués d'enregistrements pilotes et d'enregistrements passagers.

L'enregistrement pilote est le premier enregistrement dans le groupe de décomposition et tous les autres enregistrements sont des enregistrements passagers.

L'enregistrement pilote est celui qui pilote le processus de comparaison dans la correspondance. Le pilote est d'abord comparé à tous les passagers.

Cet exemple est basé sur une clé de décomposition qui utilise les trois premiers chiffres du code postal.

450

Clés de décomposition phonétiques

Vous pouvez aussi utiliser les fonctions Soundex et Double Metaphone pour créer des champs contenant des codes phonétiques, qui peuvent ensuite être utilisés pour former des groupes de décomposition pour la correspondance.

Rubriques associées

•

Correspondance phonétique

• Guide de la console de gestion : Rapports Data Quality, rapport Contribution de correspondance

Création de groupes de décomposition

Il est recommandé de standardiser les données avant de créer les clés de décomposition. Les données peuvent être traitées différemment, par exemple avoir une casse incohérente.

Ajoutez une opération Groupes de décomposition au groupe d'options Formation du groupe.

Ajoutez une ligne dans la table de clés de décomposition en cliquant sur le bouton Ajouter.

Sélectionnez un champ dans la colonne Champ que vous voulez utiliser comme clé de décomposition.

Le code postal est une clé de décomposition courante.

2012-11-22

Qualité des données

Sélectionnez la position de début et la longueur (nombre de caractères) à utiliser dans votre clé de décomposition.

Vous pouvez utiliser des nombres entiers négatifs pour indiquer que vous voulez débuter à la fin de la longueur réelle de la chaîne et non de la longueur spécifiée du champ. Par exemple,

Champ(-3,3) prend les 3 derniers caractères de la chaîne, qu'elle ait une longueur de 10 ou de 5.

Ajoutez des lignes et des champs, si nécessaire.

Classez vos lignes en sélectionnant une ligne, puis en cliquant sur les boutons Déplacer vers le

haut et Déplacer vers le bas.

Le classement des lignes permet de s'assurer que les champs sont utilisés dans le bon ordre dans la clé de classification.

Votre clé de classification est créée.

16.4.7.2.2 Sélection de candidats

Pour accélérer le traitement dans un job de correspondance, utilisez l'opération Sélection du candidat

(groupe d'options Formation du groupe) dans la transformation Match pour ajouter des rapports d'une base de données relationnelle à une collection de données existante avant la mise en correspondance.

Lors de leur ajout, les enregistrements ne sont pas regroupés de façon logique. Ils sont simplement ajoutés à la fin de la collection de données, enregistrement par enregistrement, jusqu'à ce que la collection atteigne la taille définie.

Supposons que vous disposiez d'une nouvelle source d'enregistrements que vous voulez comparer à votre entrepôt de données dans un job batch. Vous pouvez sélectionner les enregistrements correspondant aux clés de décomposition de la nouvelle source à partir de cet entrepôt. Cette méthode contribue à limiter le nombre de comparaisons à effectuer par la transformation Match.

En voici une illustration simplifiée : supposons que votre job compare une nouvelle base de données source - un petit fichier régional - à une importante base de données nationale comprenant

15 enregistrements de 43 000 codes postaux. Supposons ensuite que vous vouliez former des groupes de décomposition en fonction du code postal seulement.

451 2012-11-22

Qualité des données

Notes Régional

Sans la sélection du candidat, la transformation Match lit tous les enregistrements des deux bases de données.

1 500

Avec la sélection du candidat, seuls les enregistrements qui seraient inclus dans un groupe de décomposition sont lus.

1 500

National

750 000

Environ 600 (40 x 15)

Total

751 500

2 100

Banques de données et sélection de candidats

Pour utiliser la sélection de candidats, vous devez vous connecter à une banque de données valide.

Vous pouvez vous connecter à une banque de données basée sur SQL ou utilisant un cache persistant.

Les deux présentent des avantages selon que votre source secondaire est statique (rarement mise à jour) ou dynamique (souvent mise à jour).

Banque de données utilisant un cache persistant

Similaire à toute autre banque de données permettant de charger votre ensemble de candidats. Si la source secondaire que vous utilisez pour votre sélection de candidats est statique (rarement modifiée), vous pouvez envisager de créer un cache persistant à utiliser comme table secondaire plutôt que d'utiliser votre source secondaire directement. Vous pouvez améliorer la performance.

Vous pouvez aussi l'améliorer en utilisant un fichier plat (format de recherche plus simple que SGBDR) pour votre cache persistant. Si la source secondaire n'est pas SGBDR, par exemple un fichier plat, vous ne pouvez pas l'utiliser comme "banque de données". Dans ce cas, vous pouvez créer un cache persistant à partir de cette source de fichier plat, puis l'utiliser pour la sélection de candidats.

Remarque :

Un cache persistant utilisé pour la sélection de candidats doit être créé par un flux de données sur deux octets. Pour ce faire, vous devez modifier l'option Paramètres régionaux dans le Sélecteur de paramètres régionaux Data Services (définissez la page de code sur utf-8). Exécutez le job pour générer le cache persistant. Vous pouvez ensuite redéfinir la page de code sur sa définition initiale, si vous le souhaitez.

Taille du cache

L'amélioration des performances à l'aide du cache persistant dépend aussi de la taille des données de la source secondaire. Plus la taille des données chargées dans le cache persistant augmente, plus les performances risquent de diminuer. Notez aussi que si la table de la source secondaire initiale est correctement indexée et que sa vitesse est optimisée, la création d'un cache persistant (ou même d'un cache pré-chargé) ne présente pas forcément d'intérêt.

Rubriques associées

•

Banques de données de cache persistant

452 2012-11-22

Qualité des données

453

SQL généré automatiquement ou personnalisé

Dans certains cas, la transformation Match peut générer le SQL. Sinon, vous devez le créer. Cela dépend des options que vous avez définies et de la configuration de votre table secondaire (la table dans laquelle vous sélectionnez des candidats de correspondance).

Servez-vous de cette table pour déterminer si vous pouvez utiliser un SQL généré automatiquement ou si vous devez créer votre propre SQL.

Remarque :

Dans les scénarios suivants, les “données d'entrée” font référence à des champs de clé de décomposition issus d'une transformation en amont de la transformation Match (une transformation Query par exemple) ou à des champs de clé de décomposition issus de l'opération Groupe de décomposition au sein de la transformation Match.

Scénario

Générer automatiquement ou personnaliser ?

Vous disposez d'un seul champ de clé de décomposition dans vos données d'entrée et du même champ dans votre table secondaire.

Générer automatiquement

Vous disposez de plusieurs champs de clé de décomposition dans vos données d'entrée et des mêmes champs dans votre table secondaire.

Vous disposez de plusieurs champs de clé de décomposition dans vos données d'entrée et d'un seul champ de clé de décomposition dans votre table secondaire.

Générer automatiquement

Vous disposez d'un seul champ de clé de décomposition dans vos données d'entrée et de plusieurs champs de clé de décomposition dans votre table secondaire.

Vous disposez de plusieurs champs de clé de décomposition dans vos données d'entrée, mais d'un format ou d'un nombre de champs différents dans votre table secondaire.

Personnaliser

Vous voulez effectuer votre sélection dans plusieurs sources d'entrée.

Personnaliser

Clés de décomposition et sélection de candidats

Il est recommandé de créer une colonne de clé de décomposition dans la table secondaire (celle qui contient les enregistrements à comparer aux données d'entrée dans le flux de données) correspondant

à la clé de décomposition utilisée pour créer les groupes de décomposition dans la transformation

Match. Cela simplifie la configuration de l'opération Sélection de candidats. En outre, chaque colonne doit être indexée.

2012-11-22

Qualité des données

454

Il est également recommandé de créer et renseigner la base de données utilisée avec un champ de clé de décomposition unique plutôt que d'extraire des sous-chaînes de champs de base de données pour créer votre clé de décomposition. Cela peut améliorer la performance de la sélection de candidats.

Remarque :

Les enregistrements extraits par la sélection de candidats sont ajoutés à la fin d'un groupe de décomposition existant (le cas échéant). Par conséquent, si vous ne reclassez pas les enregistrements

à l'aide d'une opération Hiérarchisation du groupe après l'opération Sélection de candidats, les enregistrements de la source d'origine seront toujours les enregistrements pilotes dans les groupes de décomposition. Si vous utilisez la sélection de candidats sur une source Suppression, vous devez reclasser les enregistrements pour que les enregistrements de la source Suppression soient les enregistrements pilotes.

Configuration de la sélection du candidat

Si vous utilisez la Sélection du candidat pour un job en temps réel, veillez à décocher l'option Fractionner

les enregistrements en groupes de décomposition dans l'opération Groupe de décomposition de la transformation Match.

Pour accélérer le temps de traitement dans un job de correspondance en temps réel, utilisez l'opération

Sélection du candidat (groupe d'options Formation du groupe) dans la transformation Match pour ajouter des enregistrements d'une base de données relationnelle à une collection de données existante avant la correspondance. Lorsque les enregistrements sont ajoutés, ils ne sont pas regroupés de façon logique. Ils sont simplement ajoutés un à un à la fin de la collection de données jusqu'à ce qu'elle atteigne la taille spécifiée.

Dans l'opération Sélection du candidat, sélectionnez une banque de données valide dans la liste déroulante Banque de données.

Dans la liste déroulante Type de cache, sélectionnez l'une des valeurs suivantes :

Option

Aucun_Cache

Cache_de_préchargement

Description

Capture les données à un moment précis. Les données ne sont pas modifiées tant que le job n'a pas été relancé.

Utilisez cette option pour les données statiques.

Selon la manière dont vos données d'entrée et votre table secondaire sont structurées, procédez comme suit :

• Sélectionnez Générer automatiquement le SQL. Sélectionnez ensuite l'option Utiliser une

colonne de décomposition à partir de la base de données (si vous en avez une), puis sélectionnez une colonne dans la liste déroulante Champ de clé de décomposition.

Remarque :

Si vous sélectionnez l'option Générer automatiquement le SQL, il est recommandé de disposer d'une colonne de clé de décomposition dans la table secondaire, puis de sélectionner l'option

Utiliser une colonne de décomposition &à partir de la base de données. Dans le cas contraire, le SQL créé pourrait être incorrect.

2012-11-22

Qualité des données

• Sélectionnez Créer SQL personnalisé, puis cliquez sur le bouton Lancer l'éditeur SQL ou saisissez votre SQL dans la zone d'édition SQL.

Pour effectuer un suivi de vos enregistrements depuis la source d'entrée, sélectionnez Utiliser une

valeur source constante.

Saisissez une valeur qui représente votre source dans l'option Valeur source physique, puis sélectionnez un champ contenant cette valeur dans la liste déroulante Champ source physique.

Dans la table Mappage des colonnes, ajoutez autant de lignes que nécessaire. Chaque ligne représente un champ qui sera ajouté à la collection.

Sélectionnez un champ dans la colonne Nom mappé.

Sélectionnez une colonne dans votre table secondaire (ou dans une requête personnalisée) dans l'option Nom de la colonne, qui contienne le même type de données que celles spécifiées dans la colonne Nom mappé.

Si vous avez déjà défini vos clés de décomposition dans le groupe d'options Groupe de décomposition, les champs utilisés pour créer la clé de décomposition sont publiés ici, avec la colonne Groupe de décomposition définie sur OUI.

Ecriture d'un SQL personnalisé

Utilisation de caractères génériques

Pour éviter les instructions SQL compliquées, vous devez utiliser des caractères génériques (qui sont remplacés par des données d'entrée réelles) dans votre clause WHERE.

Imaginons, par exemple, que la base de données client contienne un champ appelé MatchKey et que l'enregistrement soumis au processus de nettoyage soit doté d'un champ généré appelé MATCH_KEY.

Le champ possède un caractère générique [MATCHKEY]. Les enregistrements sélectionnés dans la base de données client et ajoutés à la collection de données existante sont ceux qui contiennent la même valeur dans le champ MatchKey et dans le champ MATCH_KEY de la transaction. Imaginons ici que la valeur réelle soit un numéro de téléphone à 10 chiffres.

Voici un exemple de SQL avec un numéro de téléphone réel à la place du caractère générique

[MATCHKEY].

SELECT ContactGivenName1, ContactGivenName2, ContactFamilyName, Address1, Address2, City, Region, Postcode,

Country, AddrStreet, AddrStreetNumber, AddrUnitNumber

FROM TblCustomer

WHERE MatchKey = '123-555-9876';

Attention :

Vous devez vous assurer que la performance de l'instruction SQL est optimisée et génèrera des résultats valides. L'opération Sélection de candidats ne le fait pas à votre place.

Remplacez le caractère générique par les valeurs réelles.

Après avoir testé le SQL avec les valeurs réelles, vous devez remplacer ces valeurs par des caractères génériques ([MATCHKEY], par exemple).

455 2012-11-22

Qualité des données

456

Voici à quoi votre SQL devrait ressembler à présent :

SELECT ContactGivenName1, ContactGivenName2, ContactFamilyName, Address1, Address2, City, Region, Postcode,

Country, AddrStreet, AddrStreetNumber, AddrUnitNumber

FROM TblCustomer

WHERE MatchKey = [MATCHKEY];

Remarque :

Les caractères génériques ne peuvent pas être utilisés pour des valeurs de liste, par exemple dans une clause IN :

WHERE status IN ([status])

Si [status] est une liste de valeurs, l'instruction SQL échoue.

16.4.7.2.3 Tables de comparaison

Les tables de comparaison sont des ensembles de règles qui définissent les enregistrements à comparer, un moyen supplémentaire de créer des groupes de décomposition. Vous utilisez les valeurs de votre source logique pour déterminer les enregistrements à comparer.

En utilisant des tables de comparaison, vous pouvez comparer des enregistrements au sein de sources spécifiques ou comparer des enregistrements à travers différentes sources ou une combinaison des deux.

Configuration d'une table de comparaison

Veillez à inclure un champ contenant une valeur de source logique avant d'ajouter une opération Table de comparaison à la transformation Match (dans le groupe d'options de niveau Match).

Voici un exemple illustrant la configuration d'une table de comparaison. Imaginons que vous disposiez de deux ID (A et B) et que vous vouliez uniquement effectuer des comparaisons entre les différentes sources et non pas au sein des sources.

Si la section Correspondance ne contient pas de table de comparaison, cliquez avec le bouton droit de la souris sur Correspondance > <Nom du niveau>, puis sélectionnez Ajouter > Comparer.

Définissez l'option Action par défaut sur AUCUNE_CORRESPONDANCE, puis saisissez Aucune dans l'option Valeur source logique par défaut.

Ainsi, la transformation Match ne comparera pas tout, mais suivra les règles de comparaison définies par les entrées de la table.

Remarque :

Choisissiez avec soin les noms des sources logiques. L'entrée “Aucun” dans l'option Valeur source

logique par défaut ne fonctionnera pas si vous disposez d'un ID source appelé “Aucune”.

Dans la table Actions de comparaison, ajoutez une ligne, puis définissez la Valeur pilote sur A et la Valeur passager sur B.

Définissez Action sur Comparer.

2012-11-22

Qualité des données

Remarque :

Tenez compte de toutes les valeurs de sources logiques. Les exemples de valeurs saisies ci-dessus supposent que A sera toujours l'ID pilote. Si vous pensez disposer d'un enregistrement pilote avec une valeur autre que A, configurez une entrée de table pour tenir compte de cette valeur et de la valeur ID passager. N'oubliez pas que l'enregistrement pilote est le premier enregistrement lu dans une collection.

Si vous ne renseignez pas les options Valeur pilote et Valeur passager dans la table de comparaison, cela signifie que vous voulez comparer toutes les sources. Ainsi, dans le cas d'une valeur pilote A et d'un enregistrement passager vide avec une action Comparer, un enregistrement

A sera comparé à tous les autres enregistrements passager.

Il arrive que les données dans les collections soient classées différemment de ce que peut attendre votre table de comparaison ou qu'elles ne soient pas classées du tout. Dans ce cas, le processus de correspondance peut manquer des doublons.

Dans cet exemple, la manière dont vous configurez la ligne de votre table Actions de comparaison signifie que vous vous attendez à ce que l'enregistrement pilote porte la valeur pilote A ; or, s'il porte la valeur B et que l'enregistrement passager porte la valeur A, ils ne seront pas comparés.

Pour prendre en compte les cas où un enregistrement pilote porte la valeur B et l'enregistrement passager la valeur A, par exemple, ajoutez une autre ligne dans la table, qui exécute l'opération inverse.

Ainsi, tout enregistrement portant la valeur A ou B sera comparé, indépendamment du pilote ou du passager.

Remarque :

En règle générale, si vous utilisez une source Suppression, vous devez effectuer une comparaison dans les autres sources. Cela permet de s'assurer que toutes les correspondances de ces sources sont supprimées lorsqu'elles dupliquent un enregistrement dans la source Suppression, indépendamment de l'enregistrement pilote.

457

16.4.7.3 Classement et hiérarchisation des enregistrements

Vous disposez peut-être de sources de données, telles que votre propre entrepôt de données, plus fiables que les enregistrements issus d'autres sources (source louée, par exemple). Vous préférez peut-être aussi les enregistrements récents aux enregistrements plus anciens ou les enregistrements complets à ceux contenant des champs vides. Quelles que soient vos préférences, vous pouvez les exprimer dans le processus de correspondance en utilisant des priorités.

Vous pouvez aussi souhaiter que vos enregistrements au sein d'une opération spécifique (par exemple, correspondance ou meilleur enregistrement) soient exécutés dans un ordre donné. Par exemple, vous pouvez souhaiter que vos groupes de correspondance soient classés de telle sorte que le premier enregistrement entré soit l'enregistrement le plus récent du groupe. Dans ce cas, vous devez classer vos enregistrements en fonction d'un champ de date.

Il existe deux manières de classer les enregistrements, avant ou après le processus de comparaison :

2012-11-22

Qualité des données

• Classement des enregistrements dans des groupes de décomposition ou des groupes de correspondance à l'aide d'une valeur dans un champ ;

• Utilisation de scores de pénalité. Ces scores peuvent être définis par champ, par enregistrement ou en fonction de l'appartenance dans une source d'entrée.

Editeur de correspondance

Vous pouvez définir vos priorités et classer vos enregistrements dans l'opération Hiérarchisation du groupe, disponible dans l'opération Formation du groupe et les opérations de traitement post-comparaison de chaque niveau de correspondance dans l'éditeur de correspondance.

Types de priorités

Différents types de priorités sont à prendre en compte :

Priorité Brève description

Priorité d'enregistrement

Privilégie les enregistrements d'une source d'entrée par rapport à une autre.

Pénalité pour champ vide

Affecte une priorité faible dans les enregistrements contenant un champ spécifique vide.

Classement pré-correspondance

Lorsque vous créez des groupes de décomposition, vous pouvez configurer votre opération Formation du groupe > Hiérarchisation du groupe pour effectuer un classement (ou un tri) sur un champ en plus du classement sur la clé de décomposition. Cela permet de garantir que l'enregistrement ayant la priorité la plus élevée est le premier enregistrement (pilote) dans le groupe de décomposition.

Il est également important que les sources d'entrée de type Suppression soient les enregistrements pilotes dans un groupe de décomposition.

Classement post-correspondance

Une fois que la transformation Match a créé tous les groupes de correspondance, et si le classement est important, vous pouvez utiliser une opération Hiérarchisation du groupe avant une opération Grouper statistiques, Meilleur enregistrement ou ID unique pour vous assurer que l'enregistrement principal soit le premier dans le groupe de correspondance.

Conseil :

Si vous n'utilisez pas de pénalité pour champ vide, le classement n'est peut-être pas aussi important pour vous et vous pouvez dans ce cas décider de ne pas utiliser d'opération Hiérarchisation du groupe avant vos opérations post-correspondance. Toutefois, l'opération Meilleur enregistrement peut s'avérer plus performante si vous hiérarchisez les enregistrements et définissez l'option Publier une seule fois

par destination sur Oui.

458 2012-11-22

Qualité des données

Pénalité pour champ vide

Sur deux enregistrements, vous préférerez certainement conserver celui qui contient les données les plus complètes. Vous pouvez utiliser la pénalité pour champ vide pour pénaliser les enregistrements contenant des champs vides.

L'utilisation d'une pénalité pour champ vide est appropriée si vous estimez qu'un champ vide ne doit pas exclure un enregistrement d'une correspondance et que vous souhaitez conserver l'enregistrement le plus complet. Imaginons, par exemple, que vous vouliez accepter un enregistrement comme correspondance même si les champs Titre_de_civilité, Prénom1, Prénom2, Suffixe_principal et/ou

Numéro secondaire sont vides. Bien que vous acceptiez ces enregistrements dans vos groupes de correspondance, vous pouvez leur affecter une priorité faible pour chaque champ vide.

16.4.7.3.1 Classement des enregistrements par tri sur un champ

Assurez-vous d'avoir mappé les champs d'entrée dans la transformation Match sur laquelle vous souhaitez effectuer le classement ; sinon, ils n'apparaîtront pas dans la liste déroulante des champs.

Utilisez cette méthode de classement des enregistrements si l'intégralité des données n'est pas un critère important pour vous.

Saisissez un nom de hiérarchisation, puis sélectionnez l'onglet Ordre de priorité.

Dans la table Champs prioritaires, sélectionnez un champ dans la liste déroulante dans la colonne

Champs d'entrée.

Dans la colonne Ordre des champs, sélectionnez Croissant ou Décroissant pour spécifier le type d'ordre.

Par exemple, si vous comparez une source Normal à une source Suppression et que vous utilisez un champ ID source pour classer vos enregistrements, vous devez vous assurer que les enregistrements de la source Suppression apparaissent en premier dans le groupe de décomposition.

Répétez l'étape 2 pour chaque ligne ajoutée.

Classez vos lignes dans la table Champs prioritaires à l'aide des boutons Déplacer vers le haut et Déplacer vers le bas.

La première ligne correspond au classement principal et les autres aux classements secondaires.

16.4.7.3.2 Système de scoring de pénalité

La pénalité pour champ vide est un système de scoring de pénalité. Pour chaque champ vide, vous pouvez attribuer une pénalité en indiquant un nombre entier non négatif.

Vous pouvez attribuer la même pénalité pour chaque champ vide ou une pénalité plus élevée pour les champs que vous considérez plus importants. Par exemple, si vous préparez un courrier à l'intention d'étudiants qui vivent dans des appartements ou des dortoirs, vous pouvez attribuer une pénalité plus

élevée pour un champ vide Prénom1 ou un numéro d'appartement.

Champ Pénalité pour champ vide

Titre de civilité 5

459 2012-11-22

Qualité des données

Champ

Prénom1

Prénom2

Suffixe principal

Numéro secondaire

Pénalité pour champ vide

Dans ce cas, les enregistrements ci-après seraient classés dans l'ordre indiqué (en partant du principe qu'ils proviennent de la même source et que la priorité d'enregistrement n'est donc pas un facteur).

Même si le premier enregistrement contient des champs vides (Titre_de_civilité, Prénom2 et Suffixe d'adresse), il doit être généré comme enregistrement principal, car il contient les données considérées comme les plus importantes : Prénom1 et Numéro secondaire.

Titre de civilité

(5)

Prénom1

(20)

Prénom2 (5)

Nom de famille

Intervalle principal

Nom principal

Suffixe principal

(5)

Numéro secondaire

(20)

Pénalité pour champ vide

Maria Ramirez 100 Main 6

5 + 5 + 5

= 15

Ms.

Maria A Ramirez 100 Main St

Ms.

Ramirez 100 Main St 6

20 + 5 =

16.4.7.3.3 Interaction de la pénalité pour champ vide avec la priorité d'enregistrement

Les scores de pénalité pour champ vide et priorité d'enregistrement sont regroupés et considérés comme un seul score.

Supposons, par exemple, que vous souhaitiez attribuer une priorité élevée à certains enregistrements de votre base de données personnelle, mais aussi une priorité faible aux enregistrements contenant des champs vides. L'appartenance source est-elle plus importante, même si certains champs sont vides ? Ou est-il plus important de disposer d'un enregistrement aussi complet que possible, même s'il ne provient pas de la base de données personnelle ?

460 2012-11-22

Qualité des données

Source

La plupart des utilisateurs mettent la priorité sur leurs enregistrements personnels et ne souhaitent pas que les champs vides suppriment cette priorité. Pour ce faire, définissez une pénalité élevée pour l'appartenance dans une source louée et des priorités faibles pour les champs vides :

Priorité d'enregistrement

(points de pénalité)

Champ

Pénalité pour champ vide

Source personnelle 100

Prénom1

Source louée A 200

Prénom2

Source louée B 300

Suffixe principal

Source louée C 400

Numéro secondaire

Source

Avec ce système de scoring, un enregistrement de source personnelle a toujours priorité sur un enregistrement de source louée, même si l'enregistrement personnel contient des champs vides.

Supposons, par exemple, que les enregistrements ci-dessous figurent dans le même groupe de correspondance.

Même si l'enregistrement personnel contient cinq champs vides, il reçoit uniquement 155 points de pénalité (100 + 5 + 20 + 5 + 5 + 20), alors que l'enregistrement de la source A reçoit 200 points de pénalité. Par conséquent, l'enregistrement personnel a la pénalité la plus faible et la priorité la plus

élevée.

Pré nom1

Pré nom2

Fa mille

Intervalle principal

Nom principal

No secondaire

Code_po stal

Priorité d'enregistrement

Pénalité pour champ vide

Total

Person nel

Source

Rita

Source

Rita

Smith

100

Bren

12A

55343

100

200

300

155

200

310

461 2012-11-22

Qualité des données

462

Vous pouvez manipuler les scores pour définir la priorité telle que vous la voulez. Dans l'exemple ci-dessus, supposons que vous préfériez un enregistrement loué contenant des données de prénom

à un enregistrement personnel sans données de prénom. Vous pouvez définir le score de pénalité pour champ vide Prénom sur 500 de sorte qu'un champ vide Prénom ait plus de poids qu'une appartenance source quelle qu'elle soit.

16.4.7.3.4 Définition de priorités et pénalités à l'aide des valeurs de champs

Assurez-vous de mapper les champs d'entrée comportant des valeurs de priorité ou de pénalité pour champ vide.

Cette tâche indique à Match les champs qui comportent des valeurs de priorité d'enregistrement et de pénalité pour champ vide pour vos enregistrements et s'il faut les appliquer par enregistrement.

Ajoutez une opération Hiérarchisation du groupe à la section Formation du groupe ou Traitement post-correspondance dans l'éditeur de correspondance.

Saisissez un nom de hiérarchisation (si nécessaire) et sélectionnez l'onglet Intégralité de

l'enregistrement.

Sélectionnez l'option Classer les enregistrements selon l'intégralité des données.

Sélectionnez l'option Définir les champs de pénalité et de priorité.

• Définir les pénalités de champ uniquement : Cette option vous permet de sélectionner une priorité d'enregistrement par défaut et des pénalités pour champ vide par champ pour générer votre score de priorité.

• Définir les pénalités et priorités en fonction de la source d'entrée : Cette option vous permet de définir une priorité et une pénalité pour champ vide en fonction de l'appartenance dans une source d'entrée.

Sélectionnez un champ contenant la valeur de priorité d'enregistrement dans l'option Champ de

priorité d'enregistrement.

Dans l'option Champ Appliquer une pénalité pour champ vide, sélectionnez un champ contenant l'indicateur O ou N pour appliquer ou non une pénalité pour champ vide à un enregistrement.

Dans l'option Priorité d'enregistrement par défaut, entrez une priorité d'enregistrement par défaut

à utiliser si un champ de priorité d'enregistrement est vide ou si vous ne spécifiez pas de champ de priorité d'enregistrement.

Sélectionnez une valeur Pénalité pour champ vide appliquée par défaut (Oui ou Non). Cette sélection détermine si la transformation Match appliquera une pénalité pour champ vide à un enregistrement si vous n'avez pas sélectionné l'option Champ Appliquer une pénalité pour champ vide ou si le champ est vide pour un enregistrement spécifique.

Dans la table Score de pénalité pour champ vide, sélectionnez un champ dans la colonne Champ

d'entrée auquel vous voulez affecter des valeurs de pénalité pour champ vide.

10.

Dans la colonne Pénalité pour champ vide, saisissez une valeur de pénalité pour champ vide à affecter à un enregistrement quelconque contenant un espace vide dans le champ que vous avez sélectionné dans la colonne Champ d'entrée.

16.4.7.3.5 Définition de valeurs de pénalité par champ

Cette tâche vous permet de définir votre score de priorité par défaut pour chaque enregistrement et pénalité pour champ vide par champ pour générer votre score de pénalité.

2012-11-22

Qualité des données

Ajoutez une opération Hiérarchisation du groupe à la section Formation du groupe ou Traitement post-correspondance dans l'éditeur de correspondance.

Saisissez un nom de hiérarchisation (si nécessaire) et sélectionnez l'onglet Intégralité de

l'enregistrement.

Sélectionnez l'option Classer les enregistrements selon l'intégralité des données.

Sélectionnez l'option Définir les pénalités de champ uniquement.

Dans l'option Priorité d'enregistrement par défaut, entrez une priorité d'enregistrement par défaut qui sera utilisée dans le score de pénalité pour chaque enregistrement.

Dans la table Score de pénalité pour champ vide, sélectionnez un champ dans la colonne Champ

d'entrée auquel vous voulez affecter des valeurs de pénalité pour champ vide.

16.4.7.4 Hiérarchisation des enregistrements sur la base de l'appartenance source

Indépendamment de la manière dont vous voulez hiérarchiser vos sources (en triant un groupe de décomposition ou en utilisant des scores de pénalité), vous devez vous assurer que les enregistrements de la source de type Suppression sont les enregistrements pilotes dans le groupe de décomposition et le processus de comparaison.

Imaginons, par exemple, que vous soyez une institution de bienfaisance et que vous envoyiez un courrier de sollicitation à vos donateurs actuels ainsi qu'à des noms de deux sources louées. Si un nom apparaît à la fois dans votre source personnelle et votre source louée, vous préférez utiliser celui de votre source personnelle.

Pour l'une des deux sources louées, la source B, supposons aussi que vous puissiez négocier une remise pour les enregistrements non utilisés. Vous voulez utiliser le moins d'enregistrements possibles de la source B afin d'obtenir une remise importante. Par conséquent, vous voulez que les enregistrements de la source B aient la préférence ou priorité la plus faible parmi les trois sources.

463 2012-11-22

Qualité des données

Source

Source personnelle

Source louée A

Source louée B

Priorité

Elevée

Moyenne

Faible

Sources de type Suppression et intégralité de l'enregistrement

Si vous voulez utiliser des scores de pénalité, vos sources de type Suppression doivent avoir un score de priorité faible. Ainsi, les enregistrements standard correspondant à un enregistrement de suppression seront probablement des correspondances subordonnées dans un groupe de correspondance et, par conséquent, seront également supprimés. Dans chaque groupe de correspondance, tout enregistrement ayant une priorité plus faible qu'un enregistrement de source Suppression est considéré comme une correspondance de suppression.

Imaginons, par exemple, que vous exécutiez vos fichiers par rapport au fichier de préférence de courrier

DMA (liste de personnes ne souhaitant pas recevoir de publipostage). Vous identifiez la source DMA comme source Suppression et vous lui attribuez une priorité de zéro.

Source

Source Suppression DMA

Source personnelle

Source louée A

Source louée B

Priorité

100

200

300

Supposons que Match trouve quatre enregistrements correspondants parmi les enregistrements d'entrée.

Enregistrement correspondant (champs Nom uniquement)

Source

Maria Ramirez Personnel

Ms.

Maria

Ramirez

Source B

Source A

DMA

Priorité

100

300

200

Le groupe de correspondance suivant serait défini. En fonction de leur priorité, Match classerait les enregistrements comme indiqué. Par conséquent, l'enregistrement du fichier de suppression (la source

DMA) serait l'enregistrement principal et les autres seraient des correspondances de suppression subordonnées et donc également supprimées.

464 2012-11-22

Qualité des données

Source

DMA

Personnel

Source A

Source B

Priorité

0 (enregistrement principal)

100

200

300

16.4.7.4.1 Définition de pénalités en fonction de l'appartenance source

Cette tâche vous permet d'attribuer des scores de priorité et des pénalités pour champ vide à une source d'entrée et d'appliquer ces scores à tout enregistrement appartenant à cette source. Avant d'effectuer cette tâche, assurez-vous que vos sources d'entrée sont définies.

Ajoutez une opération Hiérarchisation du groupe à la section Formation du groupe ou Traitement post-correspondance dans l'éditeur de correspondance.

Saisissez un nom de hiérarchisation (si nécessaire) et sélectionnez l'onglet Intégralité de

l'enregistrement.

Sélectionnez l'option Classer les enregistrements selon l'intégralité des données.

Sélectionnez l'option Définir les pénalités et priorités en fonction de la source d'entrée.

Dans la table Attributs source, sélectionnez une source dans la liste déroulante.

Saisissez une valeur dans la colonne Priorité pour affecter une priorité d'enregistrement à cette source.

N'oubliez pas que plus le score est faible, plus la priorité est élevée. Imaginons, par exemple, que vous vouliez affecter un score très faible (tel que 0) à une source Suppression.

Dans la colonne Appliquer une pénalité pour champ vide, sélectionnez une valeur Oui ou Non pour déterminer si une pénalité pour champ vide doit être utilisée sur les enregistrements de cette source.

Dans l'option Priorité d'enregistrement par défaut, entrez une priorité d'enregistrement par défaut qui sera utilisée dans le score de pénalité pour chaque enregistrement qui n'est pas membre d'une source.

Sélectionnez une valeur Pénalité pour champ vide appliquée par défaut (Oui ou Non). Cette valeur détermine si des pénalités pour champ vide doivent être appliquées à un enregistrement qui n'est pas membre d'une source.

10.

Dans la table Score de pénalité pour champ vide, sélectionnez un champ dans la colonne Champ

d'entrée auquel vous voulez affecter des valeurs de pénalité pour champ vide.

11.

16.4.7.5 Récupération des données

465 2012-11-22

Qualité des données

La récupération des données copie temporairement les données d'un enregistrement passager dans un enregistrement pilote après avoir comparé les deux enregistrements. Les données copiées sont des données trouvées dans l'enregistrement passager, mais manquantes ou incomplètes dans l'enregistrement pilote. La récupération des données empêche la correspondance vide ou la correspondance d'initiales de faire correspondre des enregistrements que vous ne voulez pas faire correspondre.

Prenons, par exemple, le groupe de correspondance suivant. Si vous n'avez pas activé la récupération des données, les enregistrements de la première table appartiennent tous au même groupe de correspondance, car l'enregistrement pilote, qui contient un champ Nom vide, correspond aux deux autres enregistrements.

Enregistreme nt

Name

1 (pilote)

John Smith

Jack Hill

Adresse

123 Main St.

Code_postal

54601

Si vous avez activé la récupération des données, le logiciel copie temporairement John Smith du second enregistrement vers l'enregistrement pilote. Résultat : L'enregistrement 1 correspond à l'enregistrement

2, mais l'enregistrement 1 ne correspond pas à l'enregistrement 3 (car John Smith ne correspond pas

à Jack Hill).

Enregis trement

Nom Adresse Code_postal

1 (pilote)

John Smith (copié depuis l'enregistrement ci-dessous)

123 Main St.

John Smith

Jack Hill

123 Main St.

54601

L'exemple suivant illustre l'utilisation de cette fonction pour une source Suppression. Imaginons que la source Suppression soit une liste d'adresses de personnes n'ayant pas donné leur accord. Dans ce cas, vous définissez la source Suppression de sorte à ce qu'elle ait la priorité la plus élevée et vous n'activez pas la récupération des données. Le logiciel supprime alors tous les enregistrements correspondant aux enregistrements de la source Suppression.

Par exemple, dans le cas d'un enregistrement de type suppression 123 Main St correspondant à 123

Main St n°2 et 123 Main St Apt C, les deux derniers enregistrements sont supprimés.

466 2012-11-22

Qualité des données

16.4.7.5.1 Récupération des données et initiales

Lorsque le champ Nom d'un enregistrement pilote contient une initiale à la place d'un nom complet, le logiciel peut emprunter temporairement le nom complet s'il le trouve dans le champ correspondant d'un enregistrement correspondant. C'est une forme de récupération des données.

Imaginons, par exemple, que les trois enregistrements suivants représentent des enregistrements potentiellement correspondants (le logiciel les a regroupé, par exemple, en tant que membres d'un groupe de décomposition en fonction des données d'adresse et de code postal).

Remarque :

La récupération des initiales a lieu uniquement avec les champs Prénom et Nom de famille.

Enregistrement

357

391

839

Prénom

Juanita

Joanne

Nom de famille

Lopez

London

Adresse

123 Main

Notes

Driver

Enregistrement du classement le plus bas

La première comparaison se fait entre l'enregistrement pilote (357) et l'enregistrement suivant le plus

élevé (391). Ces deux enregistrements forment une correspondance. Juanita et Lopez sont temporairement copiés dans les champs Nom de l'enregistrement 357.

La comparaison suivante se fait entre l'enregistrement 357 et l'enregistrement du classement suivant le plus bas (839). Avec la récupération des données, les données de nom de l'enregistrement pilote sont à présent Juanita Lopez ("empruntées" de la première comparaison). Par conséquent, l'enregistrement 839 sera probablement considéré comme ne correspondant pas à l'enregistrement

357.

En conservant plus d'informations pour l'enregistrement pilote, la récupération des données permet d'améliorer la qualité des résultats de correspondance.

Initiales et enregistrements de type suppression

Cependant, si l'enregistrement pilote est un enregistrement de type suppression, il peut être préférable de désactiver la récupération des données pour avoir le plus de chances possibles d'identifier tous les enregistrements correspondant aux données de suppression initialisées. Par exemple, pour supprimer les noms comportant les initiales JL, comme dans le cas ci-dessus, vous rechercherez toutes les correspondances avec JL, indépendamment de l'ordre dans lequel les enregistrements apparaissent dans le groupe de décomposition.

Si vous avez désactivé la récupération des données pour les enregistrements de la source Suppression, vous obtenez le résultat suivant au cours de ces deux comparaisons :

467 2012-11-22

Qualité des données

468

Enregistrement

357

391

839

Prénom

Juanita

Joanne

Nom de famille

Lopez

London

Adresse

123 Main

Notes

Driver

Enregistrement du classement le plus bas

La première comparaison se fait entre l'enregistrement pilote (357) et l'enregistrement suivant le plus

élevé (391). Ces deux enregistrements forment une correspondance, car dans l'enregistrement pilote,

JL et Juanita Lopez forment une correspondance.

La comparaison suivante se fait entre l'enregistrement pilote (357) et l'enregistrement du classement suivant le plus bas (839). Ici, ces deux enregistrements forment également une correspondance, car dans l'enregistrement pilote, JL correspond à Joanne London.

Comme les deux enregistrements 391 et 839 correspondent à l'enregistrement pilote de type suppression, ils sont tous deux considérés comme correspondances de suppression et, par conséquent, aucun ne figure dans votre sortie.

16.4.7.5.2 Contrôle de la récupération des données à l'aide d'un champ

Vous pouvez utiliser un champ pour contrôler l'activation de la récupération des données. Si la valeur du champ affiche O pour un enregistrement, cela signifie que la récupération des données est activée.

Assurez-vous d'avoir mappé au préalable le champ dans la transformation Match que vous voulez utiliser.

Ouvrez l'Matchéditeur pour une Matchtransformation.

Dans la fenêtre Options de transformation, cliquez dans l'onglet Récupération des données.

Sélectionnez l'option Activer la récupération des données, puis sélectionnez une valeur par défaut pour ces enregistrements.

La valeur par défaut sera utilisée si le champ que vous sélectionnez n'est pas renseigné pour un enregistrement donné.

Sélectionnez l'option Spécifier la récupération des données par champ, puis sélectionnez un champ dans le menu déroulant.

16.4.7.5.3 Contrôle de la récupération des données par source

Vous pouvez utiliser l'appartenance dans une source d'entrée pour contrôler si la récupération des données est activée ou désactivée pour un enregistrement spécifique. Assurez-vous au préalable de créer vos sources d'entrée.

Ouvrez l'Matchéditeur pour une Matchtransformation.

Dans la fenêtre Options de transformation, cliquez dans l'onglet Récupération des données.

Sélectionnez l'option Activer la récupération des données, puis sélectionnez une valeur par défaut pour ces enregistrements.

La valeur par défaut sera utilisée si la source d'entrée d'un enregistrement n'est pas spécifiée dans les étapes suivantes.

2012-11-22