Outil de déduplication CSV

Prend en charge la déduplication des données CSV pour un fichier unique ou en traitement par lots, avec correspondance par colonnes spécifiées, stratégie de conservation personnalisée et exportation des données uniques et des doublons.

Signaler un bug

Mode d’exécution du navigateur: Vos données sont traitées dans votre navigateur et ne sont pas envoyées au serveur.

Vitesse et stabilité: La vitesse de traitement dépend de votre appareil et de votre navigateur. Pour les gros lots, la version de bureau peut être plus stable.

Chargement de l’outil, veuillez patienter...

Si l’outil en ligne ne se charge pas ou ne fonctionne pas, essayez l’outil de bureau. https://tools.yikeaigc.com/

Utilisation de l’outil

Retour à l’ancienne version

Configurez, puis dédupliquez le CSV

Prend en charge le collage de données, un fichier unique et la déduplication par lots, selon toutes les colonnes ou des colonnes choisies, avec export des données uniques, doublons ou ZIP par lots.

CSV / TXT Correspondance par colonnes Pack en lot Paramètres enregistrables

Importer des données CSV

En mode fichier unique, téléversez un fichier ou collez du CSV. En mode lot, sélectionnez plusieurs fichiers à la fois ; la liste affiche seulement les 20 premiers, mais tous seront traités.

Sélectionner ou déposer des fichiers CSV Prend en charge .csv et .txt ; les fichiers sont lus localement uniquement.

Fichiers sélectionnés 0 fichier

Aperçu des données -

Aperçu et téléchargement

Pour un seul fichier, les données uniques et en double se téléchargent séparément ; en lot, les noms d’origine sont conservés, un numéro est ajouté en cas de doublon, puis le tout est compressé en ZIP.

0Nombre de fichiers

0Lignes de données d’origine

0Lignes après dédoublonnage

0Lignes en double

Aucun résultat pour le moment. Importez les données, vérifiez les réglages, puis cliquez sur « Lancer la déduplication ».

Résultat du fichier -

Aperçu des données uniques-

Aperçu des données en double-

Motif de suppression-

Résultats du traitement par lot -

Nom du fichier	Ligne d’origine	Uniques	Lignes en double	Taux de doublons	État

Instructions

Instructions d’utilisation du logiciel

Importer des données CSV : choisissez le mode fichier unique pour téléverser un fichier CSV/TXT, ou collez directement le contenu CSV ; en mode par lot, vous pouvez sélectionner plusieurs fichiers CSV/TXT. L’interface n’affiche que les 20 premiers fichiers, mais tous les fichiers seront inclus lors du traitement.
Analyser les données : définissez le séparateur d’entrée, l’encodage du fichier, indiquez si la première ligne contient les en-têtes et si les espaces en début et fin de cellule doivent être supprimés, puis cliquez sur « Aperçu de l’analyse » pour voir les noms de colonnes et les lignes de données.
Définir les critères de déduplication :
- Correspondance de toutes les colonnes : une ligne est considérée comme doublon lorsque tous ses champs sont identiques.
- Correspondance de colonnes spécifiées : les doublons sont détectés selon des colonnes clés comme l’e-mail, le numéro de téléphone ou l’ID client ; en mode par lot, vous pouvez saisir les numéros de colonnes.
Choisir la stratégie de conservation :
- Conserver la première occurrence : conserve la ligne apparue le plus tôt dans le groupe de doublons.
- Conserver la dernière occurrence : conserve la ligne apparue le plus tard dans le groupe de doublons.
- Supprimer tous les doublons : toutes les lignes du groupe de doublons sont déplacées vers le résultat des données en double.
Ajuster les options avancées : vous pouvez définir des paramètres tels que la gestion de la casse, la fusion des espaces consécutifs, l’ignorance de la ponctuation, le traitement des valeurs vides, le séparateur de sortie, l’exportation des données en double et l’ajout d’un BOM UTF-8.
Enregistrer les paramètres : pour les règles courantes, cliquez sur « Enregistrer les paramètres » afin de les restaurer automatiquement lors de la prochaine ouverture de l’outil.
Lancer le traitement et télécharger : cliquez sur « Démarrer la déduplication » pour consulter les statistiques et l’aperçu des résultats ; pour un fichier unique, vous pouvez télécharger séparément le résultat dédupliqué et les données en double, tandis qu’en mode par lot, vous pouvez télécharger une archive ZIP.

Questions fréquentes

R : La correspondance de toutes les colonnes exige que chaque champ de la ligne entière soit identique pour être considéré comme un doublon ; la correspondance de colonnes spécifiées compare uniquement les colonnes clés sélectionnées, par exemple uniquement la colonne e-mail pour déterminer si un client est en double.

R : Conserver la première occurrence convient pour garder l’enregistrement d’origine ; conserver la dernière occurrence convient pour garder l’enregistrement mis à jour ; supprimer tous les doublons convient pour ne conserver que les données sans relation de doublon.

Réponse : le nom du fichier traité conservera autant que possible le nom d’origine ; si plusieurs fichiers portent le même nom, le système ajoutera un chiffre à la fin du nom afin d’éviter que les fichiers ne s’écrasent mutuellement dans l’archive ZIP.

Réponse : oui. Dans les paramètres d’analyse, définissez l’encodage du fichier sur « GBK / GB18030 », puis relancez l’aperçu de l’analyse. En cas de caractères illisibles, changez d’encodage puis relancez l’analyse.

Réponse : cela dépend du paramètre « Gestion de la casse ». Si l’option « Ignorer la casse » est cochée, ABC et abc seront comparés comme un contenu identique ; si elle est décochée, ils seront traités comme des contenus différents.

Réponse : une fois le traitement terminé, vous pouvez passer à l’aperçu « Données en double » ou cliquer sur « Télécharger les données en double » pour exporter un CSV. En mode batch, cochez « Exporter également les données en double ».