Outil de suppression des doublons TXT

Supprimez rapidement les lignes en double dans les fichiers texte, avec plusieurs options de déduplication et le traitement par lots

Signaler un bug

Mode d’exécution du navigateur: Vos données sont traitées dans votre navigateur et ne sont pas envoyées au serveur.

Vitesse et stabilité: La vitesse de traitement dépend de votre appareil et de votre navigateur. Pour les gros lots, la version de bureau peut être plus stable.

Chargement de l’outil, veuillez patienter...

Si l’outil en ligne ne se charge pas ou ne fonctionne pas, essayez l’outil de bureau. https://tools.yikeaigc.com/

Utilisation de l’outil

Retour à l’ancienne version

Définissez les paramètres, puis dédupliquez le texte

Prend en charge le collage de texte, la sélection groupée de fichiers TXT, la déduplication par ligne, la suppression des lignes vides, l’ignorance de la casse, la conservation de l’ordre ou le tri, et l’enregistrement des réglages courants.

Traitement local TXT en lot Téléchargement ZIP Réglages enregistrables

Choisir le mode de saisie

Pour un contenu simple, collez directement ; pour conserver les noms de fichiers ou traiter en lot, choisissez des fichiers TXT.

Données d’exemple

Astuce : chargez ou saisissez d’abord les données, puis allez aux paramètres pour confirmer les règles de déduplication.

Définir les règles de dédoublonnage

Définissez d’abord les paramètres, puis cliquez sur traiter. Les réglages courants peuvent être enregistrés et restaurés automatiquement au prochain accès.

Supprimer les espaces autour Supprime les espaces en début et fin de ligne pour mieux reconnaître les lignes identiques.

Supprimer les lignes vides Supprime les lignes vides. Si désactivé, les lignes vides seront aussi dédupliquées et une sera conservée.

Ignorer la casse Traite Apple, APPLE et apple comme une même ligne.

Fusionner les espaces consécutifs Compare plusieurs espaces ou tabulations consécutifs comme un seul espace, idéal pour nettoyer des données copiées.

Supprimer le marqueur BOM Nettoie le BOM UTF-8 et autres caractères masqués pour éviter les anomalies sur la première ligne.

Conserver l’ordre d’origine Conserve la position de la première occurrence ; si désactivé, retrie selon les règles de texte.

Encodage de lecture du fichier

Saut de ligne en sortie

Tri

Nom du fichier pour le texte collé

Le mode fichiers par lot utilise par défaut le nom d’origine ; en cas de doublons, le ZIP ajoute automatiquement (1), (2) pour les distinguer.

Résultats

Consultez les statistiques, prévisualisez les premiers résultats et téléchargez un fichier ou une archive ZIP.

0 Lignes d’origine

0 Lignes après dédoublonnage

0 Lignes supprimées

0% Taux de dédoublonnage

Aperçu du résultat

Non traité. Cliquez d’abord sur Démarrer le dédoublonnage dans « Définir les règles ».

Instructions

Instructions d’utilisation du logiciel

Choisir le mode de saisie :vous pouvez coller directement le contenu texte, ou sélectionner un ou plusieurs fichiers TXT pour un traitement par lots. Le mode de fichiers par lots conserve les noms de fichiers d’origine et ajoute automatiquement un numéro en cas de doublon.
Utiliser des données d’exemple :vous pouvez cliquer sur les boutons liste de noms, adresses e-mail, liste de mots-clés ou données mixtes pour charger des exemples et tester d’abord l’effet de déduplication.
Configurer les règles de déduplication :
- Supprimer les espaces au début et à la fin :nettoie les caractères d’espacement au début et à la fin de chaque ligne.
- Supprimer les lignes vides :supprime automatiquement les lignes vides ; si l’option est désactivée, les lignes vides seront également prises en compte dans la déduplication.
- Ignorer la casse :considère Apple, APPLE et apple comme un même contenu.
- Fusionner les espaces consécutifs :compare plusieurs espaces consécutifs ou tabulations comme un seul espace.
- Conserver l’ordre d’origine :sortie selon la première position d’apparition du contenu ; si l’option est désactivée, un tri selon les règles textuelles peut être appliqué.
Choisir l’encodage du fichier :sélectionnez UTF-8, GB18030/GBK/GB2312, Big5 ou ISO-8859-1 selon le fichier TXT ; en cas de caractères chinois illisibles, changez d’encodage et réessayez.
Démarrer le traitement :une fois les réglages terminés, cliquez sur « Démarrer le traitement de déduplication » ; l’outil générera des statistiques et un aperçu des résultats.
Télécharger les résultats :un résultat unique peut être téléchargé directement ; après le traitement de plusieurs fichiers TXT, cliquez sur « Télécharger tous les résultats » pour obtenir une archive ZIP.

Questions fréquentes

R : Par défaut, l’outil détecte les doublons ligne par ligne et ne conserve qu’une seule occurrence lorsqu’une même ligne apparaît plusieurs fois. Vous pouvez aussi activer des règles comme ignorer la casse, supprimer les espaces au début et à la fin ou fusionner les espaces consécutifs, afin d’adapter la détection à vos données réelles.

R : Après le traitement par lots de fichiers TXT, les noms de fichiers d’origine sont conservés autant que possible. Si plusieurs fichiers portent le même nom, le système ajoute un numéro à la fin du nom, par exemple data.txt, data (1).txt, afin d’éviter que les résultats ne s’écrasent mutuellement.

R : Convient aux données telles que les mots-clés en anglais, les e-mails, les comptes et les listes de code. Par exemple, User@Example.com et user@example.com seront considérés comme des doublons lorsque l’option Ignorer la casse est activée.

R : Conserver l’ordre d’origine affiche le contenu selon sa première position d’apparition, ce qui convient aux listes, aux enregistrements et aux données organisées manuellement ; le tri de la sortie réorganise le contenu dédupliqué, ce qui convient aux listes de mots-clés, aux lexiques et aux données nécessitant un ordre uniforme.

R : Les caractères illisibles sont généralement liés à une incompatibilité d’encodage du fichier. Pour les fichiers TXT chinois, vous pouvez essayer de sélectionner GB18030/GBK/GB2312 ; pour les fichiers UTF-8 courants, sélectionnez simplement UTF-8.

R : Non. La lecture du texte, la déduplication, les statistiques, l’aperçu et l’empaquetage sont tous effectués localement, et le contenu des fichiers n’est pas envoyé au serveur.