Déduplication et fusion de fichiers TXT

Traitez les fichiers TXT par lots, supprimez les lignes en double et prenez en charge la fusion de plusieurs fichiers en un seul.

Signaler un bug

Mode d’exécution du navigateur: Vos données sont traitées dans votre navigateur et ne sont pas envoyées au serveur.

Vitesse et stabilité: La vitesse de traitement dépend de votre appareil et de votre navigateur. Pour les gros lots, la version de bureau peut être plus stable.

Chargement de l’outil, veuillez patienter...

Si l’outil en ligne ne se charge pas ou ne fonctionne pas, essayez l’outil de bureau. https://tools.yikeaigc.com/

Utilisation de l’outil

Retour à l’ancienne version

Une version de bureau est disponible avec des fonctionnalités plus puissantes et stables. Ouvrir la version bureau

Veuillez confirmer les règles dans « Paramètres » avant de lancer. Collez du texte, sélectionnez des fichiers TXT, fusionnez, dédupliquez par fichier ou après fusion ; si plusieurs fichiers sont choisis, seuls les 20 premiers s’affichent, mais tous seront traités.

1Saisie texte

La zone de texte convient au traitement rapide ; pour traiter plusieurs fichiers, utilisez la zone de fichiers à droite et choisissez « Fichiers sélectionnés » dans les paramètres.

2Entrée fichier

Cliquez pour choisir des fichiers ou déposez des TXT ici Prend en charge .txt, .log, .md, .csv, .json et autres fichiers texte ; aucun envoi au serveur.

Cette action lit le texte ou les fichiers du navigateur et les traite selon les règles définies. Vérifiez d’abord les paramètres, puis lancez le traitement.

Préparation... 0%

Fichiers traités

Lignes d’origine

Lignes en sortie

Doublons supprimés

4Détails du traitement

Fichier/source	Original	Sortie	Suppr.	État
Aucun résultat

Après traitement, les 20 premiers détails s’affichent. Les fichiers non affichés seront aussi traités.

5Aperçu du résultat

L’aperçu peut être partiel. Le fichier téléchargé conserve le résultat complet.

Instructions

Instructions d’utilisation du logiciel

Choisir le contenu d’entrée : vous pouvez coller du contenu TXT dans la zone de texte ou sélectionner plusieurs fichiers TXT pour un traitement par lot. La liste des fichiers n’affiche que les 20 premiers ; les autres fichiers seront quand même traités.
Confirmer la portée du traitement : dans « Paramètres de traitement », choisissez de traiter le contenu de la zone de texte, les fichiers sélectionnés ou de laisser l’outil déterminer automatiquement. Si des fichiers sont présents, la détection automatique traitera les fichiers en priorité.
Choisir le mode de traitement :
- Déduplication fichier par fichier : chaque fichier est traité séparément pour supprimer les lignes en double, et le nom du fichier de sortie conserve le nom d’origine ; en cas de nom identique, un numéro est automatiquement ajouté pour les distinguer.
- Déduplication après fusion : fusionne d’abord plusieurs fichiers ou contenus texte, puis supprime les lignes en double dans le résultat fusionné.
- Fusion uniquement : fusionne le contenu dans l’ordre, sans supprimer les lignes en double.
Configurer les règles de déduplication : vous pouvez choisir de conserver la première occurrence, de conserver la dernière occurrence ou de supprimer tous les groupes de doublons, et définir des règles de comparaison comme la casse, les espaces, les lignes vides, la ponctuation ou la conversion des caractères pleine chasse en demi-chasse.
Définir les paramètres de sortie : vous pouvez choisir les sauts de ligne LF ou CRLF, définir l’intervalle entre les fichiers fusionnés, le nom du fichier de sortie, l’ajout ou non d’un BOM UTF-8 et l’ajout ou non de marques de séparation entre fichiers.
Lancer le traitement et télécharger : cliquez sur « Lancer le traitement » pour consulter les statistiques, les détails et l’aperçu. Le traitement fichier par fichier génère une archive ZIP, tandis que le mode fusion génère un fichier TXT.

Questions fréquentes

R : La déduplication fichier par fichier traite chaque fichier TXT séparément, ce qui convient pour conserver des résultats indépendants pour chaque fichier ; la déduplication après fusion regroupe d’abord tout le contenu, puis supprime les lignes en double de manière globale, ce qui convient pour organiser des listes, mots-clés, journaux et autres données réparties sur plusieurs fichiers.

R : Par défaut, la détection se fait sur une correspondance exacte de toute la ligne. Vous pouvez aussi choisir dans les paramètres d’ignorer la casse, d’ignorer les espaces en début et fin de ligne, de réduire les espaces consécutifs, d’ignorer la ponctuation courante ou de convertir les caractères pleine chasse en demi-chasse, afin de comparer des contenus similaires de formats différents selon une même règle.

R : Oui. L’outil propose trois options pour les lignes vides : les conserver, ne conserver qu’une seule ligne vide ou les supprimer ; la casse peut également être prise en compte ou ignorée. Avant le traitement, confirmez les règles selon l’usage prévu de vos données.

R : Lors du traitement fichier par fichier, le nom de fichier d’origine est conservé autant que possible. Si des fichiers portent le même nom, le système ajoute un chiffre à la fin du nom, par exemple data.txt, data2.txt, data3.txt, afin d’éviter que les fichiers ne s’écrasent mutuellement dans l’archive compressée.

R : Le temps de traitement dépend de la mémoire de l’appareil, du CPU et du volume total de texte. Pour les fichiers volumineux, vous pouvez les traiter par lots ; si le contenu atteint l’ordre du Go, il est recommandé de réduire le nombre de fichiers par traitement et de fermer les programmes gourmands en ressources.

R : Vous pouvez sélectionner manuellement UTF-8, GBK, GB18030, Big5 ou UTF-16 LE dans « Encodage du fichier ». Les fichiers TXT chinois utilisent généralement UTF-8 ou GBK ; il suffit de changer l’encodage puis de relancer le traitement.