TXT-Text-Deduplizierungstool

Doppelte Zeilen in Textdateien schnell entfernen, mit Unterstützung für verschiedene Deduplizierungsoptionen und Stapelverarbeitung

Fehler melden

Browser-Ausführungsmodus: Ihre Daten werden in Ihrem Browser verarbeitet und nicht auf den Server hochgeladen.

Geschwindigkeit und Stabilität: Die Verarbeitungsgeschwindigkeit hängt von Ihrem Gerät und Browser ab. Für große Stapelaufgaben kann die Desktop-Version stabiler sein.

Tool wird geladen, bitte warten...

Wenn das Online-Tool nicht lädt oder läuft, versuchen Sie das Desktop-Tool. https://tools.yikeaigc.com/

Tool-Nutzung

Zur alten Version zurückkehren

Erst Parameter festlegen, dann Text-Deduplizierung starten

Unterstützt Texteingabe, Stapelauswahl von TXT-Dateien, Deduplizierung nach Zeilen, Entfernen leerer Zeilen, Ignorieren der Groß-/Kleinschreibung, Reihenfolge beibehalten oder neu sortieren sowie Speichern häufiger Einstellungen.

Lokale Verarbeitung TXT-Stapel ZIP-Download Einstellungen speicherbar

Eingabemethode wählen

Einfache Inhalte direkt einfügen; zum Beibehalten von Dateinamen oder für Stapelverarbeitung bitte TXT-Dateien wählen.

Beispieldaten

Tipp: Bitte zuerst Daten laden oder eingeben, dann auf der Parameterseite die Deduplizierungsregeln bestätigen.

Deduplizierungsregeln festlegen

Bitte zuerst Parameter festlegen, dann auf Verarbeiten klicken. Häufige Einstellungen können gespeichert und beim nächsten Öffnen automatisch wiederhergestellt werden.

Leerzeichen trimmen Leerzeichen am Anfang und Ende jeder Zeile entfernen, um gleiche Zeilen besser zu erkennen.

Leerzeilen löschen Leerzeilen entfernen. Wenn deaktiviert, werden Leerzeilen ebenfalls dedupliziert und eine bleibt erhalten.

Groß-/Kleinschreibung ignorieren Apple, APPLE und apple als denselben Zeileninhalt behandeln.

Mehrfache Leerzeichen zusammenführen Mehrere aufeinanderfolgende Leerzeichen oder Tabs wie ein Leerzeichen vergleichen, ideal für kopierte Daten.

BOM-Markierung entfernen UTF-8-BOM und andere versteckte Zeichen bereinigen, um Fehler in der ersten Zeile zu vermeiden.

Originalreihenfolge behalten Position des ersten Vorkommens beibehalten; sonst nach Textregeln neu sortieren.

Datei-Leseencoding

Ausgabe-Zeilenumbruch

Sortierung

Dateiname für eingefügten Text

Im Batch-Dateimodus wird standardmäßig der Originaldateiname verwendet; bei gleichen Namen werden im ZIP automatisch (1), (2) usw. angehängt.

Ergebnis

Statistiken anzeigen, erste Ergebnisse vorschauen und einzelne Dateien oder ein ZIP-Archiv herunterladen.

0 Originalzeilen

0 Zeilen nach Duplikatentfernung

0 Gelöschte Zeilen

0% Duplikatrate

Ergebnisvorschau

Noch nicht verarbeitet. Klicken Sie zuerst unter „Regeln festlegen“ auf Duplikate entfernen.

Anleitung

Anleitung zur Softwarenutzung

Eingabemethode auswählen: Sie können Textinhalte direkt einfügen oder eine bzw. mehrere TXT-Dateien zur Stapelverarbeitung auswählen. Im Stapeldateimodus werden die ursprünglichen Dateinamen beibehalten; bei Namensgleichheit wird automatisch eine Zahl zur Unterscheidung angehängt.
Beispieldaten verwenden: Sie können auf die Schaltflächen für Namenslisten, E-Mail-Adressen, Keyword-Listen oder gemischte Daten klicken, um Beispiele zu laden und den Deduplizierungseffekt zuerst zu testen.
Deduplizierungsregeln konfigurieren:
- Leerzeichen am Anfang und Ende entfernen: Entfernt Leerzeichen am Anfang und Ende jeder Zeile.
- Leerzeilen löschen: Entfernt leere Zeilen automatisch; wenn deaktiviert, werden auch Leerzeilen in die Deduplizierung einbezogen.
- Groß-/Kleinschreibung ignorieren: Behandelt Apple, APPLE und apple als denselben Inhalt.
- Aufeinanderfolgende Leerzeichen zusammenführen: Vergleicht mehrere aufeinanderfolgende Leerzeichen oder Tabulatoren wie ein einzelnes Leerzeichen.
- Ursprüngliche Reihenfolge beibehalten: Gibt Inhalte in der Reihenfolge ihres ersten Auftretens aus; wenn deaktiviert, kann nach Textregeln sortiert werden.
Dateikodierung auswählen: Wählen Sie je nach TXT-Datei UTF-8, GB18030/GBK/GB2312, Big5 oder ISO-8859-1 aus. Bei fehlerhafter Darstellung chinesischer Zeichen können Sie die Kodierung wechseln und es erneut versuchen.
Verarbeitung starten: Klicken Sie nach Abschluss der Einstellungen auf „Deduplizierung starten“. Das Tool erstellt Statistiken und eine Ergebnisvorschau.
Ergebnisse herunterladen: Ein einzelnes Ergebnis kann direkt heruntergeladen werden; nach der Verarbeitung mehrerer TXT-Dateien können Sie auf „Alle Ergebnisse herunterladen“ klicken, um ein ZIP-Archiv zu erhalten.

Häufige Fragen

Antwort: Standardmäßig erkennt das Tool doppelte Inhalte zeilenweise und behält bei mehrfach auftretenden identischen Zeilen nur eine davon bei. Sie können außerdem Regeln wie Groß-/Kleinschreibung ignorieren, Leerzeichen am Anfang und Ende entfernen oder aufeinanderfolgende Leerzeichen zusammenführen aktivieren, damit die Erkennung besser zu Ihren tatsächlichen Daten passt.

Antwort: Nach der Verarbeitung mehrerer TXT-Dateien werden die ursprünglichen Dateinamen nach Möglichkeit beibehalten. Wenn mehrere Dateien denselben Namen haben, fügt das System dem Dateinamen eine Zahl hinzu, z. B. data.txt, data (1).txt, um zu verhindern, dass Ergebnisse einander überschreiben.

Antwort: Geeignet für Daten wie englische Keywords, E-Mail-Adressen, Konten und Codelisten. Beispielsweise werden User@Example.com und user@example.com bei aktivierter Groß-/Kleinschreibungsignorierung als doppelte Inhalte betrachtet.

Antwort: Beim Beibehalten der ursprünglichen Reihenfolge erfolgt die Ausgabe entsprechend der Position, an der der Inhalt zuerst erscheint. Das eignet sich für Listen, Datensätze und manuell aufbereitete Daten. Die sortierte Ausgabe ordnet die deduplizierten Inhalte neu an und eignet sich für Keyword-Listen, Wortdatenbanken und Daten, die eine einheitliche Reihenfolge benötigen.

Antwort: Zeichensalat hängt meist mit einer nicht passenden Dateicodierung zusammen. Bei chinesischen TXT-Dateien können Sie GB18030/GBK/GB2312 auswählen; für normale UTF-8-Dateien genügt UTF-8.

Antwort: Nein. Texteinlesen, Deduplizierung, Statistik, Vorschau und Paketierung erfolgen vollständig lokal; Dateiinhalte werden nicht an den Server übermittelt.