TXT-Dateien deduplizieren und zusammenführen

TXT-Dateien stapelweise verarbeiten, doppelte Zeilen entfernen und mehrere Dateien zu einer zusammenführen.

Browser-Ausführungsmodus: Ihre Daten werden in Ihrem Browser verarbeitet und nicht auf den Server hochgeladen.

Geschwindigkeit und Stabilität: Die Verarbeitungsgeschwindigkeit hängt von Ihrem Gerät und Browser ab. Für große Stapelaufgaben kann die Desktop-Version stabiler sein.

Tool wird geladen, bitte warten...

Wenn das Online-Tool nicht lädt oder läuft, versuchen Sie das Desktop-Tool. https://tools.yikeaigc.com/

Tool-Nutzung

Zur alten Version zurückkehren

Eine Desktop-Version mit leistungsstärkeren und stabileren Funktionen ist verfügbar. Desktop-Version öffnen

Bitte zuerst die Regeln unter „Verarbeitungseinstellungen“ bestätigen, dann Verarbeitung starten. Unterstützt Text einfügen, TXT-Dateien stapelweise wählen, Zusammenführen, Deduplizieren pro Datei und nach dem Zusammenführen; bei mehreren Dateien werden nur die ersten 20 angezeigt, verarbeitet werden alle.

1Texteingabe

Das Textfeld eignet sich für temporäre Inhalte; für mehrere Dateien bitte zum Dateibereich rechts wechseln und in den Einstellungen „Ausgewählte Dateien“ wählen.

2Dateieingabe

Zum Auswählen klicken oder TXT-Dateien hierher ziehen Unterstützt Textdateien wie .txt, .log, .md, .csv, .json; kein Upload zum Server.

Dieser Vorgang liest Text- oder Dateiinhalte im Browser und verarbeitet sie nach den festgelegten Regeln. Bitte zuerst die Verarbeitungseinstellungen prüfen, dann starten.

Verarbeitung vorbereiten... 0%

Datei verarbeiten

Originalzeilen

Ausgabezeilen

Duplikate entfernen

4Verarbeitungsdetails

Datei/Quelle	Original	Ausgabe	Entfernt	Status
Noch keine Ergebnisse

Nach Abschluss werden die ersten 20 Details angezeigt; nicht angezeigte Dateien werden ebenfalls verarbeitet.

5Ergebnisvorschau

Die Vorschau zeigt nur einen Teil; der Download enthält das vollständige Ergebnis.

Anleitung

Anleitung zur Softwarenutzung

Eingabeinhalt auswählen: Sie können TXT-Inhalte in das Textfeld einfügen oder mehrere TXT-Dateien für die Stapelverarbeitung auswählen. In der Dateiliste werden nur die ersten 20 angezeigt; die übrigen Dateien werden dennoch verarbeitet.
Verarbeitungsbereich bestätigen: Wählen Sie unter „Verarbeitungseinstellungen“, ob der Inhalt des Textfelds, die ausgewählten Dateien oder eine automatische Erkennung verarbeitet werden sollen. Wenn Dateien vorhanden sind, verarbeitet die automatische Erkennung bevorzugt die Dateien.
Verarbeitungsmodus auswählen:
- Duplikate pro Datei entfernen: Jede Datei wird separat von doppelten Zeilen bereinigt; der Ausgabedateiname bleibt der ursprüngliche Dateiname. Bei Namenskonflikten wird automatisch eine Zahl zur Unterscheidung hinzugefügt.
- Zusammenführen und Duplikate entfernen: Mehrere Dateien oder Textinhalte werden zuerst zusammengeführt, anschließend werden doppelte Zeilen im zusammengeführten Ergebnis einheitlich entfernt.
- Nur zusammenführen: Inhalte werden der Reihe nach zusammengeführt, ohne doppelte Zeilen zu entfernen.
Deduplizierungsregeln konfigurieren: Sie können festlegen, ob das erste Vorkommen behalten, das letzte Vorkommen behalten oder die gesamte Duplikatgruppe gelöscht wird. Außerdem können Vergleichsregeln für Groß-/Kleinschreibung, Leerzeichen, Leerzeilen, Satzzeichen sowie die Umwandlung von Vollbreite in Halbbreite gewählt werden.
Ausgabeparameter festlegen: Sie können LF- oder CRLF-Zeilenumbrüche auswählen, den Abstand zwischen zusammengeführten Dateien, den Ausgabedateinamen, das Hinzufügen eines UTF-8 BOM sowie das Hinzufügen von Dateitrennmarkierungen festlegen.
Verarbeitung starten und herunterladen: Klicken Sie auf „Verarbeitung starten“, um Statistiken, Details und eine Vorschau anzuzeigen. Die Verarbeitung pro Datei erzeugt ein ZIP-Archiv, der Zusammenführungsmodus erzeugt eine TXT-Datei.

Häufige Fragen

Antwort: Duplikate pro Datei entfernen verarbeitet jede TXT-Datei separat und eignet sich, wenn die Ergebnisse der einzelnen Dateien unabhängig bleiben sollen; Zusammenführen und Duplikate entfernen fasst die Inhalte zuerst zusammen und entfernt dann doppelte Zeilen einheitlich. Dies eignet sich zum Bereinigen von Listen, Keywords, Protokollen und anderen dateiübergreifenden Daten.

Antwort: Standardmäßig wird eine Zeile als doppelt erkannt, wenn der gesamte Zeileninhalt exakt übereinstimmt. In den Einstellungen können Sie außerdem wählen, ob Groß-/Kleinschreibung ignoriert, führende und nachfolgende Leerzeichen ignoriert, aufeinanderfolgende Leerzeichen komprimiert, gängige Satzzeichen ignoriert oder Vollbreite in Halbbreite umgewandelt werden soll, damit ähnlich formatierte Inhalte nach derselben Regel verglichen werden.

Antwort: Ja. Das Tool bietet drei Optionen für Leerzeilen: Leerzeilen behalten, nur eine Leerzeile behalten oder Leerzeilen löschen. Bei der Groß-/Kleinschreibung können Sie ebenfalls wählen, ob sie unterschieden oder ignoriert werden soll. Bitte bestätigen Sie die Regeln vor der Verarbeitung entsprechend dem Verwendungszweck Ihrer Daten.

Antwort: Bei der Verarbeitung einzelner Dateien wird der ursprüngliche Dateiname nach Möglichkeit beibehalten. Wenn gleichnamige Dateien vorhanden sind, fügt das System eine Zahl an den Dateinamen an, z. B. data.txt, data2.txt, data3.txt, damit Dateien im Archiv sich nicht gegenseitig überschreiben.

Antwort: Die Verarbeitungsdauer hängt vom Gerätespeicher, der CPU und der gesamten Textmenge ab. Große Dateien können in mehreren Durchläufen verarbeitet werden; bei Inhalten im GB-Bereich wird empfohlen, die Anzahl der Dateien pro Durchlauf zu reduzieren und ressourcenintensive Programme zu schließen.

Antwort: Unter „Dateikodierung“ können Sie manuell UTF-8, GBK, GB18030, Big5 oder UTF-16 LE auswählen. Häufige Kodierungen für chinesische TXT-Dateien sind UTF-8 oder GBK; nach dem Wechsel einfach erneut verarbeiten.