Tool zur Stapelfilterung und -verarbeitung von URLs

Extrahiert URLs stapelweise aus TXT-Texten und filtert sowie entfernt Duplikate nach Domain, Endung und Protokoll.

Browser-Ausführungsmodus: Ihre Daten werden in Ihrem Browser verarbeitet und nicht auf den Server hochgeladen.

Geschwindigkeit und Stabilität: Die Verarbeitungsgeschwindigkeit hängt von Ihrem Gerät und Browser ab. Für große Stapelaufgaben kann die Desktop-Version stabiler sein.

Tool wird geladen, bitte warten...

Wenn das Online-Tool nicht lädt oder läuft, versuchen Sie das Desktop-Tool. https://tools.yikeaigc.com/

Tool-Nutzung

Zur alten Version zurückkehren

Bitte zuerst Filter- und Ausgabeeinstellungen festlegen, dann Verarbeitung starten. Dateiinhalte werden nur auf dieser Seite gelesen, analysiert und gepackt; bei Mehrfachauswahl zeigt die Oberfläche die ersten 20, verarbeitet werden alle ausgewählten Dateien.

Keine Daten ausgewählt Regeln auf Standard Ausgabe auf Standard

1TXT- oder Textdatei wählen

Datei auswählen oder hierher ziehen Unterstützt TXT, CSV, LOG, HTML, JSON und andere Textdateien; auch Ordner können zum Batch-Lesen gewählt werden.

Bei mehreren Dateien zeigt die Vorschau nur die ersten 20; Verarbeitung und ZIP enthalten alle Dateien.

2Dateiübersicht

Ausgewählte Dateien0

Dateigröße0 KB

Anzahl angezeigt0

QuellmodusDatei

Bitte Datei wählen, URL-Text einfügen oder Beispieldaten laden.

3URL-Liste einfügen

4Beispieldaten

1Parsing und Ausgabe

Extraktionsmodus

Für Mischtext „Alle URLs extrahieren“ wählen.

Textkodierung

Protokollfilter

Root-Domainexample.com Vollständige Domainwww.example.com Protokoll+Domainhttps://www.example.com Vollständige URLPfad behalten, Parameter konfigurierbar OriginalfragmentExtrahierter Originaltext Domainendungcom / com.cn

2Domainendungen und Hostregeln

Endungsfilter

Eigene Endungen

Gängige Endungen

Domainendung erforderlichLokale Hosts wie localhost filtern IP-Adressen behaltenUnterstützt IPv4-/IPv6-Hosts www. am Anfang entfernenDomains bei Ausgabe vereinheitlichen

3Keywords, Pfade & Deduplizierung

Domain enthält Keyword

Domain schließt Keyword aus

Pfad enthält Keyword

Deduplizierungsbereich

Deduplizieren nach

Ergebnisse sortieren

1Ausgabedateistruktur

Ausgabemodus

Ausgabe pro Datei behält Originalnamen; bei Duplikaten wird eine Zahl angehängt.

Ergebnisformat

Mehrspaltentrennzeichen

Ausgabeprotokoll

Vollständige URL-Parameter

Leere Ergebnisdatei

2ZIP und Zusatzdateien

ZIP-Dateiname

Dateiname für zusammengeführte Ergebnisse

Statistikbericht erstellenCSV-Format, zählt pro Datei Unerkannte Fragmente erstellenHilft beim Prüfen ungültiger URLs BOM zu CSV hinzufügenHilft Tabellenprogrammen, Chinesisch zu erkennen

Bitte bestätigen Sie, dass Datenquelle, Filter- und Ausgabeeinstellungen fertig sind. Nach dem Start werden alle ausgewählten Dateien auf dieser Seite verarbeitet und ein ZIP-Downloadpaket erstellt.

Warten auf Verarbeitung0%

Dateien scannen0

URLs gefunden0

Passend0

Duplikate entfernt0

Ausgabedatei0

VorschauVerarbeitungsergebnis

Noch nicht verarbeitet

Nr.	Quelldatei	Ausgabeinhalt	Suffix	Status
Noch nicht verarbeitet. Bitte zuerst einrichten, dann Verarbeitung starten.

Anleitung

Software-Nutzungsanleitung

Datenquelle auswählen:Wählen Sie auf der Seite „Datenquelle“ Textdateien wie TXT, CSV, LOG aus. Sie können auch einen Ordner auswählen, eine URL-Liste einfügen oder Beispieldaten laden, um den Ablauf zu testen.
Analysemethode festlegen:
- Alle URLs aus Text extrahieren:Geeignet für gemischte Inhalte wie Logs, Webseiten-Quellcode und JSON-Fragmente.
- Eine URL pro Zeile verarbeiten:Geeignet für bereits aufbereitete URL-Listen.
Ausgabeinhalt auswählen:Sie können Ergebnisarten wie Root-Domain, vollständige Domain, Protokoll+Domain, vollständige URL, Originalfragment und Domain-Suffix auswählen.
Filterregeln konfigurieren:
- Suffix-Filter:Domain-Suffixe wie .com, .cn, .com.cn, .co.uk können beibehalten oder ausgeschlossen werden.
- Protokollfilter:Sie können alle Protokolle zulassen oder nur HTTP bzw. HTTPS beibehalten.
- Keyword-Filter:Sie können nach Keywords filtern, die in der Domain enthalten sind, Domains ausschließen oder Keywords im Pfad enthalten.
- Deduplizierungseinstellungen:Unterstützt globale Deduplizierung, Deduplizierung innerhalb einzelner Dateien oder das Beibehalten doppelter Ergebnisse.
Ausgabemethode festlegen:Sie können pro Datei ausgeben und den ursprünglichen Dateinamen beibehalten, nach Ergebnisart in Ordner ausgeben oder alles zu einer Ergebnisdatei zusammenführen.
Verarbeitung starten und herunterladen:Gehen Sie zur Seite „Verarbeitung herunterladen“, klicken Sie auf „Verarbeitung starten“ und nach Abschluss auf „ZIP-Ergebnis herunterladen“, um die verarbeiteten Dateien zu speichern.

Häufige Fragen

Antwort: Die Root-Domain ist eine Hauptdomain wie example.com; die vollständige Domain behält Subdomains wie www, blog oder shop bei; die Protokoll-Domain behält http oder https bei, zum Beispiel https://www.example.com.

Antwort: Häufige Gründe sind ein unvollständiges Format, zu wenige Domain-Ebenen, ungewöhnliche Zeichen, ein anderes Protokoll als HTTP/HTTPS oder eine Filterung durch Suffix-, Keyword- oder Protokollregeln. Aktivieren Sie „Nicht erkannte Fragmente erzeugen“, um die Prüfdatei anzuzeigen.

Antwort: Sie können häufig verwendete Suffixe direkt auswählen oder in den benutzerdefinierten Suffixen Inhalte wie .com, .net, .com.cn eintragen. Mehrere Suffixe werden durch Kommas, Semikolons oder Zeilenumbrüche getrennt.

Antwort: Bei der Ausgabe einzelner Dateien wird der ursprüngliche Dateiname beibehalten. Wenn mehrere Dateien denselben Namen haben, fügt das System dem Dateinamen eine Zahl hinzu, z. B. list.txt, list(2).txt, damit sich die Ergebnisse nicht gegenseitig überschreiben.

Antwort: Wählen Sie „Globale Deduplizierung“, wenn mehrere Dateien einheitlich bereinigt werden sollen; wählen Sie „Deduplizierung innerhalb jeder Datei“, wenn jede Datei jeweils ein eigenes Ergebnis behalten soll; wählen Sie „Nicht deduplizieren“, wenn Häufigkeiten oder ursprüngliche doppelte Einträge beibehalten werden sollen.

Antwort: Nein. Die Dateiinhalte werden auf der aktuellen Seite gelesen, gefiltert und gepackt, ohne auf den Server hochgeladen zu werden. Das eignet sich für Daten mit internen Links, Log-Ausschnitten oder Website-Listen.

Antwort: Standardmäßig sind die Verarbeitungsergebnisse, die anhand der ursprünglichen Dateinamen erstellt wurden, sowie ein Statistikbericht enthalten. Wenn „Nicht erkannte Fragmente“ aktiviert ist, wird zusätzlich eine Prüfdatei erstellt, die nicht analysierbare URL-Fragmente und die Gründe dafür protokolliert.