Tool voor het batchgewijs filteren en verwerken van URL's

Extraheer URL's in bulk uit TXT-tekst en filter en ontdubbel op domein, extensie en protocol.

Browseruitvoermodus: Je gegevens worden in je browser verwerkt en niet naar de server geüpload.

Snelheid en stabiliteit: De verwerkingssnelheid hangt af van je apparaat en browser. Voor grote batchtaken kan de desktopversie stabieler zijn.

Tool wordt geladen, even geduld...

Als de online tool niet kan laden of uitvoeren, probeer dan de desktoptool. https://tools.yikeaigc.com/

Toolgebruik

Terug naar oude versie

Rond eerst de filter- en uitvoerinstellingen af. Bestandsinhoud wordt alleen op deze pagina gelezen, geparseerd en verpakt; bij bulkselectie toont de interface de eerste 20, verwerking dekt alle geselecteerde bestanden.

Geen gegevens gekozen Regels standaard Uitvoer standaard

1Kies TXT- of tekstbestand

Klik om bestanden te kiezen of sleep ze hierheen Ondersteunt TXT, CSV, LOG, HTML, JSON en andere tekstbestanden; ook mappen voor bulk lezen.

Bij meerdere bestanden toont de preview alleen de eerste 20; verwerking en verpakking bevatten alle bestanden.

2Bestandsoverzicht

Geselecteerde bestanden0

Bestandsgrootte0 KB

Aantal getoond0

BronmodusBestand

Kies een bestand, plak URL-tekst of laad voorbeeldgegevens.

3URL-lijst plakken

4Voorbeeldgegevens

1Parseermethode en uitvoer

Extractiemodus

Kies bij gemengde tekst “Alle URL's uit tekst halen”.

Tekstcodering

Protocolfilter

Rootdomeinexample.com Volledige domeinnaamwww.example.com Protocol+domeinhttps://www.example.com Volledige URLPad behouden, parameters instelbaar Origineel fragmentGeëxtraheerde originele tekst Domeinsuffixcom / com.cn

2Domeinsuffix- en hostregels

Suffixfiltermethode

Aangepaste suffix

Veelgebruikte extensies

Domeinextensie vereistFilter localhost e.d. IP-adressen behoudenOndersteunt IPv4 / IPv6-hosts Voorvoegsel www. verwijderenDomeinuitvoer normaliseren

3Trefwoorden, paden en ontdubbelen

Domein bevat trefwoord

Domein sluit trefwoord uit

Pad bevat trefwoord

Ontdubbelingsbereik

Ontdubbelen op

Resultaten sorteren

1Structuur uitvoerbestanden

Uitvoermodus

Uitvoer per bestand behoudt de originele naam; bij dubbele namen wordt automatisch een nummer toegevoegd.

Resultaatformaat

Scheidingsteken voor kolommen

Uitvoerprotocol

Volledige URL-parameters

Leeg resultaatbestand

2ZIP en extra bestanden

ZIP-bestandsnaam

Bestandsnaam samengevoegd resultaat

Statistiekrapport makenCSV-formaat, telt per bestand Niet-herkende fragmenten makenHelpt bij opsporen van ongeldige URL's BOM toevoegen aan CSVHelpt spreadsheetsoftware Chinees te herkennen

Controleer of gegevensbron, filterinstellingen en uitvoerinstellingen compleet zijn. Na Start worden alle geselecteerde bestanden op deze pagina verwerkt en wordt een ZIP-downloadpakket gemaakt.

Wachten op verwerking0%

Bestand scannen0

URL gevonden0

Voldoet0

Ontdubbeld0

Uitvoerbestand0

VoorbeeldResultaat

Nog niet verwerkt

Nr.	Bronbestand	Uitvoer	Suffix	Status
Nog niet verwerkt. Rond eerst de instellingen af en klik op Start.

Instructies

Gebruiksaanwijzing

Gegevensbron selecteren:Selecteer op de pagina “Gegevensbron” tekstbestanden zoals TXT, CSV of LOG. Je kunt ook een map selecteren, een URL-lijst plakken of voorbeeldgegevens laden om het proces te proberen.
Parseermethode instellen:
- Alle URL’s uit tekst extraheren:Geschikt voor gemengde inhoud zoals logs, webpaginabroncode en JSON-fragmenten.
- Eén URL per regel verwerken:Geschikt voor reeds georganiseerde lijsten met webadressen.
Uitvoerinhoud selecteren:Je kunt resultaattypen kiezen zoals hoofddomein, volledig domein, protocol+domein, volledige URL, origineel fragment en domeinachtervoegsel.
Filterregels configureren:
- Achtervoegselfilter:Je kunt domeinachtervoegsels zoals .com, .cn, .com.cn en .co.uk alleen behouden of uitsluiten.
- Protocolfilter:Je kunt alle protocollen toestaan, of alleen HTTP of HTTPS behouden.
- Trefwoordfilter:Je kunt filteren op trefwoorden die het domein bevat, die het domein uitsluit of die het pad bevat.
- Instellingen voor ontdubbelen:Ondersteunt globaal ontdubbelen, ontdubbelen binnen één bestand, of het behouden van dubbele resultaten.
Uitvoermethode instellen:Je kunt per bestand uitvoeren en de oorspronkelijke bestandsnaam behouden, uitvoeren naar mappen op basis van resultaattype, of alles samenvoegen tot één resultaatbestand.
Verwerking starten en downloaden:Ga naar de pagina “Verwerken en downloaden”, klik op “Verwerking starten” en klik na voltooiing op “ZIP-resultaat downloaden” om de verwerkte bestanden op te slaan.

Veelgestelde vragen

Antwoord:Hoofddomein is een primair domein zoals example.com; volledig domein behoudt subdomeinen zoals www, blog en shop; protocoldomein behoudt http of https, bijvoorbeeld https://www.example.com.

Antwoord: Veelvoorkomende oorzaken zijn een onvolledig formaat, onvoldoende domeinniveaus, afwijkende tekens, een protocol dat geen HTTP/HTTPS is, of filtering door achtervoegsel-, trefwoord- of protocolregels. Vink “Niet-herkende fragmenten genereren” aan om het controlebestand te bekijken.

Antwoord: Je kunt veelgebruikte suffixen direct aanvinken, of in aangepaste suffixen waarden zoals .com, .net en .com.cn invullen. Scheid meerdere suffixen met komma’s, puntkomma’s of regeleinden.

Antwoord: Bij uitvoer per bestand blijft de oorspronkelijke bestandsnaam behouden. Als meerdere bestanden dezelfde naam hebben, voegt het systeem een nummer toe aan de bestandsnaam, bijvoorbeeld list.txt of list(2).txt, om te voorkomen dat resultaten elkaar overschrijven.

Antwoord: Kies “Globale deduplicatie” als je meerdere bestanden gezamenlijk wilt opschonen; kies “Deduplicatie binnen elk bestand” als je per bestand een eigen resultaat wilt behouden; kies “Niet dedupliceren” als je frequenties of oorspronkelijke dubbele records wilt bewaren.

Antwoord: Nee. De bestandsinhoud wordt op de huidige pagina gelezen, gefilterd en ingepakt, en wordt niet naar de server geüpload. Dit is geschikt voor het verwerken van gegevens met interne links, logfragmenten of sitelijsten.

Antwoord: Standaard bevat het de verwerkingsresultaten en het statistiekrapport die op basis van de oorspronkelijke bestandsnaam zijn gegenereerd. Als “niet-herkende fragmenten” is ingeschakeld, wordt er ook een extra controlebestand gegenereerd waarin de URL-fragmenten die niet konden worden geparseerd en de redenen daarvoor worden vastgelegd.