TXT-tekstontdubbelingstool

Verwijder snel dubbele regels uit tekstbestanden, met ondersteuning voor meerdere deduplicatieopties en batchverwerking

Browseruitvoermodus: Je gegevens worden in je browser verwerkt en niet naar de server geüpload.

Snelheid en stabiliteit: De verwerkingssnelheid hangt af van je apparaat en browser. Voor grote batchtaken kan de desktopversie stabieler zijn.

Tool wordt geladen, even geduld...

Als de online tool niet kan laden of uitvoeren, probeer dan de desktoptool. https://tools.yikeaigc.com/

Toolgebruik

Terug naar oude versie

Stel eerst parameters in en ontdubbel daarna de tekst

Ondersteunt tekst plakken, meerdere TXT-bestanden kiezen, per regel ontdubbelen, lege regels verwijderen, hoofdletters negeren, volgorde behouden of opnieuw sorteren, en veelgebruikte instellingen opslaan.

Lokale verwerking TXT-batch ZIP downloaden Instellingen opslaan

Invoermethode kiezen

Eenvoudige inhoud kunt u direct plakken; kies TXT-bestanden om originele bestandsnamen te behouden of batchgewijs te verwerken.

Voorbeeldgegevens

Tip: laad of voer eerst data in en ga daarna naar de parameterpagina om de ontdubbelregels te bevestigen.

Deduplicatieregels instellen

Stel eerst de parameters in en klik daarna op verwerken. Veelgebruikte instellingen kunnen worden opgeslagen en worden bij de volgende keer automatisch hersteld.

Spaties aan begin/einde verwijderen Verwijder witruimte aan het begin en einde van elke regel, zodat gelijke regels beter worden herkend.

Lege regels verwijderen Verwijder lege regels. Indien uit, worden lege regels ook meegenomen en blijft er één behouden.

Hoofdletters negeren Behandel Apple, APPLE en apple als dezelfde regelinhoud.

Opeenvolgende spaties samenvoegen Vergelijk meerdere opeenvolgende spaties of tabs als één spatie, handig voor gekopieerde data.

BOM-markering verwijderen Verwijder verborgen tekens zoals UTF-8 BOM om fouten in de eerste regel te verminderen.

Oorspronkelijke volgorde behouden Behoud de positie van de eerste vermelding; indien uit, opnieuw sorteren volgens tekstregels.

Bestandscodering

Uitvoer-regeleinde

Sortering

Bestandsnaam voor geplakte tekst

In batchmodus wordt standaard de originele bestandsnaam gebruikt; bij dubbele namen worden in de ZIP automatisch (1), (2) toegevoegd.

Verwerkingsresultaat

Bekijk statistieken, preview enkele resultaten en download losse bestanden of een ZIP-archief.

0 Originele regels

0 Regels na ontdubbelen

0 Verwijderde regels

0% Ontdubbelingsratio

Resultaatvoorbeeld

Nog niet verwerkt. Klik eerst op ontdubbelen starten bij “Regels instellen”.

Instructies

Gebruiksaanwijzing

Kies de invoermethode: u kunt tekstinhoud direct plakken of een of meer TXT-bestanden kiezen voor batchverwerking. In de batchbestandsmodus blijven de oorspronkelijke bestandsnamen behouden; bij dubbele namen wordt automatisch een nummer toegevoegd om onderscheid te maken.
Gebruik voorbeeldgegevens: klik op de knoppen voor namenlijst, e-mailadressen, trefwoordenlijst of gemengde gegevens om voorbeelden te laden en eerst het ontdubbelingseffect te testen.
Configureer ontdubbelingsregels:
- Spaties aan begin en einde verwijderen: verwijdert witruimte aan het begin en einde van elke regel.
- Lege regels verwijderen: verwijdert automatisch lege regels; na uitschakelen worden lege regels ook meegenomen bij het ontdubbelen.
- Hoofdlettergebruik negeren: beoordeelt Apple, APPLE en apple als dezelfde inhoud.
- Opeenvolgende spaties samenvoegen: vergelijkt meerdere opeenvolgende spaties of tabs als één spatie.
- Oorspronkelijke volgorde behouden: voert inhoud uit op basis van de positie waar deze voor het eerst voorkomt; na uitschakelen kan er volgens tekstregels worden gesorteerd.
Kies bestandscodering: kies afhankelijk van het TXT-bestand UTF-8, GB18030/GBK/GB2312, Big5 of ISO-8859-1. Bij onleesbare Chinese tekens kunt u van codering wisselen en het opnieuw proberen.
Start de verwerking: klik na het instellen op “Ontdubbeling starten”; de tool genereert statistieken en een voorbeeld van het resultaat.
Download het resultaat: een enkel resultaat kan direct worden gedownload; na verwerking van meerdere TXT-bestanden kunt u op “Alle resultaten downloaden” klikken om een ZIP-archief te krijgen.

Veelgestelde vragen

Antwoord: de tool beoordeelt dubbele inhoud standaard per regel; wanneer dezelfde regel meerdere keren voorkomt, blijft er slechts één behouden. U kunt ook regels inschakelen zoals hoofdlettergebruik negeren, spaties aan begin en einde verwijderen en opeenvolgende spaties samenvoegen, zodat de beoordeling beter aansluit bij uw gegevens.

Antwoord: na verwerking van TXT-bestanden in batch wordt de oorspronkelijke bestandsnaam zoveel mogelijk behouden. Als meerdere bestanden dezelfde naam hebben, voegt het systeem een nummer toe aan de bestandsnaam, bijvoorbeeld data.txt, data (1).txt, om te voorkomen dat resultaten elkaar overschrijven.

Antwoord: Geschikt voor gegevens zoals Engelse trefwoorden, e-mailadressen, accounts en codelijsten. Bijvoorbeeld: User@Example.com en user@example.com worden als dubbele inhoud beschouwd wanneer hoofdletterongevoelig vergelijken is ingeschakeld.

Antwoord: De oorspronkelijke volgorde behouden geeft de inhoud weer op basis van de eerste positie waarop deze voorkomt, geschikt voor lijsten, records en handmatig geordende gegevens; gesorteerde uitvoer rangschikt de ontdubbelde inhoud opnieuw, geschikt voor trefwoordenlijsten, woordenlijsten en gegevens die een uniforme volgorde nodig hebben.

Antwoord: Onleesbare tekens hebben meestal te maken met een niet-overeenkomende bestandsencoding. Probeer voor Chinese TXT-bestanden GB18030/GBK/GB2312 te selecteren; voor normale UTF-8-bestanden volstaat UTF-8.

Antwoord: Nee. Tekst lezen, ontdubbelen, statistieken, voorbeeldweergave en verpakken worden allemaal lokaal uitgevoerd; de bestandsinhoud wordt niet naar de server verzonden.