Verktyg för att ta bort dubbletter i TXT-text

Ta snabbt bort dubblettrader i textfiler, med stöd för flera dedupliceringsalternativ och batchbearbetning

Körningsläge i webbläsaren: Dina data bearbetas i webbläsaren och laddas inte upp till servern.

Hastighet och stabilitet: Bearbetningshastigheten beror på din enhet och webbläsare. För stora batchjobb kan skrivbordsversionen vara stabilare.

Verktyget laddas, vänta...

Om onlineverktyget inte kan laddas eller köras, prova skrivbordsverktyget. https://tools.yikeaigc.com/

Verktygsanvändning

Återgå till gamla versionen

Ställ in parametrar först och ta sedan bort dubbletter

Stöder inklistrad text, val av flera TXT-filer, dubblettrensning per rad, borttagning av tomma rader, skiftlägesignorering, behåll ordning eller sortera om, samt spara vanliga inställningar.

Lokal bearbetning Batch-TXT ZIP-nedladdning Inställningar kan sparas

Välj inmatningssätt

Enkelt innehåll kan klistras in direkt; välj TXT-filer om filnamn ska behållas eller batchbehandling behövs.

Exempeldata

Tips: Läs in eller ange data först och gå sedan till parametersidan för att bekräfta reglerna.

Ange regler för dubbletter

Ange parametrar först och klicka sedan på Bearbeta. Vanliga inställningar kan sparas och återställs automatiskt nästa gång.

Ta bort inledande/avslutande blanksteg Ta bort blanksteg i början och slutet av varje rad för att lättare hitta identiska rader.

Ta bort tomma rader Ta bort tomma rader. Om avstängt tas tomma rader också med i dubblettkontrollen och en behålls.

Ignorera skiftläge Behandla Apple, APPLE och apple som samma radinnehåll.

Slå ihop flera blanksteg Jämför flera efterföljande blanksteg eller tabbar som ett blanksteg, lämpligt för kopierad data.

Ta bort BOM-märke Rensa dolda tecken som UTF-8 BOM för att minska fel på första raden.

Behåll ursprunglig ordning Behåll platsen för första förekomsten. Om avstängt sorteras texten om enligt reglerna.

Filkodning vid läsning

Utdata-radbrytning

Sortering

Filnamn för nedladdad inklistrad text

I batchfilläge används originalfilnamn som standard. Om flera filer har samma namn läggs (1), (2) till automatiskt i ZIP-filen.

Resultat

Visa statistik, förhandsgranska de första resultaten och ladda ned enskilda filer eller ZIP-arkiv.

0 Ursprungliga rader

0 Rader efter deduplicering

0 Raderade rader

0% Dedupliceringsgrad

Resultatförhandsvisning

Inte bearbetat än. Klicka först på starta deduplicering under ”Ställ in regler”.

Instruktioner

Användningsinstruktioner

Välj inmatningsmetod:Du kan klistra in textinnehåll direkt eller välja en eller flera TXT-filer för batchbearbetning. Batchfilsläget behåller de ursprungliga filnamnen och lägger automatiskt till siffror för att skilja filer med samma namn åt.
Använd exempeldata:Du kan klicka på knapparna för namnlista, e-postadresser, nyckelordslista eller blandade data för att läsa in exempel och först testa dubblettrensningen.
Konfigurera regler för dubblettrensning:
- Ta bort inledande och avslutande blanksteg:Rensar blanktecken i början och slutet av varje rad.
- Ta bort tomma rader:Tar automatiskt bort tomma rader; om det stängs av ingår även tomma rader i dubblettkontrollen.
- Ignorera skiftläge:Bedömer Apple, APPLE och apple som samma innehåll.
- Slå samman upprepade blanksteg:Jämför flera upprepade blanksteg eller tabbar som ett enda blanksteg.
- Behåll ursprunglig ordning:Matar ut innehållet enligt positionen där det först förekommer; om det stängs av kan sortering ske enligt textregler.
Välj filkodning:Välj UTF-8, GB18030/GBK/GB2312, Big5 eller ISO-8859-1 beroende på TXT-filen. Om kinesiska tecken visas fel kan du byta kodning och försöka igen.
Starta bearbetning:När inställningarna är klara klickar du på ”Starta dubblettrensning”, så genererar verktyget statistik och en förhandsgranskning av resultatet.
Ladda ner resultat:Ett enskilt resultat kan laddas ner direkt; efter bearbetning av flera TXT-filer kan du klicka på ”Ladda ner alla resultat” för att hämta ett ZIP-arkiv.

Vanliga frågor

Svar: Verktyget bedömer som standard duplicerat innehåll rad för rad och behåller endast en förekomst när samma rad visas flera gånger. Du kan också aktivera regler som ignorera skiftläge, ta bort inledande och avslutande blanksteg samt slå samman upprepade blanksteg, så att bedömningen bättre passar dina faktiska data.

Svar: Efter bearbetning av TXT-filer i batch försöker verktyget behålla de ursprungliga filnamnen. Om flera filer har samma namn lägger systemet till en siffra efter filnamnet, till exempel data.txt, data (1).txt, för att undvika att resultaten skriver över varandra.

Svar: Passar data som engelska nyckelord, e-postadresser, konton och kodlistor. Till exempel behandlas User@Example.com och user@example.com som dubbletter när ignorering av skiftläge är aktiverat.

Svar: Att behålla ursprunglig ordning matar ut innehållet efter den position där det först förekommer, vilket passar listor, poster och manuellt organiserade data; sorterad utmatning ordnar om det deduplicerade innehållet, vilket passar nyckelordslistor, ordlistor och data som behöver en enhetlig ordning.

Svar: Oläsbara tecken beror vanligtvis på att filkodningen inte matchar. För kinesiska TXT-filer kan du prova att välja GB18030/GBK/GB2312, medan vanliga UTF-8-filer räcker att välja UTF-8 för.

Svar: Nej. Textläsning, deduplicering, statistik, förhandsgranskning och paketering görs lokalt, och filinnehållet skickas inte till servern.