Deduplikering och sammanslagning av TXT-filer

Bearbeta TXT-filer i batch, ta bort dubblettrader och stöd för att slå samman flera filer till en.

Körningsläge i webbläsaren: Dina data bearbetas i webbläsaren och laddas inte upp till servern.

Hastighet och stabilitet: Bearbetningshastigheten beror på din enhet och webbläsare. För stora batchjobb kan skrivbordsversionen vara stabilare.

Verktyget laddas, vänta...

Om onlineverktyget inte kan laddas eller köras, prova skrivbordsverktyget. https://tools.yikeaigc.com/

Verktygsanvändning

Återgå till gamla versionen

En skrivbordsversion finns med kraftfullare och stabilare funktioner. Öppna skrivbordsversion

Bekräfta reglerna i ”Bearbetningsinställningar” innan du startar. Stöder inklistrad text, val av flera TXT-filer, sammanslagning, deduplicering per fil och efter sammanslagning. Vid flera filer visas bara de 20 första, men alla bearbetas.

1Textinmatning

Textrutan passar för tillfälligt innehåll. För att bearbeta flera filer, byt till filområdet till höger och välj ”Valda filer” i inställningarna.

2Filinmatning

Klicka för att välja filer eller dra TXT-filer hit Stöder textfiler som .txt, .log, .md, .csv, .json. Inget laddas upp till servern.

Den här åtgärden läser text eller filer i webbläsaren och behandlar dem enligt dina regler. Kontrollera ”Bearbetningsinställningar” innan du startar.

Förbereder... 0%

Bearbeta fil

Ursprungliga rader

Utdatarader

Ta bort dubbletter

4Bearbetningsinfo

Fil/källa	Ursprunglig	Utdata	Ta bort	Status
Inga resultat

Efter bearbetning visas de första 20 posterna. Filer som inte visas behandlas också.

5Resultatförhandsvisning

Förhandsvisningen visar bara en del. Den nedladdade filen innehåller hela resultatet.

Instruktioner

Användningsinstruktioner för programvaran

Välj inmatat innehåll:Du kan klistra in TXT-innehåll i textrutan eller välja flera TXT-filer för batchbehandling. Fillistan visar bara de första 20 filerna; övriga filer ingår ändå i behandlingen.
Bekräfta behandlingsomfång:Välj i ”Behandlingsinställningar” om innehållet i textrutan, de valda filerna eller automatisk bedömning ska behandlas. Vid automatisk bedömning prioriteras filer om sådana finns.
Välj behandlingsläge:
- Ta bort dubbletter per fil:Dubblettrader tas bort separat i varje fil, och utdatafilens namn behåller originalfilens namn; vid namnkonflikt läggs en siffra till automatiskt för att skilja dem åt.
- Slå ihop och ta bort dubbletter:Flera filer eller textinnehåll slås först ihop, och därefter tas dubblettrader bort från det sammanslagna resultatet.
- Endast sammanslagning:Innehållet slås ihop i ordning utan att dubblettrader tas bort.
Konfigurera regler för dubblettrensning:Du kan ställa in att behålla första förekomsten, behålla sista förekomsten eller ta bort hela dubblettgruppen, och välja jämförelseregler för skiftläge, blanksteg, tomma rader, skiljetecken, konvertering från helbredd till halvbredd med mera.
Ställ in utdataparametrar:Du kan välja radbrytning med LF eller CRLF, ställa in avstånd mellan sammanslagna filer, utdatafilnamn, om UTF-8 BOM ska läggas till och om filavgränsningsmarkörer ska läggas till.
Starta behandling och ladda ner:Klicka på ”Starta behandling” för att visa statistik, detaljer och förhandsgranskning. Behandling per fil genererar ett ZIP-arkiv, medan sammanslagningsläge genererar en TXT-fil.

Vanliga frågor

Svar:Ta bort dubbletter per fil behandlar varje TXT-fil separat och passar när du vill behålla separata resultat för varje fil; slå ihop och ta bort dubbletter sammanställer först innehållet och tar sedan bort dubblettrader enhetligt, vilket passar för att organisera listor, nyckelord, loggar och andra data över flera filer.

Svar: Som standard bedöms rader som dubbletter när hela radinnehållet är exakt identiskt. Du kan också välja i inställningarna att ignorera skiftläge, ignorera inledande och avslutande blanksteg, komprimera upprepade blanksteg, ignorera vanliga skiljetecken eller konvertera helbredd till halvbredd, så att liknande innehåll i olika format jämförs enligt samma regler.

Svar: Ja. Verktyget erbjuder tre alternativ för tomma rader: behåll tomma rader, behåll endast en tom rad eller ta bort tomma rader; för skiftläge kan du också välja att skilja på eller ignorera det. Bekräfta reglerna utifrån datans användningsområde innan behandling.

Svar: Vid bearbetning fil för fil försöker systemet behålla det ursprungliga filnamnet. Om filer med samma namn påträffas lägger systemet till en siffra efter filnamnet, till exempel data.txt, data2.txt, data3.txt, för att undvika att filer i det komprimerade arkivet skriver över varandra.

Svar: Bearbetningstiden beror på enhetens minne, CPU och den totala textmängden. Stora filer kan bearbetas i omgångar. Om innehållet är på GB-nivå rekommenderas att minska antalet filer per körning och stänga program som använder mycket resurser.

Svar: Du kan manuellt välja UTF-8, GBK, GB18030, Big5 eller UTF-16 LE under ”Filkodning”. Vanliga kodningar för kinesiska TXT-filer är UTF-8 eller GBK; byt kodning och bearbeta filen igen.