Deduplicazione e unione di file TXT

Elabora file TXT in batch, rimuove le righe duplicate e supporta l’unione di più file in uno.

Modalità di esecuzione nel browser: I tuoi dati vengono elaborati nel browser e non caricati sul server.

Velocità e stabilità: La velocità di elaborazione dipende dal dispositivo e dal browser. Per grandi batch, la versione desktop può essere più stabile.

Caricamento strumento, attendi...

Se lo strumento online non si carica o non funziona, prova lo strumento desktop. https://tools.yikeaigc.com/

Uso dello strumento

Torna alla vecchia versione

È disponibile una versione desktop con funzioni più potenti e stabili. Apri versione desktop

Conferma prima le regole in “Impostazioni”, poi clicca Avvia. Supporta testo incollato, selezione TXT in batch, unione, deduplica per file e dopo unione; con più file mostra solo i primi 20, ma li elabora tutti.

1Input testo

La casella di testo è adatta a contenuti temporanei; per elaborare più file, passa all’area file a destra e scegli “File selezionati” nelle impostazioni.

2Input file

Clicca per scegliere file o trascina qui file TXT Supporta file di testo come .txt, .log, .md, .csv, .json; non vengono caricati sul server.

L'operazione leggerà testo o file nel browser e li elaborerà secondo le regole impostate. Controlla prima le “Impostazioni”, poi avvia.

Preparazione... 0%

Elabora file

Righe originali

Righe output

Rimuovi duplicati

4Dettagli elaborazione

File/Origine	Originale	Output	Eliminati	Stato
Nessun risultato

Dopo l'elaborazione verranno mostrati i primi 20 dettagli; anche i file non mostrati saranno elaborati.

5Anteprima risultato

L'anteprima mostra solo parte del contenuto; il download manterrà il risultato completo.

Istruzioni

Istruzioni per l'uso del software

Seleziona il contenuto di input: puoi incollare contenuto TXT nella casella di testo oppure selezionare più file TXT per l'elaborazione in batch. L'elenco dei file mostra solo i primi 20; gli altri file verranno comunque elaborati.
Conferma l'ambito di elaborazione: in “Impostazioni di elaborazione” scegli se elaborare il contenuto della casella di testo, i file selezionati o usare il rilevamento automatico. Se sono presenti file, il rilevamento automatico darà priorità ai file.
Seleziona la modalità di elaborazione:
- Rimozione duplicati per file: ogni file viene elaborato separatamente per eliminare le righe duplicate; il nome del file di output mantiene il nome originale. In caso di nomi uguali, verrà aggiunto automaticamente un numero per distinguerli.
- Rimozione duplicati dopo unione: unisce prima più file o contenuti di testo, quindi elimina le righe duplicate dal risultato unificato.
- Solo unione: unisce i contenuti in ordine, senza eliminare le righe duplicate.
Configura le regole di deduplicazione: puoi impostare se conservare la prima occorrenza, l'ultima occorrenza o eliminare tutti i gruppi duplicati, e scegliere regole di confronto come maiuscole/minuscole, spazi, righe vuote, punteggiatura e conversione da caratteri a larghezza piena a mezza larghezza.
Imposta i parametri di output: puoi scegliere i separatori di riga LF o CRLF, impostare l'intervallo tra file uniti, il nome del file di output, se aggiungere il BOM UTF-8 e se aggiungere marcatori di separazione tra file.
Avvia l'elaborazione e scarica: dopo aver cliccato su “Avvia elaborazione”, visualizza statistiche, dettagli e anteprima. L'elaborazione per file genera un archivio ZIP, mentre la modalità di unione genera un file TXT.

Domande frequenti

R: Rimozione duplicati per file elabora separatamente ogni file TXT ed è adatta per mantenere risultati indipendenti per ciascun file; Rimozione duplicati dopo unione prima raccoglie tutti i contenuti insieme, poi elimina le righe duplicate in modo uniforme, ed è adatta per organizzare dati tra più file come elenchi, parole chiave e log.

R: Per impostazione predefinita, vengono considerate duplicate le righe con contenuto completamente identico. Nelle impostazioni puoi anche scegliere di ignorare maiuscole/minuscole, ignorare gli spazi iniziali e finali, comprimere gli spazi consecutivi, ignorare la punteggiatura comune o convertire i caratteri a larghezza piena in mezza larghezza, così da confrontare contenuti simili con formati diversi secondo la stessa regola.

R: Sì. Lo strumento offre tre opzioni per le righe vuote: conservarle, conservarne solo una o eliminarle. Anche per le maiuscole/minuscole puoi scegliere se distinguerle o ignorarle. Prima dell'elaborazione, conferma le regole in base all'uso previsto dei dati.

Risposta: durante l'elaborazione file per file, il nome originale viene mantenuto il più possibile. Se esistono file con lo stesso nome, il sistema aggiunge un numero alla fine del nome, ad esempio data.txt, data2.txt, data3.txt, per evitare che i file all'interno dell'archivio compresso si sovrascrivano a vicenda.

Risposta: il tempo di elaborazione dipende dalla memoria del dispositivo, dalla CPU e dalla quantità totale di testo. Per file di grandi dimensioni è possibile procedere a lotti; se il contenuto raggiunge l'ordine dei GB, si consiglia di ridurre il numero di file per ogni elaborazione e di chiudere i programmi che consumano molte risorse.

Risposta: puoi selezionare manualmente UTF-8, GBK, GB18030, Big5 o UTF-16 LE in “Codifica file”. Le codifiche comuni per i TXT cinesi sono UTF-8 o GBK; basta cambiarla ed elaborare nuovamente.