Deduplicação e mesclagem de arquivos TXT

Processe arquivos TXT em lote, remova linhas duplicadas e combine vários arquivos em um só.

Modo de execução no navegador: Seus dados são processados no navegador e não são enviados ao servidor.

Velocidade e estabilidade: A velocidade de processamento depende do seu dispositivo e navegador. Para trabalhos em lote grandes, a versão para desktop pode ser mais estável.

Carregando ferramenta, aguarde...

Se a ferramenta online não carregar ou executar, tente a ferramenta para desktop. https://tools.yikeaigc.com/

Uso da ferramenta

Voltar para a versão antiga

Há uma versão para desktop com recursos mais potentes e estáveis. Abrir versão desktop

Confirme as regras em “Configurações” antes de iniciar. Suporta colar texto, selecionar TXT em lote, mesclar, remover duplicados por arquivo e após mesclar; ao selecionar vários arquivos, mostra só os 20 primeiros, mas processa todos.

1Entrada de texto

A caixa de texto é ideal para conteúdo temporário; para processar vários arquivos, use a área de arquivos à direita e selecione “Arquivos selecionados” nas configurações.

2Entrada de arquivo

Clique para escolher arquivos ou arraste TXT aqui Suporta arquivos de texto .txt, .log, .md, .csv, .json etc.; nada é enviado ao servidor.

Esta operação lerá texto ou arquivos no navegador e processará conforme as regras definidas. Confirme as “Configurações de processamento” antes de iniciar.

Preparando... 0%

Processando arquivo

Linhas originais

Linhas de saída

Remover duplicados

4Detalhes

Arquivo/origem	Original	Saída	Removidas	Status
Sem resultados

Após concluir, serão exibidos os 20 primeiros detalhes; arquivos não exibidos também serão processados.

5Prévia do resultado

A prévia mostra apenas parte do conteúdo; o arquivo baixado mantém o resultado completo.

Instruções

Instruções de uso do software

Escolha o conteúdo de entrada: você pode colar conteúdo TXT na caixa de texto ou selecionar vários arquivos TXT para processamento em lote. A lista de arquivos mostra apenas os primeiros 20; os demais também serão processados.
Confirme o intervalo de processamento: em “Configurações de processamento”, escolha processar o conteúdo da caixa de texto, os arquivos selecionados ou usar a detecção automática. Quando houver arquivos, a detecção automática dará prioridade ao processamento dos arquivos.
Escolha o modo de processamento:
- Remover duplicatas por arquivo: remove linhas duplicadas de cada arquivo separadamente, mantendo o nome original do arquivo de saída; se houver nomes repetidos, um número será adicionado automaticamente para diferenciá-los.
- Mesclar e remover duplicatas: primeiro mescla vários arquivos ou conteúdos de texto e depois remove as linhas duplicadas do resultado mesclado.
- Apenas mesclar: mescla o conteúdo em ordem, sem remover linhas duplicadas.
Configure as regras de remoção de duplicatas: você pode definir manter a primeira ocorrência, manter a última ocorrência ou excluir todos os grupos duplicados, além de escolher regras de comparação como maiúsculas/minúsculas, espaços em branco, linhas vazias, pontuação e conversão de largura total para meia largura.
Defina os parâmetros de saída: você pode escolher quebras de linha LF ou CRLF, definir o intervalo entre arquivos mesclados, o nome do arquivo de saída, se deseja adicionar UTF-8 BOM e se deseja adicionar marcadores de separação de arquivos.
Inicie o processamento e baixe: clique em “Iniciar processamento” para ver estatísticas, detalhes e prévia. O processamento por arquivo gerará um pacote ZIP, enquanto o modo de mesclagem gerará um arquivo TXT.

Perguntas frequentes

R: Remover duplicatas por arquivo processa cada arquivo TXT separadamente, ideal para manter resultados independentes de cada arquivo; mesclar e remover duplicatas reúne primeiro todo o conteúdo e depois remove as linhas duplicadas de forma unificada, ideal para organizar dados entre arquivos, como listas, palavras-chave e logs.

R: Por padrão, a comparação exige que o conteúdo da linha inteira seja exatamente igual. Você também pode escolher nas configurações ignorar maiúsculas/minúsculas, ignorar espaços em branco no início e no fim, compactar espaços em branco consecutivos, ignorar pontuação comum ou converter largura total para meia largura, permitindo comparar conteúdos semelhantes em formatos diferentes pela mesma regra.

R: Sim. A ferramenta oferece três opções para linhas vazias: manter, manter apenas uma linha vazia ou excluir linhas vazias; maiúsculas/minúsculas também podem ser diferenciadas ou ignoradas. Antes de processar, confirme as regras de acordo com o uso dos dados.

R: Ao processar arquivo por arquivo, o nome original será mantido sempre que possível. Se houver arquivos com o mesmo nome, o sistema acrescentará um número ao final do nome, por exemplo, data.txt, data2.txt, data3.txt, para evitar que os arquivos dentro do pacote compactado se sobrescrevam.

R: O tempo de processamento depende da memória do dispositivo, da CPU e do volume total de texto. Arquivos grandes podem ser processados em lotes; se o conteúdo estiver na ordem de GB, recomenda-se reduzir a quantidade de arquivos por vez e fechar programas que consumam muitos recursos.

R: Você pode selecionar manualmente UTF-8, GBK, GB18030, Big5 ou UTF-16 LE em “Codificação do arquivo”. As codificações comuns de TXT em chinês são UTF-8 ou GBK; basta trocar a codificação e processar novamente.