Ferramenta de remoção de duplicados de texto TXT

Remova rapidamente linhas duplicadas em arquivos de texto, com suporte a várias opções de deduplicação e processamento em lote

Relatório de bug

Modo de execução no navegador: Seus dados são processados no navegador e não são enviados ao servidor.

Velocidade e estabilidade: A velocidade de processamento depende do seu dispositivo e navegador. Para trabalhos em lote grandes, a versão para desktop pode ser mais estável.

Carregando ferramenta, aguarde...

Se a ferramenta online não carregar ou executar, tente a ferramenta para desktop. https://tools.yikeaigc.com/

Uso da ferramenta

Voltar para a versão antiga

Defina os parâmetros e depois remova duplicatas do texto

Suporta colar texto, selecionar TXT em lote, remover duplicatas por linha, remover linhas vazias, ignorar maiúsculas/minúsculas, manter ordem ou reordenar e salvar configurações comuns.

Processamento local TXT em lote Baixar ZIP Configurações salvas

Escolha o modo de entrada

Para conteúdo simples, cole diretamente; para manter nomes de arquivos ou processar em lote, escolha arquivos TXT.

Dados de exemplo

Dica: carregue ou insira os dados primeiro e depois confirme as regras na aba de parâmetros.

Definir regras de deduplicação

Defina os parâmetros antes de processar. Configurações comuns podem ser salvas e restauradas ao abrir novamente.

Remover espaços extras Remove espaços em branco no início e no fim de cada linha para identificar linhas iguais.

Remover linhas vazias Remove linhas em branco. Se desativado, linhas vazias também serão deduplicadas e uma será mantida.

Ignorar maiúsculas Trata Apple, APPLE e apple como o mesmo conteúdo de linha.

Mesclar espaços consecutivos Compara vários espaços ou tabulações seguidos como um espaço; ideal para dados copiados.

Remover marca BOM Limpa caracteres ocultos como UTF-8 BOM, reduzindo erros na primeira linha.

Manter ordem original Mantém a posição da primeira ocorrência; se desativado, reordena por regras de texto.

Codificação de leitura do arquivo

Quebra de linha de saída

Ordenação

Nome do arquivo baixado do texto colado

No modo de arquivos em lote, o nome original é usado por padrão; se houver nomes duplicados, o ZIP adicionará (1), (2) automaticamente.

Resultado

Veja estatísticas, pré-visualize alguns resultados e baixe arquivos individuais ou um ZIP.

0 Linhas originais

0 Linhas após dedup.

0 Linhas removidas

0% Taxa de dedup.

Prévia do resultado

Ainda não processado. Em “Definir regras”, clique em iniciar deduplicação.

Instruções

Instruções de uso do software

Escolha o método de entrada: você pode colar diretamente o conteúdo do texto ou selecionar um ou mais arquivos TXT para processamento em lote. O modo de arquivos em lote preserva os nomes originais dos arquivos e, em caso de nomes repetidos, adiciona automaticamente números para diferenciá-los.
Use dados de exemplo: clique nos botões de lista de nomes, endereços de e-mail, lista de palavras-chave ou dados mistos para carregar exemplos e testar primeiro o efeito da remoção de duplicados.
Configure as regras de remoção de duplicados:
- Remover espaços no início e no fim: limpa caracteres em branco no início e no fim de cada linha.
- Excluir linhas vazias: remove automaticamente linhas em branco; quando desativado, as linhas vazias também participam da remoção de duplicados.
- Ignorar maiúsculas e minúsculas: considera Apple, APPLE e apple como o mesmo conteúdo.
- Mesclar espaços consecutivos: compara vários espaços ou tabulações consecutivos como um único espaço.
- Manter a ordem original: gera a saída de acordo com a primeira ocorrência do conteúdo; quando desativado, pode ordenar pelas regras de texto.
Escolha a codificação do arquivo: selecione UTF-8, GB18030/GBK/GB2312, Big5 ou ISO-8859-1 conforme o arquivo TXT; se caracteres chineses aparecerem ilegíveis, altere a codificação e tente novamente.
Inicie o processamento: após concluir as configurações, clique em “Iniciar remoção de duplicados”; a ferramenta gerará estatísticas e uma prévia dos resultados.
Baixe os resultados: um resultado individual pode ser baixado diretamente; após processar vários arquivos TXT, clique em “Baixar todos os resultados” para obter um pacote ZIP.

Perguntas frequentes

R: Por padrão, a ferramenta identifica conteúdo duplicado por linha, mantendo apenas uma ocorrência quando a mesma linha aparece várias vezes. Você também pode ativar regras como ignorar maiúsculas e minúsculas, remover espaços no início e no fim e mesclar espaços consecutivos, para que o método de comparação se ajuste melhor aos seus dados reais.

R: Após o processamento em lote de arquivos TXT, os nomes originais serão preservados sempre que possível. Se vários arquivos tiverem o mesmo nome, o sistema adicionará um número ao final do nome, por exemplo, data.txt, data (1).txt, evitando que os resultados sobrescrevam uns aos outros.

R: Adequado para palavras-chave em inglês, e-mails, contas, listas de código e outros dados. Por exemplo, User@Example.com e user@example.com serão considerados conteúdo duplicado quando a opção de ignorar maiúsculas e minúsculas estiver ativada.

R: Manter a ordem original exibe o conteúdo de acordo com a posição em que aparece pela primeira vez, sendo adequado para listas, registros e dados organizados manualmente; a saída ordenada reorganiza o conteúdo após a remoção de duplicatas, sendo adequada para listas de palavras-chave, vocabulários e dados que exigem uma ordem uniforme.

R: Caracteres ilegíveis geralmente estão relacionados a uma incompatibilidade de codificação do arquivo. Para arquivos TXT em chinês, tente selecionar GB18030/GBK/GB2312; para arquivos UTF-8 comuns, basta selecionar UTF-8.

R: Não. A leitura de texto, remoção de duplicatas, estatísticas, pré-visualização e compactação são todas realizadas localmente; o conteúdo dos arquivos não será enviado para o servidor.