Ferramenta de remoção de duplicatas de CSV

Suporta a deduplicação de dados CSV em arquivo único e em lote, com correspondência por colunas especificadas, estratégia de retenção personalizada e exportação de dados únicos e duplicados.

Relatório de bug

Modo de execução no navegador: Seus dados são processados no navegador e não são enviados ao servidor.

Velocidade e estabilidade: A velocidade de processamento depende do seu dispositivo e navegador. Para trabalhos em lote grandes, a versão para desktop pode ser mais estável.

Carregando ferramenta, aguarde...

Se a ferramenta online não carregar ou executar, tente a ferramenta para desktop. https://tools.yikeaigc.com/

Uso da ferramenta

Voltar para a versão antiga

Configure antes de remover duplicados do CSV

Suporta colar dados, arquivo único e remoção em lote de duplicados em vários arquivos. Compare por todas as colunas ou colunas específicas e exporte dados únicos, duplicados ou ZIP em lote.

CSV / TXT Correspondência por colunas Pacote em lote Configurações salvas

Importar dados CSV

No modo arquivo único, envie um arquivo ou cole o CSV. No modo lote, selecione vários arquivos de uma vez; a lista mostra só os 20 primeiros, mas todos serão processados.

Selecione ou arraste arquivos CSV Suporta .csv e .txt; o conteúdo é lido apenas localmente.

Arquivos selecionados 0 arquivos

Prévia dos dados -

Prévia e download dos resultados

Para um arquivo, dados únicos e duplicados podem ser baixados separadamente; em lote, os nomes originais são mantidos, números são adicionados se houver nomes iguais, e tudo é compactado em ZIP.

0Arquivos

0Linhas de dados originais

0Linhas após dedup.

0Linhas duplicadas

Ainda não há resultados. Importe os dados, confirme as configurações e clique em “Iniciar deduplicação”.

Resultado de arquivo único -

Prévia de dados únicos-

Prévia de dados duplicados-

Motivo da remoção-

Resultados em lote -

Nome do arquivo	Linha original	Sem duplicados	Linhas duplicadas	Taxa de duplicados	Status

Instruções

Instruções de uso do software

Importar dados CSV: selecione o modo de arquivo único para enviar um arquivo CSV/TXT ou cole diretamente o conteúdo CSV; no modo em lote, é possível selecionar vários arquivos CSV/TXT. A interface exibe apenas os primeiros 20 arquivos, mas todos os arquivos serão incluídos no processamento.
Analisar dados: configure o delimitador de entrada, a codificação do arquivo, se a primeira linha é um cabeçalho e se os espaços no início e no fim das células devem ser removidos. Em seguida, clique em “Pré-visualizar análise” para ver os nomes das colunas e as linhas de dados.
Definir critérios de deduplicação:
- Correspondência de todas as colunas: considera duplicada quando todos os campos da linha inteira são iguais.
- Correspondência de colunas especificadas: identifica duplicados com base em colunas-chave, como e-mail, número de celular, ID do cliente etc.; no modo em lote, é possível inserir os números das colunas.
Escolher estratégia de retenção:
- Manter primeira ocorrência: mantém a linha que apareceu primeiro no grupo de duplicados.
- Manter última ocorrência: mantém a linha que apareceu por último no grupo de duplicados.
- Excluir todos os duplicados: move todas as linhas do grupo de duplicados para o resultado de dados duplicados.
Ajustar opções avançadas: é possível configurar parâmetros como tratamento de maiúsculas/minúsculas, mesclagem de espaços em branco consecutivos, ignorar pontuação, tratamento de valores vazios, delimitador de saída, exportação de dados duplicados e adição de UTF-8 BOM.
Salvar configurações: para regras usadas com frequência, clique em “Salvar configurações” para restaurá-las automaticamente na próxima vez que abrir a ferramenta.
Iniciar processamento e baixar: depois de clicar em “Iniciar deduplicação”, veja as estatísticas e a pré-visualização dos resultados; para arquivo único, é possível baixar separadamente o resultado deduplicado e os dados duplicados, enquanto para arquivos em lote é possível baixar um pacote ZIP.

Perguntas frequentes

R: Correspondência de todas as colunas exige que todos os campos da linha inteira sejam iguais para serem considerados duplicados; correspondência de colunas especificadas compara apenas as colunas-chave selecionadas, por exemplo, usando apenas a coluna de e-mail para verificar se um cliente está duplicado.

R: Manter a primeira ocorrência é adequado para preservar registros originais; manter a última ocorrência é adequado para preservar registros atualizados; excluir todos os duplicados é adequado para deixar apenas dados sem relação de duplicação.

R: O nome do arquivo processado será mantido o mais próximo possível do nome original; se vários arquivos tiverem o mesmo nome, o sistema adicionará números ao final do nome para evitar que os arquivos se sobrescrevam dentro do pacote ZIP.

R: Sim. Nas configurações de análise, altere a codificação do arquivo para “GBK / GB18030” e analise a pré-visualização novamente. Se aparecerem caracteres ilegíveis, troque a codificação e analise novamente.

R: Depende da configuração “Tratamento de maiúsculas/minúsculas”. Ao marcar “Ignorar maiúsculas/minúsculas”, ABC e abc serão comparados como o mesmo conteúdo; ao desmarcar, serão tratados como conteúdos diferentes.

R: Após o processamento, você pode alternar para a pré-visualização “Dados duplicados” ou clicar em “Baixar dados duplicados” para exportar um CSV. No modo em lote, é necessário marcar “Exportar também dados duplicados”.