Инструмент удаления дубликатов CSV

Поддерживает удаление дубликатов в CSV-данных для одного файла и пакетной обработки, сопоставление по указанным столбцам, настраиваемые стратегии сохранения, экспорт уникальных и повторяющихся данных.

Сообщить об ошибке

Режим выполнения в браузере: Ваши данные обрабатываются в браузере и не загружаются на сервер.

Скорость и стабильность: Скорость обработки зависит от вашего устройства и браузера. Для больших пакетов настольная версия может быть стабильнее.

Загрузка инструмента, подождите...

Если онлайн-инструмент не загружается или не запускается, попробуйте настольный инструмент. https://tools.yikeaigc.com/

Использование инструмента

Вернуться к старой версии

Сначала настройте, затем удалите дубликаты CSV

Поддерживается вставка данных, один файл и пакетная дедупликация нескольких файлов. Дубликаты можно искать по всем или выбранным столбцам и экспортировать уникальные данные, дубликаты или ZIP.

CSV / TXT Совпадение по столбцам Пакетная упаковка Настройки сохраняются

Импорт CSV-данных

В режиме одного файла можно загрузить файл или вставить CSV; в пакетном режиме можно выбрать несколько файлов. В списке показаны только первые 20, обработаны будут все.

Выберите или перетащите CSV-файлы Поддерживаются .csv, .txt; содержимое читается только локально.

Выбранные файлы 0 файлов

Предпросмотр данных -

Предпросмотр и загрузка

Для одного файла можно скачать уникальные и повторяющиеся данные отдельно; при пакетной обработке исходные имена сохраняются, при совпадении добавляется число, всё упаковывается в ZIP.

0Файлов

0Исходных строк

0Строк без дублей

0Строк-дубликатов

Результатов пока нет. Сначала импортируйте данные, проверьте настройки и нажмите «Начать удаление дубликатов».

Результат одного файла -

Предпросмотр уникальных данных-

Предпросмотр дубликатов-

Причина удаления-

Результаты пакетной обработки -

Имя файла	Исходная строка	Без дублей	Повторяющиеся строки	Доля дубликатов	Статус

Инструкции

Инструкция по использованию

Импорт CSV-данных: выберите режим одного файла, чтобы загрузить CSV/TXT-файл, или напрямую вставьте содержимое CSV; в пакетном режиме можно выбрать несколько CSV/TXT-файлов, в интерфейсе отображаются только первые 20 файлов, но при обработке будут учтены все файлы.
Разбор данных: задайте разделитель входных данных, кодировку файла, наличие заголовков в первой строке и удаление пробелов в начале и конце ячеек, затем нажмите «Предпросмотр разбора», чтобы просмотреть имена столбцов и строки данных.
Настройка критериев дедупликации:
- Совпадение всех столбцов: строка считается дубликатом, если все поля во всей строке совпадают.
- Совпадение указанных столбцов: дубликаты определяются по ключевым столбцам, таким как email, номер телефона, ID клиента; в пакетном режиме можно указать номера столбцов.
Выбор стратегии сохранения:
- Сохранять первое появление: сохраняется строка, которая появилась раньше в группе дубликатов.
- Сохранять последнее появление: сохраняется строка, которая появилась позже в группе дубликатов.
- Удалить все дубликаты: все строки из группы дубликатов перемещаются в результат с повторяющимися данными.
Настройка дополнительных параметров: можно настроить обработку регистра, объединение последовательных пробелов, игнорирование пунктуации, обработку пустых значений, выходной разделитель, экспорт повторяющихся данных, добавление UTF-8 BOM и другие параметры.
Сохранение настроек: для часто используемых правил можно нажать «Сохранить настройки», и при следующем открытии инструмента они будут восстановлены автоматически.
Запуск обработки и скачивание: нажмите «Начать дедупликацию», затем просмотрите статистику и предварительный результат; для одного файла можно отдельно скачать результат дедупликации и повторяющиеся данные, а для пакетных файлов — скачать ZIP-архив.

Частые вопросы

Ответ: совпадение всех столбцов означает, что дубликатом считается только строка, где совпадает каждое поле; совпадение указанных столбцов сравнивает только выбранные ключевые столбцы, например определяет повтор клиента только по столбцу email.

Ответ: сохранение первого появления подходит для сохранения исходной записи; сохранение последнего появления — для сохранения обновленной записи; удаление всех дубликатов — для случаев, когда нужно оставить только данные без повторяющихся связей.

Ответ: имя обработанного файла по возможности сохраняет имя исходного файла; если у нескольких файлов одинаковые имена, система добавит к имени файла цифру, чтобы файлы внутри ZIP-архива не перезаписывали друг друга.

Ответ: да. В настройках разбора измените кодировку файла на «GBK / GB18030», затем снова выполните предварительный просмотр разбора. Если появились нечитаемые символы, переключите кодировку и выполните разбор заново.

Ответ: это зависит от настройки «Обработка регистра». Если включить «Без учета регистра», ABC и abc будут сравниваться как одинаковое содержимое; если снять флажок, они будут обрабатываться как разное содержимое.

Ответ: после завершения обработки можно переключиться на предварительный просмотр «Дублирующиеся данные», а также нажать «Скачать дублирующиеся данные», чтобы экспортировать CSV. В пакетном режиме необходимо включить «Также экспортировать дублирующиеся данные».