Инструмент удаления дубликатов в TXT-тексте

Быстро удаляйте повторяющиеся строки в текстовых файлах с поддержкой различных вариантов дедупликации и пакетной обработки

Сообщить об ошибке

Режим выполнения в браузере: Ваши данные обрабатываются в браузере и не загружаются на сервер.

Скорость и стабильность: Скорость обработки зависит от вашего устройства и браузера. Для больших пакетов настольная версия может быть стабильнее.

Загрузка инструмента, подождите...

Если онлайн-инструмент не загружается или не запускается, попробуйте настольный инструмент. https://tools.yikeaigc.com/

Использование инструмента

Вернуться к старой версии

Сначала задайте параметры, затем удалите дубли

Поддерживает вставку текста, выбор нескольких TXT-файлов, удаление дублей по строкам, пустых строк, игнор регистра, сохранение порядка или сортировку, а также сохранение настроек.

Локальная обработка Пакет TXT Скачать ZIP Настройки сохраняются

Выберите способ ввода

Простой текст можно вставить напрямую; чтобы сохранить имена файлов или обработать пакетно, выберите TXT-файлы.

Пример данных

Совет: сначала загрузите или введите данные, затем перейдите к параметрам и подтвердите правила удаления дублей.

Правила удаления дублей

Сначала задайте параметры, затем нажмите обработку. Частые настройки можно сохранить, при следующем открытии они восстановятся.

Обрезать пробелы по краям Удаляет пробелы в начале и конце строк, чтобы находить одинаковые строки.

Удалять пустые строки Удаляет пустые строки. Если выключено, пустые строки тоже участвуют и одна сохраняется.

Игнорировать регистр Считать Apple, APPLE и apple одной и той же строкой.

Объединять подряд идущие пробелы Сравнивает несколько подряд пробелов или табов как один пробел; удобно для вставленных данных.

Удалить BOM Очищает UTF-8 BOM и другие скрытые символы, чтобы избежать ошибок в первой строке.

Сохранять исходный порядок Сохраняет позицию первого вхождения; если выключено, сортирует заново по правилам текста.

Кодировка чтения файла

Переводы строк

Сортировка

Имя файла для вставленного текста

В пакетном режиме по умолчанию используются исходные имена файлов; при совпадении имен в ZIP автоматически добавятся (1), (2).

Результат обработки

Можно посмотреть статистику и превью первых результатов, скачать отдельный файл или ZIP-архив.

0 Исходных строк

0 Строк без дублей

0 Удалено строк

0% Доля удаления

Предпросмотр

Еще не обработано. Сначала нажмите «Начать удаление дублей» в «Настройка правил».

Инструкции

Инструкция по использованию

Выберите способ ввода: можно напрямую вставить текстовое содержимое или выбрать один либо несколько TXT-файлов для пакетной обработки. В режиме пакетной обработки сохраняются исходные имена файлов, а при совпадении имен автоматически добавляется число для различения.
Используйте пример данных: можно нажать кнопки со списком имен, адресами электронной почты, списком ключевых слов или смешанными данными, чтобы загрузить пример и сначала оценить эффект удаления дубликатов.
Настройте правила удаления дубликатов:
- Удалять пробелы в начале и конце: очищает пробельные символы в начале и конце каждой строки.
- Удалять пустые строки: автоматически удаляет пустые строки; если отключено, пустые строки также участвуют в удалении дубликатов.
- Игнорировать регистр: Apple, APPLE и apple считаются одинаковым содержимым.
- Объединять последовательные пробелы: несколько подряд идущих пробелов или символов табуляции сравниваются как один пробел.
- Сохранять исходный порядок: выводит строки по месту первого появления содержимого; если отключено, возможна сортировка по текстовым правилам.
Выберите кодировку файла: в зависимости от TXT-файла выберите UTF-8, GB18030/GBK/GB2312, Big5 или ISO-8859-1; при некорректном отображении китайских символов можно переключить кодировку и повторить попытку.
Начните обработку: после завершения настроек нажмите «Начать удаление дубликатов», инструмент сгенерирует статистику и предварительный просмотр результата.
Скачайте результат: один результат можно скачать напрямую; после обработки нескольких TXT-файлов можно нажать «Скачать все результаты», чтобы получить ZIP-архив.

Частые вопросы

Ответ: по умолчанию инструмент определяет дубликаты построчно: если одна и та же строка встречается несколько раз, сохраняется только одна. Также можно включить игнорирование регистра, удаление пробелов в начале и конце, объединение последовательных пробелов и другие правила, чтобы способ проверки лучше соответствовал вашим данным.

Ответ: после пакетной обработки TXT-файлов исходные имена файлов по возможности сохраняются. Если у нескольких файлов одинаковые имена, система добавит к имени число, например data.txt, data (1).txt, чтобы результаты не перезаписывали друг друга.

Ответ: подходит для данных вроде английских ключевых слов, адресов электронной почты, аккаунтов и списков кода. Например, User@Example.com и user@example.com при включённом игнорировании регистра будут считаться дубликатами.

Ответ: сохранение исходного порядка выводит элементы по месту их первого появления, что подходит для списков, записей и вручную подготовленных данных; вывод с сортировкой переупорядочивает содержимое после удаления дубликатов и подходит для списков ключевых слов, словарей и данных, которым нужен единый порядок.

Ответ: искажённые символы обычно связаны с несоответствием кодировки файла. Для китайских TXT-файлов можно попробовать выбрать GB18030/GBK/GB2312, а для обычных файлов UTF-8 достаточно выбрать UTF-8.

Ответ: нет. Чтение текста, удаление дубликатов, статистика, предварительный просмотр и упаковка выполняются локально, содержимое файлов не отправляется на сервер.