Удаление дубликатов и объединение TXT-файлов

Пакетная обработка TXT-файлов: удаление повторяющихся строк и объединение нескольких файлов в один.

Режим выполнения в браузере: Ваши данные обрабатываются в браузере и не загружаются на сервер.

Скорость и стабильность: Скорость обработки зависит от вашего устройства и браузера. Для больших пакетов настольная версия может быть стабильнее.

Загрузка инструмента, подождите...

Если онлайн-инструмент не загружается или не запускается, попробуйте настольный инструмент. https://tools.yikeaigc.com/

Использование инструмента

Вернуться к старой версии

Доступна настольная версия с более мощными и стабильными функциями. Открыть десктопную версию

Сначала подтвердите правила в «Настройках обработки», затем нажмите «Начать». Поддержка вставки текста, выбора TXT-файлов, объединения, удаления дублей по файлам и после объединения; при выборе нескольких файлов показаны только первые 20, обработаются все.

1Текст

Текстовое поле подходит для быстрой обработки; для нескольких файлов перейдите в область файлов справа и выберите «Выбранные файлы» в настройках.

2Файлы

Нажмите для выбора или перетащите TXT-файлы сюда Поддерживаются .txt, .log, .md, .csv, .json и другие текстовые файлы; на сервер не загружаются.

Операция прочитает текст или файлы в браузере и обработает их по заданным правилам. Сначала проверьте «Настройки обработки», затем запустите.

Подготовка... 0%

Обработка файлов

Исходных строк

Строк вывода

Удалить дубликаты

4Детали обработки

Файл/источник	Исходно	Вывод	Удалено	Статус
Нет результатов

После обработки будут показаны первые 20 записей. Скрытые файлы также будут обработаны.

5Предпросмотр результата

Предпросмотр показывает только часть данных. Скачанный файл сохранит полный результат.

Инструкции

Инструкция по использованию

Выберите входные данные: можно вставить содержимое TXT в текстовое поле или выбрать несколько TXT-файлов для пакетной обработки. В списке файлов отображаются только первые 20, остальные также будут обработаны.
Подтвердите диапазон обработки: в «Настройках обработки» выберите обработку содержимого текстового поля, выбранных файлов или автоматическое определение. При наличии файлов автоматическое определение в первую очередь обработает файлы.
Выберите режим обработки:
- Удаление дублей по файлам: повторяющиеся строки удаляются отдельно в каждом файле, имя выходного файла сохраняет исходное имя; при совпадении имен автоматически добавляется число для различения.
- Объединение с удалением дублей: сначала объединяются несколько файлов или текстовое содержимое, затем из объединенного результата удаляются повторяющиеся строки.
- Только объединение: содержимое объединяется по порядку, удаление повторяющихся строк не выполняется.
Настройте правила удаления дублей: можно выбрать сохранение первого вхождения, сохранение последнего вхождения или удаление всей группы повторов, а также настроить правила сравнения: регистр, пробелы, пустые строки, пунктуацию, преобразование полноширинных символов в полуширинные и т. д.
Задайте параметры вывода: можно выбрать перевод строк LF или CRLF, задать разделитель между объединяемыми файлами, имя выходного файла, добавление UTF-8 BOM и добавление меток-разделителей файлов.
Начните обработку и скачайте результат: после нажатия «Начать обработку» просмотрите статистику, подробности и предпросмотр. При обработке по файлам будет создан ZIP-архив, в режиме объединения — TXT-файл.

Частые вопросы

Ответ: удаление дублей по файлам обрабатывает каждый TXT-файл отдельно и подходит, если нужно сохранить независимые результаты для каждого файла; объединение с удалением дублей сначала собирает содержимое вместе, а затем удаляет повторяющиеся строки из общего результата, что удобно для списков, ключевых слов, журналов и других данных из разных файлов.

Ответ: по умолчанию строки считаются повторяющимися только при полном совпадении всей строки. Также в настройках можно выбрать игнорирование регистра, игнорирование пробелов в начале и конце, сжатие последовательных пробелов, игнорирование распространенной пунктуации или преобразование полноширинных символов в полуширинные, чтобы похожее содержимое в разных форматах сравнивалось по одному правилу.

Ответ: да. Инструмент предлагает три варианта для пустых строк: сохранять, оставлять только одну пустую строку или удалять пустые строки; регистр также можно учитывать или игнорировать. Перед обработкой подтвердите правила в соответствии с назначением данных.

Ответ: при обработке отдельных файлов исходные имена файлов по возможности сохраняются. Если встречаются файлы с одинаковыми именами, система добавляет к имени число, например data.txt, data2.txt, data3.txt, чтобы файлы в архиве не перезаписывали друг друга.

Ответ: время обработки зависит от памяти устройства, CPU и общего объема текста. Большие файлы можно обрабатывать партиями; если объем данных достигает уровня GB, рекомендуется уменьшить количество файлов за один раз и закрыть программы, потребляющие много ресурсов.

Ответ: можно вручную выбрать UTF-8, GBK, GB18030, Big5 или UTF-16 LE в разделе «Кодировка файла». Для китайских TXT распространены кодировки UTF-8 или GBK; после переключения просто обработайте файл заново.