Инструмент пакетной фильтрации и обработки URL

Пакетно извлекайте URL из TXT-текста, фильтруйте и удаляйте дубликаты по домену, суффиксу и протоколу.

Режим выполнения в браузере: Ваши данные обрабатываются в браузере и не загружаются на сервер.

Скорость и стабильность: Скорость обработки зависит от вашего устройства и браузера. Для больших пакетов настольная версия может быть стабильнее.

Загрузка инструмента, подождите...

Если онлайн-инструмент не загружается или не запускается, попробуйте настольный инструмент. https://tools.yikeaigc.com/

Использование инструмента

Вернуться к старой версии

Сначала настройте фильтр и вывод. Файлы читаются, разбираются и упаковываются только на этой странице; при пакетном выборе показаны первые 20, обработаны будут все выбранные.

Данные не выбраны Правила по умолчанию Вывод по умолчанию

1Выберите TXT или текстовый файл

Нажмите для выбора файла или перетащите его сюда Поддерживаются TXT, CSV, LOG, HTML, JSON и другие текстовые файлы; можно выбрать папку для пакетного чтения.

При выборе нескольких файлов в предпросмотре показаны только первые 20; обработка и упаковка включат все файлы.

2Обзор файлов

Выбрано файлов0

Размер файла0 KB

Показано0

Режим источникаФайл

Выберите файл, вставьте URL или загрузите пример.

3Вставьте список URL

4Пример данных

1Способ разбора и вывод

Режим извлечения

Для смешанного текста выберите «Извлечь все URL».

Кодировка текста

Фильтр протокола

Корневой доменexample.com Полный доменwww.example.com Протокол+доменhttps://www.example.com Полный URLСохранить путь, параметры настраиваются Исходный фрагментИзвлечённый исходный текст Суффикс доменаcom / com.cn

2Суффиксы доменов и правила хоста

Фильтр по суффиксу

Пользовательский суффикс

3Ключевые слова, пути и дубликаты

Домен содержит ключевые слова

Домен исключает ключевые слова

Путь содержит ключевые слова

Область удаления дублей

Критерий дублей

Сортировка результатов

1Структура выходных файлов

Режим вывода

При выводе по файлам имена сохраняются; к совпадающим добавляется номер.

Формат результата

Разделитель столбцов

Выходной протокол

Полные параметры URL

Пустой файл результата

2ZIP и доп. файлы

Имя ZIP-файла

Имя объединенного файла

Создать отчет статистикиCSV с количеством по каждому файлу Создать нераспознанные фрагментыДля поиска неверных URL Добавить BOM в CSVЧтобы таблицы распознавали китайский

Убедитесь, что источник данных, фильтры и настройки вывода завершены. После запуска все выбранные файлы будут обработаны на этой странице и будет создан ZIP для скачивания.

Ожидание обработки0%

Сканирование файла0

Найдено URL0

Соответствует0

Удалить дубликаты0

Файл вывода0

ПредпросмотрРезультат

Не обработано

№	Исходный файл	Вывод	Суффикс	Статус
Еще не обработано. Сначала завершите настройку, затем нажмите «Начать».

Инструкции

Инструкции по использованию ПО

Выберите источник данных: на странице «Источник данных» выберите текстовые файлы TXT, CSV, LOG и т. п.; также можно выбрать папку, вставить список URL или загрузить пример данных, чтобы ознакомиться с процессом.
Настройте способ разбора:
- Извлечь все URL из текста: подходит для журналов, исходного кода веб-страниц, фрагментов JSON и другого смешанного содержимого.
- Обрабатывать по одному URL в строке: подходит для уже подготовленных списков адресов.
Выберите содержимое вывода: можно выбрать такие типы результатов, как корневой домен, полный домен, протокол+домен, полный URL, исходный фрагмент, доменный суффикс и т. д.
Настройте правила фильтрации:
- Фильтр по суффиксам: можно оставить только или исключить доменные суффиксы .com, .cn, .com.cn, .co.uk и т. п.
- Фильтр по протоколу: можно не ограничивать протокол или оставить только HTTP либо HTTPS.
- Фильтр по ключевым словам: можно фильтровать по наличию в домене, исключению из домена или наличию ключевых слов в пути.
- Настройки удаления дублей: поддерживается глобальное удаление дублей, удаление дублей внутри одного файла, а также сохранение повторяющихся результатов.
Настройте способ вывода: можно выводить результаты по файлам с сохранением исходных имен, по папкам в зависимости от типа результата или объединить всё в один файл результатов.
Запустите обработку и скачайте: перейдите на страницу «Обработка и скачивание», нажмите «Начать обработку», а после завершения нажмите «Скачать ZIP с результатами», чтобы сохранить обработанные файлы.

Часто задаваемые вопросы

Ответ: корневой домен — это основной домен вида example.com; полный домен сохраняет поддомены, такие как www, blog, shop; домен с протоколом сохраняет http или https, например https://www.example.com.

Ответ: распространенные причины включают неполный формат, недостаточный уровень домена, наличие нестандартных символов, протокол не HTTP/HTTPS или фильтрацию правилами суффикса, ключевых слов либо протокола. Можно отметить «Генерировать нераспознанные фрагменты», чтобы просмотреть файл для проверки.

Ответ: можно просто отметить часто используемые суффиксы или указать в пользовательских суффиксах .com, .net, .com.cn и т. п.; несколько суффиксов разделяйте запятыми, точками с запятой или переносами строк.

Ответ: при выводе по отдельным файлам исходные имена файлов сохраняются. Если у нескольких файлов одинаковые имена, система добавит к имени число, например list.txt, list(2).txt, чтобы результаты не перезаписывали друг друга.

Ответ: если нужно единообразно очистить данные в нескольких файлах, выберите «Глобальное удаление дубликатов»; если нужно сохранить отдельный результат для каждого файла, выберите «Удаление дубликатов внутри каждого файла»; если нужно сохранить частотность или исходные повторяющиеся записи, выберите «Не удалять дубликаты».

Ответ: нет. Содержимое файлов считывается, фильтруется и упаковывается на текущей странице и не загружается на сервер, поэтому это подходит для обработки данных, содержащих внутренние ссылки, фрагменты журналов или списки сайтов.

Ответ: По умолчанию он включает результат обработки, созданный с исходным именем файла, и статистический отчет. Если включены «нераспознанные фрагменты», дополнительно будет создан файл для проверки, в котором будут записаны фрагменты URL, которые не удалось разобрать, и причины.