Инструмент анализа частотности и веса слов в документе

Пакетный анализ распределения частот слов в текстовых документах с поддержкой расчёта весов TF-IDF и BM25

Режим выполнения в браузере: Ваши данные обрабатываются в браузере и не загружаются на сервер.

Скорость и стабильность: Скорость обработки зависит от вашего устройства и браузера. Для больших пакетов настольная версия может быть стабильнее.

Загрузка инструмента, подождите...

Если онлайн-инструмент не загружается или не запускается, попробуйте настольный инструмент. https://tools.yikeaigc.com/

Использование инструмента

Вернуться к старой версии

Доступна настольная версия с более мощными и стабильными функциями. Открыть десктопную версию

Сначала выберите текст и задайте параметры анализа. Для быстрого теста загрузите примеры; при пакетной загрузке показаны только первые 20 файлов, но обработаны будут все.

1Выберите способ ввода

2Добавить текстовые файлы

Нажмите для выбора файлов или перетащите сюда

Поддерживаются TXT, TEXT, MD, CSV, SRT, LOG. Содержимое читается и анализируется в браузере.

2Вставить текст

Текст еще не введен.

2Загрузить пример

Примеры данных заменят текущий выбор.

3Статус выбранного

Документов0

Примерный размер0 KB

Ожидание выбора текста

Добавьте TXT-файл, вставьте текст или загрузите примеры данных.

1Правила токенизации

Способ сегментации китайского

Мин. длина слова

Длина китайских сочетаний

2Алгоритм веса

Частота словСчитает общее число и охват документов TF-IDFОценивает различимость слова в корпусе BM25Вес с учетом длины документа Плотность ключевых словВыводит долю частоты и охват

3Параметры BM25

K1, насыщение

B, нормализация длины

Обычно: K1 около 1.2-2.0, B около 0.75. Значения влияют на сортировку оценок BM25.

4Фильтр и сортировка

Кол-во результатов

Сортировка по умолчанию

Фильтровать стоп-словаИсключать частые служебные и малоинформативные слова Сохранять числаСохранять годы, номера, суммы и т. п. Учитывать регистр английскогоПодходит для анализа имен собственных Отчет по одному документуПакетный экспорт с исходными именами

5Пользовательский словарь

Свои сохраняемые слова (по одному в строке)

Пользовательские стоп-слова (по одному в строке)

1Подтвердить задачу

Ожидает анализа

Проверьте файл и параметры, затем нажмите «Начать анализ». Не закрывайте страницу во время обработки.

2Ход обработки

Прогресс 0%

Ожидание запуска...

Результатов анализа пока нет. Сначала завершите предыдущие шаги и запустите анализ.

Инструкции

Инструкция по использованию

Выберите текстовое содержимое: нажмите «Выбрать файлы», чтобы пакетно импортировать текстовые файлы TXT, MD, CSV, SRT, LOG и другие, либо переключитесь на «Вставить текст» и введите содержимое напрямую; чтобы ознакомиться с процессом, можно загрузить пример данных.
Проверьте список файлов: после пакетного выбора файлов интерфейс покажет первые 20 файлов, остальные будут отображены в виде количества; при фактическом анализе все файлы всё равно будут обработаны.
Настройте правила токенизации: выберите способ сегментации китайского текста, минимальную длину слова и длину китайских составных слов; если есть фиксированные отраслевые термины, укажите по одному слову в строке в разделе «Пользовательские сохраняемые слова».
Настройте алгоритм весов:
- Статистика частоты слов: подсчитывает количество появлений слов, число документов, в которых они встречаются, и плотность ключевых слов.
- Вес TF-IDF: оценивает различительную способность слов на основе частоты слова и обратной частоты документа.
- Вес BM25: рассчитывает оценку релевантности с учетом частоты слова, частоты документа и длины документа.
Настройте параметры фильтрации: можно включить фильтрацию стоп-слов, сохранение чисел, учет регистра английских букв, а также задать количество отображаемых результатов и способ сортировки по умолчанию.
Сохраните настройки: нажмите «Сохранить настройки», чтобы сохранить часто используемые параметры; при следующем открытии инструмента они будут восстановлены автоматически. Если нужно настроить заново, нажмите «Восстановить по умолчанию».
Начните анализ: после перехода на страницу «Начать анализ» нажмите «Начать анализ и далее», инструмент прочитает текст, выполнит токенизацию, подсчитает частоту слов и рассчитает веса.
Просмотрите и скачайте результаты: после завершения анализа можно искать ключевые слова в таблице результатов и скачать текущий CSV-результат; для пакетных файлов можно скачать ZIP-архив, отчеты по отдельным документам будут экспортированы с исходными именами файлов, а файлы с одинаковыми именами будут автоматически различаться добавлением номера.

Частые вопросы

Ответ: TF-IDF подходит для выявления слов, которые лучше различают темы в наборе документов. Если слово часто встречается в текущем документе, но редко встречается в других документах, оно обычно получает более высокое значение TF-IDF.

Ответ: BM25 можно рассматривать как распространенный способ расчета релевантности в задачах информационного поиска. На основе частоты слова и обратной частоты документа он добавляет насыщение частоты слова и нормализацию длины документа, поэтому лучше подходит для сравнения веса ключевых слов в документах разной длины.

Ответ: для обычного китайского контента можно установить 2-3 иероглифа; если в тексте много отраслевых терминов, названий продуктов или long-tail ключевых слов, можно установить 2-4 иероглифа и добавить важные слова в пользовательский список сохраняемых слов.

Ответ: стоп-слова обычно представляют собой часто встречающиеся, но малоинформативные слова, такие как «的, 了, 在, 我们, 可以». После фильтрации таблица результатов лучше показывает тематические слова, бизнес-термины и подсказки по ключевым словам.

Ответ: ZIP-архив будет содержать сводную таблицу корпуса и отчеты по отдельным документам. Отчеты по отдельным документам по возможности сохраняют исходное имя файла, например «文档A.csv»; если встречаются одинаковые имена, автоматически создаются названия вроде «文档A_1.csv», «文档A_2.csv» и т. д.

Ответ: плотность ключевого слова показывает долю появлений определенного слова в текущем диапазоне статистики. Высокая плотность означает, что слово встречается часто, но его все равно нужно оценивать вместе с TF-IDF, BM25 и охватом документов, чтобы не принять обычные слова за тематические.