Narzędzie do statystyki częstotliwości i wag słów w dokumencie

Masowo analizuj rozkład częstotliwości słów w dokumentach tekstowych, z obsługą obliczania wag TF-IDF i BM25

Tryb wykonywania w przeglądarce: Twoje dane są przetwarzane w przeglądarce i nie są przesyłane na serwer.

Szybkość i stabilność: Szybkość przetwarzania zależy od urządzenia i przeglądarki. Przy dużych zadaniach wsadowych wersja desktopowa może być stabilniejsza.

Ładowanie narzędzia, czekaj...

Jeśli narzędzie online nie ładuje się lub nie działa, wypróbuj narzędzie desktopowe. https://tools.yikeaigc.com/

Użycie narzędzia

Wróć do starej wersji

Dostępna jest wersja desktopowa z mocniejszymi i stabilniejszymi funkcjami. Otwórz wersję desktopową

Najpierw wybierz tekst i ustaw parametry analizy, a potem rozpocznij przetwarzanie. Aby szybko wypróbować, wczytaj dane przykładowe; przy plikach zbiorczych pokażemy tylko pierwsze 20, ale przeanalizujemy wszystkie.

1Wybierz metodę wejścia

2Dodaj pliki tekstowe

Kliknij, aby wybrać pliki, lub przeciągnij je tutaj

Obsługuje TXT, TEXT, MD, CSV, SRT, LOG. Zawartość plików jest odczytywana i analizowana w przeglądarce.

2Wklej tekst

Nie wprowadzono tekstu.

2Wczytaj przykład

Dane przykładowe zastąpią bieżący wybór.

3Stan wybranej zawartości

Liczba dokumentów0

Szacowany rozmiar0 KB

Oczekiwanie na wybór tekstu

Najpierw dodaj plik TXT, wklej tekst lub wczytaj dane przykładowe.

1Reguły tokenizacji

Metoda segmentacji chińskiego

Min. długość słowa

Długość chińskich fraz

2Algorytm wag

Statystyka częstościLiczy łączną liczbę i pokrycie dokumentów TF-IDFOcena odróżnialności słowa w korpusie BM25Waga z korektą długości dokumentu Gęstość słów kluczowychPokazuje udział częstości i pokrycie

3Parametry BM25

Parametr nasycenia K1

Parametr normalizacji długości B

Typowe wartości: K1 ok. 1.2–2.0, B ok. 0.75. Wartości wpływają na ranking BM25.

4Filtrowanie i sortowanie

Liczba wyników

Domyślne sortowanie

Filtruj stop wordsFiltruj częste słowa funkcyjne i mało informacyjne Zachowaj liczbyZachowaj lata, numery, kwoty itp. Rozróżniaj wielkość liter w angielskimDo analizy nazw własnych Raport pojedynczego dokumentuEksport plików wsadowych z oryginalnymi nazwami

5Własny słownik

Własne słowa zachowane (po jednym w wierszu)

Własne stop-słowa (po jednym w wierszu)

1Potwierdź zadanie

Oczekuje na analizę

Po sprawdzeniu plików i parametrów kliknij rozpoczęcie analizy. Nie zamykaj strony podczas przetwarzania.

2Postęp przetwarzania

Postęp 0%

Oczekiwanie na start...

Brak wyników analizy. Najpierw ukończ poprzednie kroki i rozpocznij analizę.

Instrukcje

Instrukcja obsługi oprogramowania

Wybierz treść tekstową: kliknij „Wybierz pliki”, aby zbiorczo zaimportować pliki tekstowe TXT, MD, CSV, SRT, LOG itp.; możesz też przełączyć się na „Wklej tekst” i wprowadzić treść bezpośrednio. Aby przetestować proces, możesz wczytać dane przykładowe.
Potwierdź listę plików: po zbiorczym wybraniu plików interfejs wyświetli pierwsze 20 plików, a pozostałe zostaną wskazane liczbowo; podczas właściwej analizy wszystkie pliki nadal zostaną przetworzone.
Ustaw reguły segmentacji słów: wybierz metodę dzielenia tekstu chińskiego na słowa, minimalną długość słowa i długość chińskich wyrażeń złożonych; jeśli masz stałe terminy branżowe, wpisz je po jednym wierszu w polu „Niestandardowe słowa zachowywane”.
Skonfiguruj algorytm wag:
- Statystyka częstotliwości słów: zlicza wystąpienia słów, liczbę dokumentów, w których występują, oraz gęstość słów kluczowych.
- Waga TF-IDF: ocenia zdolność słowa do odróżniania treści na podstawie częstotliwości słowa i odwrotnej częstotliwości dokumentów.
- Waga BM25: oblicza wynik trafności, łącząc częstotliwość słowa, częstotliwość dokumentów i długość dokumentu.
Dostosuj opcje filtrowania: możesz włączyć filtrowanie stop-słów, zachowywanie liczb, rozróżnianie wielkości liter w języku angielskim oraz ustawić liczbę wyświetlanych wyników i domyślny sposób sortowania.
Zapisz ustawienia: kliknij „Zapisz ustawienia”, aby zachować często używane parametry; przy następnym otwarciu narzędzia zostaną one automatycznie przywrócone. Jeśli chcesz skonfigurować wszystko od nowa, kliknij „Przywróć domyślne”.
Rozpocznij analizę: po przejściu na stronę „Rozpocznij analizę” kliknij „Rozpocznij analizę i przejdź dalej”; narzędzie odczyta tekst, podzieli go na słowa, zliczy częstotliwość słów i obliczy wagi.
Wyświetl i pobierz wyniki: po zakończeniu analizy możesz wyszukiwać słowa kluczowe w tabeli wyników i pobrać bieżące wyniki CSV; dla plików zbiorczych można pobrać archiwum ZIP, a raporty pojedynczych dokumentów zostaną wyeksportowane pod oryginalnymi nazwami plików; pliki o tych samych nazwach zostaną automatycznie rozróżnione numerami.

Najczęstsze pytania

Odpowiedź: TF-IDF nadaje się do znajdowania w zestawie dokumentów słów, które lepiej odróżniają temat. Gdy dane słowo pojawia się często w bieżącym dokumencie, ale rzadko w innych dokumentach, zwykle otrzymuje wyższą wartość TF-IDF.

Odpowiedź: BM25 można traktować jako często stosowaną metodę obliczania trafności w scenariuszach wyszukiwania informacji. Na podstawie częstotliwości słów i odwrotnej częstotliwości dokumentów dodaje nasycenie częstotliwości słów oraz normalizację długości dokumentu, dzięki czemu lepiej nadaje się do porównywania wag słów kluczowych w dokumentach o różnej długości.

Odpowiedź: Dla standardowych treści chińskich można ustawić 2-3 znaki; jeśli tekst zawiera wiele terminów branżowych, nazw produktów lub słów kluczowych long tail, można ustawić 2-4 znaki i dodać ważne słowa do niestandardowych słów zachowywanych.

Odpowiedź: Stop words to zwykle często występujące słowa o niskiej wartości informacyjnej, takie jak „的, 了, 在, 我们, 可以”. Po ich odfiltrowaniu tabela wyników łatwiej pokaże terminy tematyczne, biznesowe i wskazówki dotyczące słów kluczowych.

Odpowiedź: Archiwum ZIP będzie zawierać zbiorczą tabelę korpusu oraz raporty pojedynczych dokumentów. Raporty pojedynczych dokumentów w miarę możliwości zachowają oryginalne nazwy plików, np. „文档A.csv”; jeśli pojawią się duplikaty nazw, automatycznie zostaną wygenerowane nazwy takie jak „文档A_1.csv”, „文档A_2.csv” itd.

Odpowiedź: Gęstość słowa kluczowego oznacza udział wystąpień danego słowa w bieżącym zakresie statystyk. Wyższa gęstość oznacza, że słowo pojawia się często, ale nadal należy oceniać je łącznie z TF-IDF, BM25 i pokryciem dokumentów, aby uniknąć błędnego uznania popularnych słów za terminy tematyczne.