Tool zur Statistik von Wortfrequenz und Gewichtung in Dokumenten

Analysiert die Worthäufigkeitsverteilung von Textdokumenten im Batch, unterstützt TF-IDF- und BM25-Gewichtungsberechnungen

Fehler melden

Browser-Ausführungsmodus: Ihre Daten werden in Ihrem Browser verarbeitet und nicht auf den Server hochgeladen.

Geschwindigkeit und Stabilität: Die Verarbeitungsgeschwindigkeit hängt von Ihrem Gerät und Browser ab. Für große Stapelaufgaben kann die Desktop-Version stabiler sein.

Tool wird geladen, bitte warten...

Wenn das Online-Tool nicht lädt oder läuft, versuchen Sie das Desktop-Tool. https://tools.yikeaigc.com/

Tool-Nutzung

Zur alten Version zurückkehren

Eine Desktop-Version mit leistungsstärkeren und stabileren Funktionen ist verfügbar. Desktop-Version öffnen

Bitte zuerst Text auswählen und Analyseparameter festlegen, dann starten. Für einen Schnelltest Beispieldaten laden; bei Batch-Dateien werden nur die ersten 20 angezeigt, aber alle analysiert.

1Eingabemethode wählen

2Textdateien hinzufügen

Zum Auswählen klicken oder hierher ziehen

Unterstützt TXT, TEXT, MD, CSV, SRT, LOG. Dateiinhalte werden im Browser gelesen und analysiert.

2Text einfügen

Noch kein Text eingegeben.

2Beispiel laden

Beispieldaten ersetzen die aktuelle Auswahl.

3Status der ausgewählten Inhalte

Dokumente0

Geschätzte Größe0 KB

Warten auf Textauswahl

Zuerst TXT-Dateien hinzufügen, Text einfügen oder Beispieldaten laden.

1Segmentierungsregeln

Chinesische Worttrennung

Min. Wortlänge

Länge chinesischer Wortkombinationen

2Gewichtungsalgorithmus

WorthäufigkeitGesamtzahl und Dokumentabdeckung zählen TF-IDFTrennschärfe von Wörtern im Korpus bewerten BM25Gewichteter Score mit Dokumentlängenkorrektur Keyword-DichteWorthäufigkeitsanteil und Abdeckung ausgeben

3BM25-Parameter

K1-Sättigungsparameter

B-Längennormalisierung

Übliche Werte: K1 ca. 1,2–2,0, B ca. 0,75. Werte beeinflussen das BM25-Ranking.

4Filtern und Sortieren

Anzahl Ergebnisse

Standardsortierung

Stoppwörter filternHäufige Funktionswörter und wenig informative Wörter filtern Zahlen behaltenZahlen wie Jahre, IDs, Beträge behalten Englisch: Groß-/Kleinschreibung beachtenGeeignet für Eigennamenanalyse Einzeldokumentbericht ausgebenBatch-Dateien mit Originalnamen exportieren

5Benutzerwörterbuch

Eigene Behaltewörter (eins pro Zeile)

Benutzerdefinierte Stoppwörter (eins pro Zeile)

1Aufgabe bestätigen

Analyse ausstehend

Prüfen Sie Dateien und Parameter und klicken Sie auf Analyse starten. Lassen Sie die Seite während der Verarbeitung geöffnet.

2Verarbeitungsfortschritt

Fortschritt 0 %

Warten auf Start...

Noch keine Analyseergebnisse. Bitte schließen Sie zuerst die vorherigen Schritte ab und starten Sie die Analyse.

Anleitung

Anleitung zur Softwarenutzung

Textinhalte auswählen:Klicken Sie auf „Datei auswählen“, um TXT-, MD-, CSV-, SRT-, LOG- und andere Textdateien stapelweise zu importieren. Sie können auch zu „Text einfügen“ wechseln und Inhalte direkt eingeben; zum Ausprobieren des Ablaufs können Beispieldaten geladen werden.
Dateiliste bestätigen:Nach der Mehrfachauswahl von Dateien zeigt die Oberfläche die ersten 20 Dateien an; die übrigen Dateien werden als Anzahl angezeigt, bei der eigentlichen Analyse werden jedoch weiterhin alle verarbeitet.
Regeln für die Wortsegmentierung festlegen:Wählen Sie die Methode zur chinesischen Wortsegmentierung, die Mindestwortlänge und die Länge chinesischer zusammengesetzter Wörter aus. Wenn es feste Branchenbegriffe gibt, können Sie unter „Benutzerdefinierte beizubehaltende Wörter“ pro Zeile ein Wort eintragen.
Gewichtungsalgorithmus konfigurieren:
- Worthäufigkeitsstatistik:Statistik über die Häufigkeit von Wörtern, die Dokumentabdeckung und die Keyword-Dichte.
- TF-IDF-Gewichtung:Bewertet die Unterscheidungskraft von Wörtern anhand von Worthäufigkeit und inverser Dokumenthäufigkeit.
- BM25-Gewichtung:Berechnet Relevanzwerte unter Einbeziehung von Worthäufigkeit, Dokumenthäufigkeit und Dokumentlänge.
Filteroptionen anpassen:Sie können die Stoppwortfilterung aktivieren, Zahlen beibehalten, zwischen Groß- und Kleinschreibung im Englischen unterscheiden sowie die Anzahl der angezeigten Ergebnisse und die Standardsortierung festlegen.
Einstellungen speichern:Klicken Sie auf „Einstellungen speichern“, um häufig verwendete Parameter zu behalten; beim nächsten Öffnen des Tools werden sie automatisch wiederhergestellt. Wenn Sie neu konfigurieren möchten, können Sie auf „Standard wiederherstellen“ klicken.
Analyse starten:Nachdem Sie die Seite „Analyse starten“ aufgerufen haben, klicken Sie auf „Analyse starten und weiter“, dann liest das Tool den Text ein, segmentiert die Wörter, zählt die Worthäufigkeit und berechnet die Gewichtungen.
Ergebnisse anzeigen und herunterladen:Nach Abschluss der Analyse können Sie in der Ergebnistabelle nach Keywords suchen und die aktuellen CSV-Ergebnisse herunterladen. Für Stapeldateien kann ein ZIP-Archiv heruntergeladen werden; Berichte einzelner Dokumente werden mit dem ursprünglichen Dateinamen exportiert, und Dateien mit gleichem Namen werden automatisch durch Zahlen unterschieden.

Häufige Fragen

Antwort: TF-IDF eignet sich, um aus einer Gruppe von Dokumenten Wörter zu finden, die ein Thema besser unterscheiden. Wenn ein Wort im aktuellen Dokument häufig, in anderen Dokumenten jedoch selten vorkommt, erhält es normalerweise einen höheren TF-IDF-Wert.

Antwort: BM25 kann als eine in Szenarien der Informationssuche häufig verwendete Methode zur Relevanzberechnung betrachtet werden. Auf Basis von Worthäufigkeit und inverser Dokumenthäufigkeit ergänzt es Worthäufigkeitssättigung und Dokumentlängennormalisierung und eignet sich daher besser, um Keyword-Gewichtungen in Dokumenten unterschiedlicher Länge zu vergleichen.

Antwort: Für normale chinesische Inhalte kann sie auf 2–3 Zeichen eingestellt werden. Wenn der Text viele Fachbegriffe, Produktnamen oder Long-Tail-Keywords enthält, kann sie auf 2–4 Zeichen eingestellt werden; wichtige Begriffe sollten außerdem zu den benutzerdefinierten beizubehaltenden Wörtern hinzugefügt werden.

Antwort: Stoppwörter sind meist häufig vorkommende, aber wenig informative Wörter wie „的, 了, 在, 我们, 可以“. Nach dem Filtern zeigt die Ergebnistabelle Themenbegriffe, Geschäftsbegriffe und Keyword-Hinweise leichter an.

Antwort: Das ZIP-Archiv enthält eine Gesamttabelle des Korpus sowie Berichte für einzelne Dokumente. Die Einzeldokument-Berichte behalten nach Möglichkeit den ursprünglichen Dateinamen bei, z. B. „文档A.csv“. Bei Namenskonflikten werden automatisch Namen wie „文档A_1.csv“, „文档A_2.csv“ usw. erzeugt.

Antwort: Die Keyword-Dichte gibt an, welchen Anteil das Vorkommen eines bestimmten Wortes im aktuellen Statistikbereich ausmacht. Eine höhere Dichte bedeutet, dass das Wort häufig vorkommt; dennoch sollte sie zusammen mit TF-IDF, BM25 und der Dokumentabdeckung beurteilt werden, um zu vermeiden, dass häufige Wörter fälschlicherweise als Themenbegriffe eingestuft werden.