Tool voor woordfrequentie- en gewichtsstatistieken in documenten

Analyseer in batch de woordfrequentieverdeling van tekstdocumenten, met ondersteuning voor TF-IDF- en BM25-gewichtsberekening

Bug melden

Browseruitvoermodus: Je gegevens worden in je browser verwerkt en niet naar de server geüpload.

Snelheid en stabiliteit: De verwerkingssnelheid hangt af van je apparaat en browser. Voor grote batchtaken kan de desktopversie stabieler zijn.

Tool wordt geladen, even geduld...

Als de online tool niet kan laden of uitvoeren, probeer dan de desktoptool. https://tools.yikeaigc.com/

Toolgebruik

Terug naar oude versie

Er is een desktopversie beschikbaar met krachtigere en stabielere functies. Desktopversie openen

Kies eerst tekst en stel de analyseparameters in voordat je begint. Voor een snelle test kun je voorbeeldgegevens laden; bij batchbestanden worden alleen de eerste 20 getoond, maar alles wordt geanalyseerd.

1Invoermethode kiezen

2Tekstbestand toevoegen

Klik om bestanden te kiezen of sleep ze hierheen

Ondersteunt TXT, TEXT, MD, CSV, SRT, LOG. Bestanden worden in de browser gelezen en geanalyseerd.

2Tekst plakken

Nog geen tekst ingevoerd.

2Voorbeeld laden

Voorbeeldgegevens vervangen de huidige selectie.

3Status geselecteerde inhoud

Aantal documenten0

Geschatte grootte0 KB

Wacht op tekstselectie

Voeg eerst TXT-bestanden toe, plak tekst of laad voorbeeldgegevens.

1Segmentatieregels

Chinese woordsegmentatie

Min. woordlengte

Lengte Chinese combinatie

2Wegingsalgoritme

WoordfrequentieTelt totaal aantal en documentdekking TF-IDFBeoordeelt onderscheidend vermogen in corpus BM25Gewogen score met documentlengtecorrectie ZoekwoorddichtheidGeeft frequentieaandeel en dekking

3BM25-parameters

K1-verzadigingsparameter

B-lengtenormalisatie

Gebruikelijk: K1 ca. 1.2-2.0, B ca. 0.75. Waarden beïnvloeden de BM25-scorevolgorde.

4Filteren en sorteren

Aantal resultaten

Standaardsortering

Stopwoorden filterenFiltert functiewoorden en woorden met weinig info Cijfers behoudenBehoudt jaren, nummers, bedragen enz. Engels hoofdlettergevoeligGeschikt voor analyse van eigennamen Rapport per document makenBatchbestanden met originele bestandsnaam exporteren

5Aangepaste woordenlijst

Aangepaste te behouden woorden (één per regel)

Aangepaste stopwoorden (één per regel)

1Taak bevestigen

Wacht op analyse

Controleer bestand en instellingen en klik op analyse starten. Houd de pagina open tijdens de verwerking.

2Verwerkingsvoortgang

Voortgang 0%

Wachten op start...

Nog geen analyseresultaten. Voltooi eerst de vorige stappen en start de analyse.

Instructies

Gebruiksinstructies

Tekstinhoud selecteren: klik op “Bestand kiezen” om tekstbestanden zoals TXT, MD, CSV, SRT en LOG in bulk te importeren, of schakel over naar “Tekst plakken” om inhoud direct in te voeren; om de workflow te proberen kun je voorbeeldgegevens laden.
Bestandslijst controleren: nadat je bestanden in bulk hebt geselecteerd, toont de interface de eerste 20 bestanden; de overige bestanden worden als aantal weergegeven, maar doen tijdens de daadwerkelijke analyse nog steeds allemaal mee.
Regels voor woordsegmentatie instellen: kies de Chinese segmentatiemethode, de minimale woordlengte en de lengte van Chinese samengestelde woorden; als je vaste branchetermen hebt, kun je in “Aangepaste behouden woorden” per regel één woord invullen.
Wegingsalgoritme configureren:
- Woordfrequentie: telt hoe vaak woorden voorkomen, in hoeveel documenten ze voorkomen en de trefwoorddichtheid.
- TF-IDF-weging: beoordeelt het onderscheidend vermogen van woorden op basis van woordfrequentie en inverse documentfrequentie.
- BM25-weging: berekent een relevantiescore op basis van woordfrequentie, documentfrequentie en documentlengte.
Filteropties aanpassen: je kunt stopwoordfiltering inschakelen, cijfers behouden, onderscheid maken tussen hoofdletters en kleine letters in het Engels, en het aantal weergegeven resultaten en de standaard sorteermethode instellen.
Instellingen opslaan: klik op “Instellingen opslaan” om veelgebruikte parameters te bewaren; de volgende keer dat je de tool opent, worden ze automatisch hersteld. Klik op “Standaard herstellen” als je opnieuw wilt configureren.
Analyse starten: ga naar de pagina “Analyse starten” en klik op “Analyse starten en volgende”; de tool leest de tekst, segmenteert woorden, telt woordfrequenties en berekent de weging.
Resultaten bekijken en downloaden: na voltooiing van de analyse kun je in de resultatentabel naar trefwoorden zoeken en de huidige CSV-resultaten downloaden; bij batchbestanden kun je een ZIP-archief downloaden, rapporten voor afzonderlijke documenten worden geëxporteerd met de oorspronkelijke bestandsnaam en bestanden met dezelfde naam krijgen automatisch een nummer ter onderscheid.

Veelgestelde vragen

Antwoord: TF-IDF is geschikt om binnen een verzameling documenten woorden te vinden die thema’s beter van elkaar onderscheiden. Wanneer een woord vaak voorkomt in het huidige document, maar weinig in andere documenten, krijgt het meestal een hogere TF-IDF-waarde.

Antwoord: BM25 kan worden gezien als een veelgebruikte methode voor relevantieberekening in informatieopvraging. Het voegt verzadiging van woordfrequentie en normalisatie van documentlengte toe aan woordfrequentie en inverse documentfrequentie, waardoor het beter geschikt is om trefwoordgewichten in documenten van verschillende lengtes te vergelijken.

Antwoord: Voor gewone Chinese content kunt u 2-3 tekens instellen; als de tekst veel vaktermen, productnamen of long-tailzoekwoorden bevat, kunt u 2-4 tekens instellen en belangrijke woorden toevoegen aan de aangepaste te behouden woorden.

Antwoord: Stopwoorden zijn meestal woorden met een hoge frequentie maar weinig informatiewaarde, zoals “的、了、在、我们、可以”. Na filtering toont de resultatentabel gemakkelijker thematische woorden, zakelijke termen en aanwijzingen voor zoekwoorden.

Antwoord: Het ZIP-archief bevat een totaaltabel van het corpus en rapporten per document. Rapporten per document behouden zoveel mogelijk de oorspronkelijke bestandsnaam, bijvoorbeeld “文档A.csv”; bij dubbele namen worden automatisch namen zoals “文档A_1.csv” en “文档A_2.csv” gegenereerd.

Antwoord: Zoekwoorddichtheid geeft het aandeel weer waarin een woord binnen het huidige statistische bereik voorkomt. Een hogere dichtheid betekent dat het woord vaak voorkomt, maar beoordeel dit nog steeds samen met TF-IDF, BM25 en documentdekking om te voorkomen dat gewone woorden ten onrechte als thematische woorden worden beschouwd.