Verktyg för statistik över ordfrekvens och viktning i dokument

Analysera ordfrekvensfördelningen i textdokument i batch, med stöd för viktberäkning med TF-IDF och BM25

Körningsläge i webbläsaren: Dina data bearbetas i webbläsaren och laddas inte upp till servern.

Hastighet och stabilitet: Bearbetningshastigheten beror på din enhet och webbläsare. För stora batchjobb kan skrivbordsversionen vara stabilare.

Verktyget laddas, vänta...

Om onlineverktyget inte kan laddas eller köras, prova skrivbordsverktyget. https://tools.yikeaigc.com/

Verktygsanvändning

Återgå till gamla versionen

En skrivbordsversion finns med kraftfullare och stabilare funktioner. Öppna skrivbordsversion

Välj först text och ställ in analysparametrar innan du startar. För en snabb test kan du läsa in exempeldata. Vid batchfiler visas bara de första 20, men alla behandlas vid analys.

1Välj inmatningssätt

2Lägg till textfiler

Klicka för att välja filer eller dra hit

Stöder TXT, TEXT, MD, CSV, SRT, LOG. Filinnehåll läses och analyseras i webbläsaren.

2Klistra in text

Ingen text har angetts.

2Läs in exempel

Exempeldata ersätter aktuellt val.

3Status för valt innehåll

Antal dokument0

Uppskattad storlek0 KB

Väntar på textval

Lägg först till TXT-filer, klistra in text eller läs in exempeldata.

1Segmenteringsregler

Kinesisk ordsegmentering

Minsta ordlängd

Längd på kinesiska kombinationer

2Viktningsalgoritm

OrdfrekvensRäkna totalt antal och dokumenttäckning TF-IDFUtvärdera ordets särskiljningsgrad i korpusen BM25Viktpoäng med korrigering för dokumentlängd NyckelordstäthetVisa frekvensandel och täckning

3BM25-parametrar

K1-mättnadsparameter

B-längdnormalisering

Vanliga värden: K1 cirka 1.2-2.0, B cirka 0.75. Värdena påverkar BM25-poängens rangordning.

4Filtrering och sortering

Antal resultat att visa

Standardsortering

Filtrera stoppordFiltrera vanliga formord och ord med lågt informationsvärde Behåll siffrorBehåll siffror som årtal, nummer och belopp Skiftlägeskänslig engelskaLämpligt för analys av egennamn Skapa rapport per dokumentExportera batchfiler med ursprungliga filnamn

5Anpassad ordlista

Anpassade ord att behålla (ett per rad)

Anpassade stoppord (ett per rad)

1Bekräfta uppgift

Väntar på analys

Kontrollera att fil och parametrar stämmer och klicka på Starta analys. Håll sidan öppen under bearbetningen.

2Bearbetningsstatus

Förlopp 0 %

Väntar på start...

Inga analysresultat än. Slutför först föregående steg och starta analysen.

Instruktioner

Användningsinstruktioner

Välj textinnehåll:Klicka på ”Välj fil” för att importera textfiler som TXT, MD, CSV, SRT och LOG i batch, eller växla till ”Klistra in text” för att ange innehåll direkt. Om du vill testa arbetsflödet kan du läsa in exempeldata.
Bekräfta fillistan:När du har valt flera filer visas de första 20 filerna i gränssnittet, medan resterande filer anges med antal. Vid den faktiska analysen behandlas fortfarande alla filer.
Ställ in regler för ordsegmentering:Välj metod för kinesisk ordsegmentering, minsta ordlängd och längd för kinesiska sammansatta ord. Om du har fasta branschord kan du ange ett ord per rad under ”Anpassade bevarade ord”.
Konfigurera viktningsalgoritm:
- Ordfrekvensstatistik:Räknar antal förekomster av ord, dokumenttäckning och nyckelordstäthet.
- TF-IDF-viktning:Utvärderar hur väl ord särskiljer innehåll baserat på ordfrekvens och invers dokumentfrekvens.
- BM25-viktning:Beräknar relevanspoäng genom att kombinera ordfrekvens, dokumentfrekvens och dokumentlängd.
Justera filtreringsalternativ:Du kan aktivera filtrering av stoppord, behålla siffror, skilja på stora och små bokstäver i engelska samt ange antal resultat som ska visas och standardsortering.
Spara inställningar:Klicka på ”Spara inställningar” för att behålla vanliga parametrar. De återställs automatiskt nästa gång verktyget öppnas. Om du behöver konfigurera om kan du klicka på ”Återställ standard”.
Starta analys:När du har gått till sidan ”Starta analys” klickar du på ”Starta analys och nästa steg”. Verktyget läser texten, segmenterar orden, sammanställer ordfrekvens och beräknar vikter.
Visa och ladda ner resultat:När analysen är klar kan du söka efter nyckelord i resultattabellen och ladda ner aktuella CSV-resultat. För batchfiler kan du ladda ner ett ZIP-arkiv. Rapporter för enskilda dokument exporteras med det ursprungliga filnamnet, och filer med samma namn särskiljs automatiskt med siffror.

Vanliga frågor

Svar: TF-IDF passar för att hitta ord som bättre särskiljer ämnen i en uppsättning dokument. När ett ord förekommer ofta i det aktuella dokumentet men sällan i andra dokument får det vanligtvis ett högre TF-IDF-värde.

Svar: BM25 kan ses som en vanlig metod för relevansberäkning inom informationssökning. Den bygger på ordfrekvens och invers dokumentfrekvens, men lägger till mättnad av ordfrekvens och normalisering av dokumentlängd, vilket gör den mer lämplig för att jämföra nyckelordsvikter i dokument av olika längd.

Svar: För vanligt kinesiskt innehåll kan den ställas in på 2–3 tecken. Om texten innehåller många branschtermer, produktnamn eller longtail-sökord kan den ställas in på 2–4 tecken, och viktiga ord kan läggas till som anpassade bevarade ord.

Svar: Stoppord är vanligtvis högfrekventa ord med låg informationsmängd, som ”的”, ”了”, ”在”, ”我们” och ”可以”. Efter filtrering blir det enklare för resultattabellen att visa temaord, affärstermer och ledtrådar till nyckelord.

Svar: ZIP-arkivet innehåller en samlad korpustabell och rapporter för enskilda dokument. Rapporter för enskilda dokument behåller i möjligaste mån det ursprungliga filnamnet, till exempel ”Dokument A.csv”. Om namnkonflikter uppstår genereras automatiskt namn som ”Dokument A_1.csv” och ”Dokument A_2.csv”.

Svar: Nyckelordstäthet anger hur stor andel av förekomsterna ett visst ord står för inom det aktuella statistikområdet. Högre täthet innebär att ordet förekommer ofta, men det bör ändå bedömas tillsammans med TF-IDF, BM25 och dokumenttäckning för att undvika att vanliga ord misstas för temaord.