Strumento per statistiche di ponderazione della frequenza delle parole nei documenti

Analizza in batch la distribuzione delle frequenze delle parole nei documenti di testo, con supporto per il calcolo dei pesi TF-IDF e BM25

Segnala bug

Modalità di esecuzione nel browser: I tuoi dati vengono elaborati nel browser e non caricati sul server.

Velocità e stabilità: La velocità di elaborazione dipende dal dispositivo e dal browser. Per grandi batch, la versione desktop può essere più stabile.

Caricamento strumento, attendi...

Se lo strumento online non si carica o non funziona, prova lo strumento desktop. https://tools.yikeaigc.com/

Uso dello strumento

Torna alla vecchia versione

È disponibile una versione desktop con funzioni più potenti e stabili. Apri versione desktop

Seleziona prima il testo e imposta i parametri di analisi. Per provare rapidamente, carica i dati di esempio; nei file in batch vengono mostrati solo i primi 20, ma saranno analizzati tutti.

1Scegli metodo di input

2Aggiungi file di testo

Clicca per scegliere file o trascinali qui

Supporta TXT, TEXT, MD, CSV, SRT, LOG. Il contenuto viene letto e analizzato nel browser.

2Incolla testo

Nessun testo inserito.

2Carica esempio

I dati di esempio sostituiranno la selezione corrente.

3Stato contenuto selezionato

Documenti0

Dimensione stimata0 KB

In attesa del testo

Aggiungi file TXT, incolla testo o carica dati di esempio.

1Regole di segmentazione

Metodo di segmentazione cinese

Lunghezza minima parola

Lunghezza combinazioni cinesi

2Algoritmo di peso

Frequenza paroleConta totale e copertura documenti TF-IDFValuta la distinzione nel corpus BM25Punteggio con correzione lunghezza documento Densità keywordMostra quota frequenza e copertura

3Parametri BM25

Parametro di saturazione K1

Parametro B di normalizzazione lunghezza

Valori comuni: K1 circa 1.2-2.0, B circa 0.75. I valori influenzano l'ordine dei punteggi BM25.

4Filtro e ordinamento

Numero risultati mostrati

Ordinamento predefinito

Filtra stop wordFiltra particelle comuni e parole poco informative Mantieni numeriMantieni anni, codici, importi e altri numeri Distingui maiuscole/minuscole in ingleseAdatto all'analisi di nomi propri Genera report per singolo documentoEsporta file batch con nomi originali

5Glossario personalizzato

Parole personalizzate da mantenere (una per riga)

Stopword personalizzate (una per riga)

1Conferma attività

Analisi da avviare

Dopo aver verificato file e parametri, fai clic su Avvia analisi. Tieni la pagina aperta durante l'elaborazione.

2Avanzamento

Avanzamento 0%

In attesa di avvio...

Nessun risultato di analisi. Completa prima i passaggi precedenti e avvia l'analisi.

Istruzioni

Istruzioni per l'uso del software

Seleziona il contenuto testuale: fai clic su “Seleziona file” per importare in batch file di testo come TXT, MD, CSV, SRT, LOG, oppure passa a “Incolla testo” per inserire direttamente il contenuto; se vuoi provare il flusso, puoi caricare i dati di esempio.
Conferma l'elenco dei file: dopo aver selezionato più file, l'interfaccia mostra i primi 20 file, mentre gli altri vengono indicati con il numero; durante l'analisi effettiva verranno comunque elaborati tutti.
Imposta le regole di segmentazione: scegli il metodo di segmentazione del cinese, la lunghezza minima delle parole e la lunghezza delle parole composte cinesi; se hai termini di settore fissi, puoi inserirne uno per riga in “Parole personalizzate da conservare”.
Configura l'algoritmo di ponderazione:
- Statistiche di frequenza delle parole: conteggia il numero di occorrenze dei termini, il numero di documenti coperti e la densità delle parole chiave.
- Peso TF-IDF: valuta il grado di distinzione dei termini in base alla frequenza delle parole e alla frequenza inversa dei documenti.
- Peso BM25: calcola il punteggio di pertinenza combinando frequenza delle parole, frequenza nei documenti e lunghezza del documento.
Regola le opzioni di filtro: puoi attivare il filtro delle stop word, mantenere i numeri, distinguere tra maiuscole e minuscole in inglese, e impostare il numero di risultati visualizzati e l'ordinamento predefinito.
Salva le impostazioni: fai clic su “Salva impostazioni” per conservare i parametri usati più spesso; alla prossima apertura dello strumento verranno ripristinati automaticamente. Se devi riconfigurare tutto, puoi fare clic su “Ripristina predefiniti”.
Avvia l'analisi: dopo essere entrato nella pagina “Avvia analisi”, fai clic su “Avvia analisi e avanti”; lo strumento leggerà il testo, eseguirà la segmentazione, calcolerà la frequenza delle parole e i pesi.
Visualizza e scarica i risultati: al termine dell'analisi puoi cercare parole chiave nella tabella dei risultati e scaricare i risultati CSV correnti; per i file in batch puoi scaricare un archivio ZIP, i report dei singoli documenti verranno esportati con il nome del file originale e i file con nomi duplicati saranno distinti automaticamente con un numero.

Domande frequenti

R: TF-IDF è adatto per individuare, in un gruppo di documenti, le parole che distinguono meglio l'argomento. Quando una parola compare spesso nel documento corrente ma poco negli altri documenti, di solito ottiene un valore TF-IDF più alto.

R: BM25 può essere considerato un metodo di calcolo della pertinenza comunemente usato negli scenari di recupero delle informazioni. Sulla base della frequenza delle parole e della frequenza inversa dei documenti, aggiunge la saturazione della frequenza delle parole e la normalizzazione della lunghezza del documento, risultando più adatto a confrontare il peso delle parole chiave in documenti di lunghezza diversa.

R: Per contenuti cinesi generici si può impostare su 2-3 caratteri; se il testo contiene molti termini di settore, nomi di prodotti o parole chiave a coda lunga, si può impostare su 2-4 caratteri e aggiungere i vocaboli importanti alle parole personalizzate da conservare.

R: Le parole stop sono di solito parole ad alta frequenza ma con basso contenuto informativo, come “的、了、在、我们、可以”. Dopo il filtraggio, la tabella dei risultati mostrerà più facilmente termini tematici, parole di business e indizi sulle parole chiave.

R: Il pacchetto ZIP conterrà la tabella riepilogativa del corpus e i report dei singoli documenti. I report dei singoli documenti manterranno per quanto possibile il nome del file originale, ad esempio “Documento A.csv”; in caso di nomi duplicati, verranno generati automaticamente nomi come “Documento A_1.csv”, “Documento A_2.csv” e così via.

R: La densità delle parole chiave indica la percentuale di occorrenze di una parola nell’intervallo statistico corrente. Una densità elevata indica che la parola compare frequentemente, ma va comunque valutata insieme a TF-IDF, BM25 e copertura dei documenti, per evitare di scambiare parole comuni per termini tematici.