Outil de statistiques de fréquence et de pondération des mots dans les documents

Analysez en lot la distribution de fréquence des mots dans des documents texte, avec prise en charge du calcul des pondérations TF-IDF et BM25.

Signaler un bug

Mode d’exécution du navigateur: Vos données sont traitées dans votre navigateur et ne sont pas envoyées au serveur.

Vitesse et stabilité: La vitesse de traitement dépend de votre appareil et de votre navigateur. Pour les gros lots, la version de bureau peut être plus stable.

Chargement de l’outil, veuillez patienter...

Si l’outil en ligne ne se charge pas ou ne fonctionne pas, essayez l’outil de bureau. https://tools.yikeaigc.com/

Utilisation de l’outil

Retour à l’ancienne version

Une version de bureau est disponible avec des fonctionnalités plus puissantes et stables. Ouvrir la version bureau

Sélectionnez d’abord le texte et réglez les paramètres d’analyse. Pour tester rapidement, chargez les données d’exemple ; seuls les 20 premiers fichiers par lot sont affichés, mais tous seront analysés.

1Choisir le mode de saisie

2Ajouter des fichiers texte

Cliquez pour choisir des fichiers ou glissez-les ici

Prend en charge TXT, TEXT, MD, CSV, SRT, LOG. Le contenu est lu et analysé dans le navigateur.

2Coller du texte

Aucun texte saisi.

2Charger l’exemple

Les données d’exemple remplaceront la sélection actuelle.

3État du contenu sélectionné

Documents0

Taille estimée0 KB

En attente de texte

Ajoutez d’abord des fichiers TXT, collez du texte ou chargez les données d’exemple.

1Règles de segmentation

Méthode de segmentation chinoise

Longueur min. du mot

Longueur des composés chinois

2Algorithme de pondération

Statistiques de fréquenceCompte les occurrences et la couverture des documents TF-IDFÉvalue la discrimination du terme dans le corpus BM25Score pondéré avec correction de longueur du document Densité des mots-clésAffiche part de fréquence et taux de couverture

3Paramètres BM25

Paramètre de saturation K1

Paramètre B de normalisation de longueur

Valeurs courantes : K1 env. 1.2-2.0, B env. 0.75. Les valeurs influent sur le classement des scores BM25.

4Filtre et tri

Nombre de résultats

Tri par défaut

Filtrer les mots videsFiltre les mots-outils courants et peu informatifs Conserver les nombresConserver années, codes, montants, etc. Respecter la casse en anglaisAdapté à l’analyse des noms propres Rapport par documentExporter les fichiers par nom d’origine

5Lexique personnalisé

Mots à conserver personnalisés (un par ligne)

Mots vides personnalisés (un par ligne)

1Confirmer la tâche

Analyse en attente

Après vérification des fichiers et paramètres, cliquez sur lancer l’analyse. Gardez la page ouverte pendant le traitement.

2Progression

Progression 0 %

En attente...

Aucun résultat d’analyse. Terminez d’abord les étapes précédentes et lancez l’analyse.

Instructions

Instructions d’utilisation du logiciel

Sélectionner le contenu texte : cliquez sur « Sélectionner des fichiers » pour importer en lot des fichiers texte TXT, MD, CSV, SRT, LOG, etc. Vous pouvez aussi passer à « Coller le texte » pour saisir directement le contenu ; pour tester le processus, vous pouvez charger des données d’exemple.
Confirmer la liste des fichiers : après la sélection de fichiers en lot, l’interface affiche les 20 premiers fichiers ; les autres sont indiqués par un nombre, mais ils seront tout de même tous inclus dans l’analyse.
Définir les règles de segmentation : choisissez la méthode de segmentation du chinois, la longueur minimale des mots et la longueur des mots composés chinois ; si vous avez des termes métier fixes, saisissez-en un par ligne dans « Mots personnalisés à conserver ».
Configurer l’algorithme de pondération :
- Statistiques de fréquence des mots : compte les occurrences des mots, le nombre de documents couverts et la densité des mots-clés.
- Pondération TF-IDF : évalue le pouvoir discriminant des mots selon leur fréquence et la fréquence inverse de document.
- Pondération BM25 : calcule un score de pertinence en combinant fréquence des mots, fréquence des documents et longueur des documents.
Ajuster les options de filtrage : vous pouvez activer le filtrage des mots vides, conserver les nombres, distinguer les majuscules et minuscules en anglais, et définir le nombre de résultats affichés ainsi que le mode de tri par défaut.
Enregistrer les paramètres : cliquez sur « Enregistrer les paramètres » pour conserver les paramètres courants ; ils seront restaurés automatiquement à la prochaine ouverture de l’outil. Pour reconfigurer, cliquez sur « Restaurer les valeurs par défaut ».
Lancer l’analyse : une fois sur la page « Lancer l’analyse », cliquez sur « Lancer l’analyse et passer à l’étape suivante » ; l’outil lira le texte, le segmentera, comptera la fréquence des mots et calculera les pondérations.
Consulter et télécharger les résultats : une fois l’analyse terminée, vous pouvez rechercher des mots-clés dans le tableau des résultats et télécharger le résultat CSV actuel ; pour les fichiers en lot, vous pouvez télécharger une archive ZIP. Les rapports de documents individuels seront exportés avec le nom du fichier d’origine, et les fichiers portant le même nom seront automatiquement distingués par un numéro.

Questions fréquentes

R : TF-IDF est adapté pour identifier, dans un ensemble de documents, les mots qui distinguent le mieux les thèmes. Lorsqu’un mot apparaît souvent dans le document actuel mais rarement dans les autres documents, il obtient généralement une valeur TF-IDF élevée.

R : BM25 peut être considéré comme une méthode courante de calcul de pertinence dans les scénarios de recherche d’information. Il ajoute à la fréquence des mots et à la fréquence inverse de document une saturation de la fréquence des mots et une normalisation de la longueur des documents, ce qui le rend plus adapté à la comparaison du poids des mots-clés dans des documents de longueurs différentes.

R : Pour un contenu chinois courant, vous pouvez définir une longueur de 2 à 3 caractères ; si le texte contient de nombreux termes sectoriels, noms de produits ou mots-clés de longue traîne, vous pouvez définir une longueur de 2 à 4 caractères et ajouter les termes importants aux mots réservés personnalisés.

R : Les mots vides sont généralement des mots très fréquents mais peu informatifs, comme « 的、了、在、我们、可以 ». Après filtrage, le tableau des résultats met plus facilement en évidence les termes thématiques, les termes métier et les pistes de mots-clés.

R : L’archive ZIP contient un tableau global du corpus et des rapports par document. Les rapports par document conservent autant que possible le nom du fichier d’origine, par exemple « 文档A.csv » ; en cas de doublon, des noms comme « 文档A_1.csv », « 文档A_2.csv », etc. sont générés automatiquement.

R : La densité des mots-clés indique la proportion d’apparition d’un mot dans la plage statistique actuelle. Une densité élevée signifie que le mot apparaît fréquemment, mais il faut l’évaluer avec TF-IDF, BM25 et le taux de couverture des documents afin d’éviter de confondre des mots courants avec des termes thématiques.