Herramienta de estadísticas de ponderación de frecuencia de palabras en documentos

Analiza por lotes la distribución de frecuencia de palabras en documentos de texto, con cálculo de ponderación TF-IDF y BM25

Informe de error

Modo de ejecución en navegador: Tus datos se procesan en tu navegador y no se suben al servidor.

Velocidad y estabilidad: La velocidad de procesamiento depende de tu dispositivo y navegador. Para lotes grandes, la versión de escritorio puede ser más estable.

Cargando herramienta, espera...

Si la herramienta en línea no carga o no se ejecuta, prueba la herramienta de escritorio. https://tools.yikeaigc.com/

Uso de herramientas

Volver a la versión anterior

Hay una versión de escritorio con funciones más potentes y estables. Abrir versión de escritorio

Primero selecciona texto y configura los parámetros. Para probar rápido, carga datos de ejemplo; en archivos por lotes solo se muestran los primeros 20, pero se analizarán todos.

1Elegir método de entrada

2Añadir archivos de texto

Haz clic para elegir archivos o arrástralos aquí

Admite TXT, TEXT, MD, CSV, SRT, LOG. El contenido se lee y analiza en el navegador.

2Pegar texto

Aún no se ha introducido texto.

2Cargar ejemplo

Los datos de ejemplo reemplazarán la selección actual.

3Estado del contenido seleccionado

Documentos0

Tamaño estimado0 KB

Esperando selección de texto

Añade archivos TXT, pega texto o carga datos de ejemplo.

1Reglas de segmentación

Método de segmentación china

Longitud mínima

Longitud de palabras chinas

2Algoritmo de peso

Frecuencia de palabrasCuenta total y cobertura de docs. TF-IDFEvalúa la diferenciación en el corpus BM25Puntaje con corrección por longitud Densidad de palabras claveMuestra proporción y cobertura

3Parámetros BM25

Parámetro de saturación K1

Parámetro B de longitud

Valores comunes: K1 aprox. 1.2-2.0, B aprox. 0.75. Afectan el orden de puntuación BM25.

4Filtrar y ordenar

Cantidad de resultados

Orden predeterminado

Filtrar palabras vacíasFiltra partículas y palabras poco informativas Conservar númerosConserva años, códigos, importes, etc. Distinguir mayúsculasIdeal para nombres propios Informe por documentoExportar archivos por nombre original

5Diccionario personalizado

Palabras a conservar (una por línea)

Stopwords personalizadas (una por línea)

1Confirmar tarea

Análisis pendiente

Tras confirmar que el archivo y los parámetros son correctos, haz clic en iniciar análisis. Mantén la página abierta durante el proceso.

2Progreso

Progreso 0%

Esperando inicio...

Aún no hay resultados. Completa los pasos anteriores e inicia el análisis.

Instrucciones

Instrucciones de uso del software

Seleccionar contenido de texto: haz clic en “Seleccionar archivo” para importar por lotes archivos de texto como TXT, MD, CSV, SRT, LOG, etc.; también puedes cambiar a “Pegar texto” para introducir el contenido directamente. Si necesitas probar el flujo, puedes cargar datos de ejemplo.
Confirmar la lista de archivos: después de seleccionar archivos por lotes, la interfaz muestra los primeros 20 archivos; el resto se indicará con una cantidad, pero todos participarán igualmente en el análisis real.
Configurar reglas de segmentación: selecciona el método de segmentación de chino, la longitud mínima de palabra y la longitud de palabras compuestas en chino; si tienes términos fijos del sector, puedes introducir una palabra por línea en “Palabras reservadas personalizadas”.
Configurar el algoritmo de ponderación:
- Estadísticas de frecuencia de palabras: contabiliza el número de apariciones de las palabras, la cobertura de documentos y la densidad de palabras clave.
- Ponderación TF-IDF: evalúa la capacidad de diferenciación de las palabras según la frecuencia de término y la frecuencia inversa de documento.
- Ponderación BM25: calcula la puntuación de relevancia combinando la frecuencia de término, la frecuencia de documento y la longitud del documento.
Ajustar opciones de filtrado: puedes activar el filtrado de palabras vacías, conservar números, distinguir entre mayúsculas y minúsculas en inglés, y establecer la cantidad de resultados mostrados y el método de ordenación predeterminado.
Guardar configuración: haz clic en “Guardar configuración” para conservar los parámetros habituales; se restaurarán automáticamente la próxima vez que abras la herramienta. Si necesitas volver a configurarla, puedes hacer clic en “Restaurar valores predeterminados”.
Iniciar análisis: tras entrar en la página “Iniciar análisis”, haz clic en “Iniciar análisis y siguiente”; la herramienta leerá el texto, segmentará las palabras, contará la frecuencia de palabras y calculará las ponderaciones.
Ver y descargar resultados: una vez finalizado el análisis, puedes buscar palabras clave en la tabla de resultados y descargar el resultado CSV actual; para archivos por lotes puedes descargar un paquete ZIP, los informes de documentos individuales se exportarán con el nombre del archivo original, y los archivos con nombres duplicados se distinguirán automáticamente añadiendo números.

Preguntas frecuentes

R: TF-IDF es adecuado para identificar, dentro de un conjunto de documentos, las palabras que mejor distinguen un tema. Cuando una palabra aparece con frecuencia en el documento actual, pero poco en otros documentos, normalmente obtiene un valor TF-IDF más alto.

R: BM25 puede considerarse un método de cálculo de relevancia utilizado habitualmente en escenarios de recuperación de información. Añade saturación de frecuencia de término y normalización por longitud del documento sobre la base de la frecuencia de término y la frecuencia inversa de documento, por lo que es más adecuado para comparar el peso de palabras clave en documentos de distintas longitudes.

R: Para contenido chino general, puede configurarse en 2-3 caracteres; si el texto contiene muchos términos del sector, nombres de productos o palabras clave de cola larga, puede configurarse en 2-4 caracteres y añadir los términos importantes a las palabras reservadas personalizadas.

R: Las palabras vacías suelen ser términos de alta frecuencia pero con poca información, como “的、了、在、我们、可以”. Tras filtrarlas, la tabla de resultados mostrará más fácilmente términos temáticos, términos de negocio y pistas de palabras clave.

R: El archivo comprimido ZIP incluirá una tabla general del corpus y reportes de documentos individuales. Los reportes de documentos individuales intentarán conservar el nombre del archivo original, por ejemplo “文档A.csv”; si hay nombres duplicados, se generarán automáticamente nombres como “文档A_1.csv” y “文档A_2.csv”.

R: La densidad de palabras clave indica la proporción de apariciones de una palabra dentro del rango estadístico actual. Una densidad alta significa que la palabra aparece con frecuencia, pero aun así debe evaluarse junto con TF-IDF, BM25 y la cobertura de documentos para evitar confundir palabras comunes con términos temáticos.