Ferramenta de estatísticas de frequência e peso de palavras em documentos

Analise em lote a distribuição de frequência de palavras em documentos de texto, com suporte ao cálculo de pesos TF-IDF e BM25

Relatório de bug

Modo de execução no navegador: Seus dados são processados no navegador e não são enviados ao servidor.

Velocidade e estabilidade: A velocidade de processamento depende do seu dispositivo e navegador. Para trabalhos em lote grandes, a versão para desktop pode ser mais estável.

Carregando ferramenta, aguarde...

Se a ferramenta online não carregar ou executar, tente a ferramenta para desktop. https://tools.yikeaigc.com/

Uso da ferramenta

Voltar para a versão antiga

Há uma versão para desktop com recursos mais potentes e estáveis. Abrir versão desktop

Selecione o texto e defina os parâmetros antes de processar. Para testar rápido, carregue dados de exemplo; em lotes, só os 20 primeiros arquivos são exibidos, mas todos serão analisados.

1Escolha o modo de entrada

2Adicionar arquivos de texto

Clique para escolher arquivos ou arraste aqui

Suporta TXT, TEXT, MD, CSV, SRT, LOG. O conteúdo é lido e analisado no navegador.

2Colar texto

Nenhum texto inserido.

2Carregar exemplo

Os dados de exemplo substituirão a seleção atual.

3Status do conteúdo selecionado

Documentos0

Tamanho estimado0 KB

Aguardando texto

Adicione arquivos TXT, cole texto ou carregue dados de exemplo.

1Regras de segmentação

Segmentação de chinês

Tamanho mínimo da palavra

Tamanho da combinação chinesa

2Algoritmo de peso

Frequência de palavrasConta total e cobertura de documentos TF-IDFAvalia a distinção do termo no corpus BM25Pontuação com correção do tamanho do documento Densidade de palavras-chaveGera proporção de frequência e cobertura

3Parâmetros BM25

Parâmetro de saturação K1

Parâmetro de normalização B

Valores comuns: K1 cerca de 1.2-2.0, B cerca de 0.75. Os valores afetam a ordenação da pontuação BM25.

4Filtro e ordenação

Número de resultados

Ordenação padrão

Filtrar stopwordsFiltra partículas comuns e termos pouco informativos Manter númerosMantém anos, códigos, valores etc. Diferenciar maiúsculas/minúsculas em inglêsIdeal para analisar nomes próprios Gerar relatório por documentoExportar arquivos em lote com nomes originais

5Vocabulário personalizado

Termos personalizados a manter (um por linha)

Stopwords personalizados (um por linha)

1Confirmar tarefa

Aguardando análise

Após confirmar que arquivos e parâmetros estão corretos, clique em iniciar análise. Mantenha a página aberta durante o processamento.

2Progresso

Progresso 0%

Aguardando início...

Ainda não há resultados. Conclua as etapas anteriores e inicie a análise.

Instruções

Instruções de uso do software

Selecionar conteúdo de texto: clique em “Selecionar arquivo” para importar em lote arquivos de texto como TXT, MD, CSV, SRT e LOG, ou alterne para “Colar texto” para inserir o conteúdo diretamente; para experimentar o fluxo, você pode carregar dados de exemplo.
Confirmar a lista de arquivos: após selecionar arquivos em lote, a interface exibirá os primeiros 20 arquivos, e os demais serão indicados por quantidade; na análise real, todos ainda serão processados.
Definir regras de segmentação: escolha o método de segmentação de palavras em chinês, o limite mínimo de comprimento das palavras e o comprimento de combinações de palavras chinesas; se houver termos fixos do setor, insira um termo por linha em “Palavras personalizadas a preservar”.
Configurar o algoritmo de ponderação:
- Estatísticas de frequência de palavras: calcula o número de ocorrências das palavras, a cobertura de documentos e a densidade de palavras-chave.
- Peso TF-IDF: avalia o grau de diferenciação das palavras com base na frequência do termo e na frequência inversa de documentos.
- Peso BM25: calcula a pontuação de relevância combinando frequência do termo, frequência de documentos e comprimento do documento.
Ajustar opções de filtragem: é possível ativar a filtragem de stop words, preservar números, diferenciar maiúsculas e minúsculas em inglês, além de definir a quantidade de resultados exibidos e o método de ordenação padrão.
Salvar configurações: clique em “Salvar configurações” para manter os parâmetros usados com frequência; eles serão restaurados automaticamente na próxima vez que a ferramenta for aberta. Para reconfigurar, clique em “Restaurar padrão”.
Iniciar análise: após acessar a página “Iniciar análise”, clique em “Iniciar análise e próxima etapa”; a ferramenta lerá o texto, fará a segmentação, contará a frequência das palavras e calculará os pesos.
Ver e baixar resultados: após a conclusão da análise, você pode pesquisar palavras-chave na tabela de resultados e baixar o resultado CSV atual; para arquivos em lote, é possível baixar um pacote ZIP, e relatórios de documentos individuais serão exportados com o nome do arquivo original. Arquivos com nomes duplicados receberão números automaticamente para diferenciação.

Perguntas frequentes

Resposta: TF-IDF é adequado para identificar, em um conjunto de documentos, palavras que distinguem melhor os temas. Quando uma palavra aparece com frequência no documento atual, mas raramente em outros documentos, geralmente ela recebe um valor TF-IDF mais alto.

Resposta: BM25 pode ser considerado um método de cálculo de relevância comumente usado em cenários de recuperação de informações. Ele adiciona saturação da frequência do termo e normalização do comprimento do documento com base na frequência do termo e na frequência inversa de documentos, sendo mais adequado para comparar o peso de palavras-chave em documentos de diferentes comprimentos.

R: Para conteúdo comum em chinês, pode ser definido como 2-3 caracteres; se o texto contiver muitos termos do setor, nomes de produtos ou palavras-chave de cauda longa, pode ser definido como 2-4 caracteres, adicionando os termos importantes às palavras reservadas personalizadas.

R: Palavras irrelevantes geralmente são termos de alta frequência, mas com baixo valor informativo, como “的、了、在、我们、可以”. Após a filtragem, a tabela de resultados apresentará com mais facilidade termos temáticos, termos de negócio e pistas de palavras-chave.

R: O arquivo ZIP incluirá a tabela geral do corpus e relatórios de documentos individuais. Os relatórios de documentos individuais tentarão manter o nome original do arquivo, por exemplo “文档A.csv”; se houver nomes duplicados, serão gerados automaticamente nomes como “文档A_1.csv”, “文档A_2.csv” etc.

R: A densidade de palavras-chave indica a proporção de ocorrências de uma palavra dentro do escopo estatístico atual. Uma densidade mais alta indica que a palavra aparece com frequência, mas ainda é necessário avaliá-la em conjunto com TF-IDF, BM25 e a cobertura de documentos, para evitar confundir palavras comuns com termos temáticos.