Belge Kelime Sıklığı Ağırlık İstatistik Aracı

Metin belgelerinin kelime sıklığı dağılımını toplu olarak analiz edin; TF-IDF ve BM25 ağırlık hesaplamasını destekler.

Tarayıcı yürütme modu: Verileriniz tarayıcınızda işlenir ve sunucuya yüklenmez.

Hız ve kararlılık: İşleme hızı cihazınıza ve tarayıcınıza bağlıdır. Büyük toplu işler için masaüstü sürümü daha kararlı olabilir.

Araç yükleniyor, lütfen bekleyin...

Çevrimiçi araç yüklenmez veya çalışmazsa masaüstü aracını deneyin. https://tools.yikeaigc.com/

Araç Kullanımı

Eski sürüme dön

Daha güçlü ve kararlı özelliklere sahip masaüstü sürümü mevcut. Masaüstü sürümü aç

İşleme başlamadan önce metni seçin ve analiz parametrelerini ayarlayın. Hızlı denemek için örnek verileri yükleyebilirsiniz; toplu dosyalarda yalnızca ilk 20 dosya gösterilir, analizde tümü işlenir.

1Giriş yöntemi seç

2Metin dosyası ekle

Dosya seçmek için tıklayın veya buraya sürükleyin

TXT, TEXT, MD, CSV, SRT, LOG desteklenir. Dosya içeriği tarayıcıda okunur ve analiz edilir.

2Metin yapıştır

Henüz metin girilmedi.

2Örnek yükle

Örnek veriler mevcut seçimi değiştirir.

3Seçili içerik durumu

Belge sayısı0

Tahmini boyut0 KB

Metin seçimi bekleniyor

Önce TXT dosyası ekleyin, metin yapıştırın veya örnek veri yükleyin.

1Kelime ayırma kuralları

Çince kelime ayırma yöntemi

Min. sözcük uzunluğu

Çince birleşik sözcük uzunluğu

2Ağırlık algoritması

Sözcük sıklığıToplam sayımı ve belge kapsamını hesaplar TF-IDFSözcüğün derlemdeki ayırt ediciliğini değerlendirir BM25Belge uzunluğu düzeltmeli ağırlık puanı Anahtar kelime yoğunluğuSıklık oranı ve kapsamı çıktılar

3BM25 parametreleri

K1 doygunluk parametresi

B uzunluk normalleştirme parametresi

Yaygın değerler: K1 yaklaşık 1.2-2.0, B yaklaşık 0.75. Değerler BM25 puan sırasını etkiler.

4Filtreleme ve sıralama

Gösterilecek sonuç sayısı

Varsayılan sıralama

Durak sözcükleri filtreleYaygın işlev sözcüklerini ve düşük bilgili sözcükleri filtreler Sayıları koruYıl, numara, tutar gibi sayıları korur İngilizcede büyük/küçük harf duyarlıÖzel ad analizi için uygundur Tek belge raporu çıktısıToplu dosyaları özgün dosya adıyla dışa aktar

5Özel sözcük listesi

Özel korunacak sözcükler (her satıra bir tane)

Özel durdurma kelimeleri (her satıra bir)

1Görevi onayla

Analiz bekliyor

Dosya ve parametreleri kontrol edin, ardından analizi başlatın. İşlem sırasında sayfayı açık tutun.

2İşlem ilerlemesi

İlerleme 0%

Başlatma bekleniyor...

Henüz analiz sonucu yok. Önce önceki adımları tamamlayıp analizi başlatın.

Talimatlar

Yazılım Kullanım Talimatları

Metin içeriğini seçin:TXT, MD, CSV, SRT, LOG gibi metin dosyalarını toplu içe aktarmak için “Dosya seç”e tıklayın; ayrıca “Metin yapıştır” seçeneğine geçerek içeriği doğrudan girebilirsiniz. Süreci denemek isterseniz örnek verileri yükleyebilirsiniz.
Dosya listesini onaylayın:Dosyaları toplu seçtikten sonra arayüz ilk 20 dosyayı gösterir; kalan dosyalar sayı olarak belirtilir, ancak gerçek analiz sırasında hepsi işleme dahil edilir.
Kelime bölme kurallarını ayarlayın:Çince kelime bölme yöntemini, minimum kelime uzunluğunu ve Çince birleşik kelime uzunluğunu seçin; sabit sektör terimleriniz varsa “Özel saklanacak kelimeler” alanına her satıra bir kelime yazabilirsiniz.
Ağırlık algoritmasını yapılandırın:
- Kelime sıklığı istatistikleri:Kelimelerin görünme sayısını, belge kapsama sayısını ve anahtar kelime yoğunluğunu hesaplar.
- TF-IDF ağırlığı:Kelime sıklığı ve ters belge sıklığına göre kelimelerin ayırt ediciliğini değerlendirir.
- BM25 ağırlığı:Kelime sıklığı, belge sıklığı ve belge uzunluğunu birleştirerek alaka puanını hesaplar.
Filtreleme seçeneklerini ayarlayın:Durdurma kelimesi filtrelemeyi açabilir, sayıları koruyabilir, İngilizce büyük/küçük harf duyarlılığını etkinleştirebilir ve gösterilecek sonuç sayısı ile varsayılan sıralama yöntemini ayarlayabilirsiniz.
Ayarları kaydedin:Sık kullanılan parametreleri saklamak için “Ayarları kaydet”e tıklayın; araç bir sonraki açıldığında otomatik olarak geri yüklenir. Yeniden yapılandırmak isterseniz “Varsayılanları geri yükle”ye tıklayabilirsiniz.
Analizi başlatın:“Analizi başlat” sayfasına girdikten sonra “Analizi başlat ve sonraki adıma geç”e tıklayın; araç metni okur, kelimelere ayırır, kelime sıklığını hesaplar ve ağırlıkları hesaplar.
Sonuçları görüntüleyin ve indirin:Analiz tamamlandıktan sonra sonuç tablosunda anahtar kelime arayabilir ve mevcut CSV sonucunu indirebilirsiniz. Toplu dosyalar için ZIP arşivi indirilebilir; tek belge raporları orijinal dosya adına göre dışa aktarılır, aynı adlı dosyalar otomatik olarak sayı eklenerek ayırt edilir.

Sık Sorulan Sorular

Cevap: TF-IDF, bir belge grubunda konuyu daha iyi ayırt eden kelimeleri bulmak için uygundur. Bir kelime mevcut belgede sık, ancak diğer belgelerde daha az geçiyorsa genellikle daha yüksek bir TF-IDF değeri alır.

Cevap: BM25, bilgi erişimi senaryolarında yaygın kullanılan bir alaka hesaplama yöntemi olarak görülebilir. Kelime sıklığı ve ters belge sıklığına ek olarak kelime sıklığı doygunluğu ile belge uzunluğu normalizasyonunu dahil eder; bu nedenle farklı uzunluktaki belgelerde anahtar kelime ağırlıklarını karşılaştırmak için daha uygundur.

Cevap: Standart Çince içerikler için 2-3 karakter olarak ayarlanabilir; metinde çok sayıda sektör terimi, ürün adı veya uzun kuyruklu anahtar kelime varsa 2-4 karakter olarak ayarlanabilir ve önemli kelimeler özel korunan kelimelere eklenebilir.

Cevap: Durak kelimeler genellikle “的、了、在、我们、可以” gibi sık geçen ancak bilgi değeri düşük kelimelerdir. Filtrelemeden sonra sonuç tablosunda konu kelimeleri, iş terimleri ve anahtar kelime ipuçları daha kolay görünür.

Cevap: ZIP arşivinde korpus genel tablosu ve tekil belge raporları bulunur. Tekil belge raporlarında mümkün olduğunca orijinal dosya adı korunur, örneğin “文档A.csv”; aynı ada sahip dosyalar varsa otomatik olarak “文档A_1.csv”“文档A_2.csv” gibi adlar oluşturulur.

Cevap: Anahtar kelime yoğunluğu, belirli bir kelimenin mevcut istatistik kapsamındaki görülme oranını gösterir. Yüksek yoğunluk, kelimenin sık geçtiğini gösterir; ancak yaygın kelimeleri yanlışlıkla konu kelimesi sanmamak için TF-IDF, BM25 ve belge kapsama oranıyla birlikte değerlendirilmelidir.