Alat Statistik Bobot Frekuensi Kata Dokumen

Analisis distribusi frekuensi kata dalam dokumen teks secara massal, mendukung perhitungan bobot TF-IDF dan BM25

Mode eksekusi browser: Data Anda diproses di browser dan tidak diunggah ke server.

Kecepatan dan stabilitas: Kecepatan pemrosesan bergantung pada perangkat dan browser Anda. Untuk pekerjaan batch besar, versi desktop mungkin lebih stabil.

Memuat alat, harap tunggu...

Jika alat online tidak dapat dimuat atau dijalankan, coba alat desktop. https://tools.yikeaigc.com/

Penggunaan Alat

Kembali ke versi lama

Versi desktop tersedia dengan fitur yang lebih andal dan stabil. Buka versi desktop

Pilih teks dan atur parameter analisis terlebih dahulu, lalu mulai proses. Untuk coba cepat, muat data contoh; file batch hanya menampilkan 20 pertama, tetapi semua akan diproses saat analisis.

1Pilih metode input

2Tambah file teks

Klik untuk memilih file atau seret ke sini

Mendukung TXT, TEXT, MD, CSV, SRT, LOG. Isi file dibaca dan dianalisis di browser.

2Tempel teks

Belum ada teks.

2Muat contoh

Data contoh akan mengganti pilihan saat ini.

3Status konten terpilih

Jumlah dokumen0

Estimasi ukuran0 KB

Menunggu pilihan teks

Tambahkan file TXT, tempel teks, atau muat data contoh terlebih dahulu.

1Aturan segmentasi

Metode segmentasi Mandarin

Batas bawah panjang kata

Panjang kombinasi kata Tionghoa

2Algoritme bobot

Statistik frekuensi kataHitung total kemunculan dan cakupan dokumen TF-IDFNilai daya pembeda kata dalam korpus BM25Skor bobot dengan koreksi panjang dokumen Kepadatan kata kunciKeluarkan rasio frekuensi kata dan cakupan

3Parameter BM25

Parameter saturasi K1

Parameter normalisasi panjang B

Nilai umum: K1 sekitar 1.2-2.0, B sekitar 0.75. Nilai memengaruhi urutan skor BM25.

4Filter & urutkan

Jumlah hasil ditampilkan

Urutan default

Filter stopwordFilter partikel umum dan kata rendah informasi Pertahankan angkaPertahankan tahun, nomor, jumlah uang, dll. Bedakan huruf besar/kecil InggrisCocok untuk analisis nama diri Keluarkan laporan per dokumenEkspor file massal dengan nama asli

5Kamus kata kustom

Kata simpan kustom (satu per baris)

Stopword kustom (satu per baris)

1Konfirmasi tugas

Menunggu analisis

Setelah file dan parameter benar, klik mulai analisis. Biarkan halaman tetap terbuka selama proses.

2Progres proses

Progres 0%

Menunggu mulai...

Belum ada hasil analisis. Selesaikan langkah sebelumnya dan mulai analisis.

Petunjuk

Petunjuk Penggunaan Perangkat Lunak

Pilih konten teks:Klik “Pilih File” untuk mengimpor file teks seperti TXT, MD, CSV, SRT, LOG secara massal, atau beralih ke “Tempel Teks” untuk langsung memasukkan konten; jika ingin mencoba alurnya, Anda dapat memuat data contoh.
Konfirmasi daftar file:Setelah memilih file secara massal, antarmuka menampilkan 20 file pertama, sementara file lainnya akan ditampilkan sebagai informasi jumlah; saat analisis sebenarnya, semua file tetap akan diproses.
Atur aturan pemenggalan kata:Pilih metode pemenggalan kata bahasa Mandarin, batas minimum panjang kata, dan panjang kata gabungan bahasa Mandarin; jika ada istilah industri tetap, masukkan satu kata per baris di “Kata Khusus yang Dipertahankan”.
Konfigurasi algoritma bobot:
- Statistik frekuensi kata:Menghitung jumlah kemunculan kata, jumlah cakupan dokumen, dan kepadatan kata kunci.
- Bobot TF-IDF:Menilai kemampuan pembeda kata berdasarkan frekuensi kata dan frekuensi dokumen terbalik.
- Bobot BM25:Menghitung skor relevansi dengan menggabungkan frekuensi kata, frekuensi dokumen, dan panjang dokumen.
Sesuaikan opsi filter:Anda dapat mengaktifkan filter stopword, mempertahankan angka, membedakan huruf besar/kecil bahasa Inggris, serta mengatur jumlah hasil yang ditampilkan dan metode pengurutan default.
Simpan pengaturan:Klik “Simpan Pengaturan” untuk menyimpan parameter yang sering digunakan, dan akan dipulihkan otomatis saat alat dibuka berikutnya; jika perlu mengonfigurasi ulang, klik “Pulihkan Default”.
Mulai analisis:Setelah masuk ke halaman “Mulai Analisis”, klik “Mulai Analisis dan Lanjutkan”, alat akan membaca teks, melakukan pemenggalan kata, menghitung frekuensi kata, dan menghitung bobot.
Lihat dan unduh hasil:Setelah analisis selesai, Anda dapat mencari kata kunci di tabel hasil dan mengunduh hasil CSV saat ini; untuk file massal, Anda dapat mengunduh paket ZIP, laporan dokumen tunggal akan diekspor sesuai nama file asli, dan file dengan nama yang sama akan otomatis diberi angka untuk membedakannya.

Pertanyaan Umum

Jawab: TF-IDF cocok untuk menemukan kata-kata yang lebih mampu membedakan topik dari sekumpulan dokumen. Ketika suatu kata sering muncul dalam dokumen saat ini, tetapi jarang muncul di dokumen lain, biasanya kata tersebut akan mendapatkan nilai TF-IDF yang lebih tinggi.

Jawab: BM25 dapat dianggap sebagai metode perhitungan relevansi yang umum digunakan dalam skenario temu kembali informasi. Berdasarkan frekuensi kata dan frekuensi dokumen terbalik, BM25 menambahkan saturasi frekuensi kata dan normalisasi panjang dokumen, sehingga lebih cocok untuk membandingkan bobot kata kunci dalam dokumen dengan panjang berbeda.

Jawab: Untuk konten bahasa Mandarin umum, dapat diatur menjadi 2-3 karakter; jika teks berisi banyak istilah industri, nama produk, atau kata kunci long-tail, dapat diatur menjadi 2-4 karakter, dan tambahkan kosakata penting ke daftar kata yang dipertahankan khusus.

Jawab: Stopword biasanya adalah kata yang sering muncul tetapi memiliki informasi rendah, seperti “的、了、在、我们、可以”. Setelah difilter, tabel hasil akan lebih mudah menampilkan kata topik, kata bisnis, dan petunjuk kata kunci.

Jawab: Paket ZIP akan berisi tabel keseluruhan korpus dan laporan per dokumen. Laporan per dokumen akan sebisa mungkin mempertahankan nama file asli, misalnya “文档A.csv”; jika ada nama yang sama, sistem akan otomatis membuat nama seperti “文档A_1.csv”“文档A_2.csv”.

Jawab: Kepadatan kata kunci menunjukkan proporsi kemunculan suatu kata dalam cakupan statistik saat ini. Kepadatan yang lebih tinggi berarti kata tersebut sering muncul, tetapi tetap perlu dinilai bersama TF-IDF, BM25, dan cakupan dokumen agar kata umum tidak keliru dianggap sebagai kata topik.