Alat Statistik Pemberat Kekerapan Perkataan Dokumen

Menganalisis taburan kekerapan perkataan dalam dokumen teks secara pukal, menyokong pengiraan pemberat TF-IDF dan BM25

Mod pelaksanaan pelayar: Data anda diproses dalam penyemak imbas dan tidak dimuat naik ke pelayan.

Kelajuan dan kestabilan: Kelajuan pemprosesan bergantung pada peranti dan pelayar anda. Untuk kerja kelompok besar, versi desktop mungkin lebih stabil.

Memuatkan alat, sila tunggu...

Jika alat dalam talian tidak dapat dimuatkan atau dijalankan, cuba alat desktop. https://tools.yikeaigc.com/

Penggunaan Alat

Kembali ke versi lama

Versi desktop tersedia dengan ciri yang lebih berkuasa dan stabil. Buka versi desktop

Sila pilih teks dan tetapkan parameter analisis dahulu sebelum memproses. Untuk cuba cepat, muatkan data contoh; fail kelompok hanya memaparkan 20 pertama, tetapi semua akan diproses semasa analisis.

1Pilih kaedah input

2Tambah fail teks

Klik untuk pilih fail atau seret ke sini

Menyokong TXT, TEXT, MD, CSV, SRT, LOG. Kandungan fail dibaca dan dianalisis dalam pelayar.

2Tampal teks

Teks belum dimasukkan.

2Muatkan contoh

Data contoh akan menggantikan pilihan semasa.

3Status kandungan dipilih

Bilangan dokumen0

Saiz anggaran0 KB

Menunggu teks dipilih

Tambah fail TXT, tampal teks, atau muatkan data contoh dahulu.

1Peraturan segmentasi

Kaedah pemotongan perkataan Cina

Had minimum panjang kata

Panjang gabungan kata Cina

2Algoritma pemberat

Statistik kekerapan kataKira jumlah dan liputan dokumen TF-IDFNilai pembezaan kata dalam korpus BM25Skor pemberat dengan pembetulan panjang dokumen Kepadatan kata kunciPapar nisbah kekerapan dan liputan

3Parameter BM25

Parameter tepu K1

Parameter normalisasi panjang B

Nilai biasa: K1 kira-kira 1.2-2.0, B kira-kira 0.75. Nilai mempengaruhi susunan skor BM25.

4Tapis & susun

Bilangan hasil dipaparkan

Susunan lalai

Tapis kata hentiTapis kata fungsi biasa dan rendah maklumat Kekalkan nomborKekalkan tahun, nombor rujukan, jumlah wang dll. Bezakan huruf besar/kecil InggerisSesuai untuk analisis kata nama khas Jana laporan dokumen tunggalEksport fail kelompok ikut nama asal

5Kamus tersuai

Kata simpanan tersuai (satu setiap baris)

Kata henti tersuai (satu setiap baris)

1Sahkan tugas

Menunggu analisis

Selepas mengesahkan fail dan parameter betul, klik mula analisis. Sila biarkan halaman terbuka semasa pemprosesan.

2Kemajuan proses

Kemajuan 0%

Menunggu mula...

Belum ada hasil analisis. Sila lengkapkan langkah sebelumnya dan mula analisis.

Arahan

Arahan Penggunaan Perisian

Pilih kandungan teks:Klik “Pilih Fail” untuk mengimport fail teks seperti TXT, MD, CSV, SRT, LOG secara pukal, atau tukar ke “Tampal Teks” untuk memasukkan kandungan secara terus; jika ingin mencuba aliran proses, anda boleh memuatkan data contoh.
Sahkan senarai fail:Selepas memilih fail secara pukal, antara muka akan memaparkan 20 fail pertama, manakala fail selebihnya akan ditunjukkan sebagai jumlah; semasa analisis sebenar, semua fail masih akan diproses.
Tetapkan peraturan pemenggalan perkataan:Pilih kaedah pemotongan perkataan bahasa Cina, had minimum panjang perkataan dan panjang gabungan perkataan bahasa Cina; jika terdapat istilah industri tetap, masukkan satu perkataan setiap baris dalam “Perkataan Simpanan Tersuai”.
Konfigurasikan algoritma pemberatan:
- Statistik kekerapan perkataan:Mengira bilangan kemunculan perkataan, bilangan liputan dokumen dan ketumpatan kata kunci.
- Pemberatan TF-IDF:Menilai tahap pembezaan perkataan berdasarkan kekerapan perkataan dan kekerapan dokumen songsang.
- Pemberatan BM25:Mengira skor kerelevanan dengan menggabungkan kekerapan perkataan, kekerapan dokumen dan panjang dokumen.
Laraskan pilihan penapisan:Anda boleh mengaktifkan penapisan kata henti, mengekalkan nombor, membezakan huruf besar dan kecil bahasa Inggeris, serta menetapkan jumlah hasil paparan dan kaedah susunan lalai.
Simpan tetapan:Klik “Simpan Tetapan” untuk mengekalkan parameter yang kerap digunakan, dan ia akan dipulihkan secara automatik apabila alat dibuka pada kali seterusnya; jika perlu mengkonfigurasi semula, klik “Pulihkan Lalai”.
Mulakan analisis:Selepas memasuki halaman “Mulakan Analisis”, klik “Mulakan Analisis dan Seterusnya”; alat akan membaca teks, memenggal perkataan, mengira kekerapan perkataan dan mengira pemberatan.
Lihat dan muat turun hasil:Selepas analisis selesai, anda boleh mencari kata kunci dalam jadual hasil dan memuat turun hasil CSV semasa; untuk fail pukal, anda boleh memuat turun pakej mampat ZIP, laporan dokumen tunggal akan dieksport mengikut nama fail asal, dan fail dengan nama yang sama akan ditambah nombor secara automatik untuk dibezakan.

Soalan Lazim

J: TF-IDF sesuai untuk mencari perkataan yang lebih dapat membezakan topik daripada sekumpulan dokumen. Apabila sesuatu perkataan muncul dengan kerap dalam dokumen semasa tetapi jarang dalam dokumen lain, ia biasanya akan mendapat nilai TF-IDF yang lebih tinggi.

J: BM25 boleh dianggap sebagai kaedah pengiraan kerelevanan yang biasa digunakan dalam senario pencarian maklumat. Ia menambahkan ketepuan kekerapan perkataan dan penormalan panjang dokumen berdasarkan kekerapan perkataan dan kekerapan dokumen songsang, menjadikannya lebih sesuai untuk membandingkan pemberatan kata kunci dalam dokumen dengan panjang yang berbeza.

Jawapan: Untuk kandungan Cina biasa, tetapkan kepada 2-3 aksara; jika teks mengandungi banyak istilah industri, nama produk atau kata kunci ekor panjang, tetapkan kepada 2-4 aksara dan tambahkan perkataan penting ke dalam senarai perkataan tersimpan tersuai.

Jawapan: Kata henti biasanya ialah perkataan seperti “的、了、在、我们、可以” yang kerap muncul tetapi mempunyai nilai maklumat yang rendah. Selepas ditapis, jadual hasil akan lebih mudah memaparkan kata tema, istilah perniagaan dan petunjuk kata kunci.

Jawapan: Pakej termampat ZIP akan mengandungi jadual keseluruhan korpus dan laporan dokumen tunggal. Laporan dokumen tunggal akan cuba mengekalkan nama fail asal, contohnya “文档A.csv”; jika terdapat nama yang sama, nama seperti “文档A_1.csv”“文档A_2.csv” akan dijana secara automatik.

Jawapan: Ketumpatan kata kunci menunjukkan peratus kemunculan sesuatu perkataan dalam julat statistik semasa. Ketumpatan yang lebih tinggi bermakna perkataan itu kerap muncul, tetapi masih perlu dinilai bersama TF-IDF, BM25 dan liputan dokumen untuk mengelakkan perkataan biasa disalah anggap sebagai kata tema.