Công cụ thống kê trọng số tần suất từ trong tài liệu

Phân tích hàng loạt phân bố tần suất từ trong tài liệu văn bản, hỗ trợ tính trọng số TF-IDF và BM25

Chế độ chạy trên trình duyệt: Dữ liệu của bạn được xử lý trong trình duyệt và không được tải lên máy chủ.

Tốc độ và ổn định: Tốc độ xử lý phụ thuộc vào thiết bị và trình duyệt. Với tác vụ hàng loạt lớn, phiên bản desktop có thể ổn định hơn.

Đang tải công cụ, vui lòng chờ...

Nếu công cụ trực tuyến không tải hoặc chạy được, hãy thử công cụ máy tính. https://tools.yikeaigc.com/

Mức sử dụng công cụ

Quay lại phiên bản cũ

Có phiên bản máy tính với tính năng mạnh mẽ và ổn định hơn. Mở phiên bản máy tính

Vui lòng chọn văn bản và cài tham số phân tích trước khi xử lý. Để trải nghiệm nhanh, có thể tải dữ liệu mẫu; tệp hàng loạt chỉ hiển thị 20 tệp đầu, khi phân tích sẽ xử lý tất cả.

1Chọn cách nhập

2Thêm tệp văn bản

Nhấn để chọn tệp hoặc kéo thả vào đây

Hỗ trợ TXT, TEXT, MD, CSV, SRT, LOG. Nội dung tệp được đọc và phân tích trong trình duyệt.

2Dán văn bản

Chưa nhập văn bản.

2Tải mẫu

Dữ liệu mẫu sẽ thay thế nội dung đã chọn hiện tại.

3Trạng thái nội dung đã chọn

Số tài liệu0

Dung lượng ước tính0 KB

Đang chờ chọn văn bản

Trước tiên hãy thêm tệp TXT, dán văn bản hoặc tải dữ liệu mẫu.

1Quy tắc tách từ

Cách tách từ tiếng Trung

Độ dài từ tối thiểu

Độ dài từ ghép tiếng Trung

2Thuật toán trọng số

Thống kê tần suất từThống kê tổng lượt và số tài liệu phủ TF-IDFĐánh giá độ phân biệt trong kho ngữ liệu BM25Điểm trọng số có hiệu chỉnh độ dài tài liệu Mật độ từ khóaXuất tỷ lệ tần suất và độ phủ

3Tham số BM25

Tham số bão hòa K1

Tham số chuẩn hóa độ dài B

Giá trị thường dùng: K1 khoảng 1.2-2.0, B khoảng 0.75. Giá trị ảnh hưởng đến xếp hạng điểm BM25.

4Lọc và sắp xếp

Số kết quả hiển thị

Sắp xếp mặc định

Lọc từ dừngLọc hư từ phổ biến và từ ít thông tin Giữ sốGiữ số như năm, mã, số tiền Phân biệt hoa thường tiếng AnhPhù hợp phân tích danh từ riêng Xuất báo cáo từng tài liệuXuất hàng loạt theo tên tệp gốc

5Từ điển tùy chỉnh

Từ giữ lại tùy chỉnh (mỗi dòng một từ)

Từ dừng tùy chỉnh (mỗi dòng một từ)

1Xác nhận tác vụ

Chờ bắt đầu phân tích

Sau khi xác nhận tệp và tham số đúng, hãy nhấp bắt đầu phân tích. Vui lòng giữ trang mở trong khi xử lý.

2Tiến trình xử lý

Tiến độ 0%

Đang chờ bắt đầu...

Chưa có kết quả phân tích. Vui lòng hoàn tất các bước trước và bắt đầu phân tích.

Hướng dẫn

Hướng dẫn sử dụng phần mềm

Chọn nội dung văn bản:Nhấp “Chọn tệp” để nhập hàng loạt các tệp văn bản như TXT, MD, CSV, SRT, LOG, hoặc chuyển sang “Dán văn bản” để nhập nội dung trực tiếp; khi cần trải nghiệm quy trình, bạn có thể tải dữ liệu mẫu.
Xác nhận danh sách tệp:Sau khi chọn hàng loạt tệp, giao diện sẽ hiển thị 20 tệp đầu tiên, các tệp còn lại sẽ được nhắc bằng số lượng; khi phân tích thực tế, tất cả vẫn sẽ được đưa vào xử lý.
Thiết lập quy tắc tách từ:Chọn phương thức tách từ tiếng Trung, giới hạn độ dài từ tối thiểu và độ dài cụm từ ghép tiếng Trung; nếu có thuật ngữ ngành cố định, bạn có thể nhập mỗi dòng một từ trong “Từ giữ lại tùy chỉnh”.
Cấu hình thuật toán trọng số:
- Thống kê tần suất từ:Thống kê số lần xuất hiện của từ, số tài liệu bao phủ và mật độ từ khóa.
- Trọng số TF-IDF:Đánh giá mức độ phân biệt của từ dựa trên tần suất từ và tần suất tài liệu nghịch đảo.
- Trọng số BM25:Kết hợp tần suất từ, tần suất tài liệu và độ dài tài liệu để tính điểm liên quan.
Điều chỉnh tùy chọn lọc:Có thể bật lọc từ dừng, giữ lại số, phân biệt chữ hoa/thường tiếng Anh, đồng thời thiết lập số lượng kết quả hiển thị và cách sắp xếp mặc định.
Lưu thiết lập:Nhấp “Lưu thiết lập” để giữ lại các tham số thường dùng, lần sau mở công cụ sẽ tự động khôi phục; khi cần cấu hình lại, có thể nhấp “Khôi phục mặc định”.
Bắt đầu phân tích:Sau khi vào trang “Bắt đầu phân tích”, nhấp “Bắt đầu phân tích và bước tiếp theo”, công cụ sẽ đọc văn bản, tách từ, thống kê tần suất từ và tính toán trọng số.
Xem và tải xuống kết quả:Sau khi phân tích xong, bạn có thể tìm kiếm từ khóa trong bảng kết quả, tải xuống kết quả CSV hiện tại; với tệp hàng loạt, có thể tải xuống gói nén ZIP, báo cáo tài liệu đơn sẽ được xuất theo tên tệp gốc, các tệp trùng tên sẽ tự động thêm số để phân biệt.

Câu hỏi thường gặp

Đáp: TF-IDF phù hợp để tìm ra những từ có khả năng phân biệt chủ đề tốt hơn trong một nhóm tài liệu. Khi một từ xuất hiện nhiều trong tài liệu hiện tại nhưng ít xuất hiện trong các tài liệu khác, từ đó thường sẽ có giá trị TF-IDF cao hơn.

Đáp: BM25 có thể được xem là một phương pháp tính toán độ liên quan thường dùng trong các tình huống truy xuất thông tin. Trên cơ sở tần suất từ và tần suất tài liệu nghịch đảo, nó bổ sung độ bão hòa tần suất từ và chuẩn hóa độ dài tài liệu, phù hợp hơn để so sánh trọng số từ khóa trong các tài liệu có độ dài khác nhau.

Đáp: Với nội dung tiếng Trung thông thường, có thể đặt là 2-3 ký tự; nếu văn bản có nhiều thuật ngữ ngành, tên sản phẩm hoặc từ khóa đuôi dài, có thể đặt là 2-4 ký tự và thêm các từ quan trọng vào danh sách từ giữ lại tùy chỉnh.

Đáp: Từ dừng thường là những từ xuất hiện với tần suất cao nhưng chứa ít thông tin như “的、了、在、我们、可以”. Sau khi lọc, bảng kết quả sẽ dễ hiển thị các từ chủ đề, từ nghiệp vụ và gợi ý từ khóa hơn.

Đáp: Gói nén ZIP sẽ bao gồm bảng tổng hợp kho ngữ liệu và báo cáo từng tài liệu. Báo cáo từng tài liệu sẽ cố gắng giữ nguyên tên tệp gốc, ví dụ “文档A.csv”; nếu gặp tên trùng, hệ thống sẽ tự động tạo các tên như “文档A_1.csv”, “文档A_2.csv”.

Đáp: Mật độ từ khóa thể hiện tỷ lệ xuất hiện của một từ trong phạm vi thống kê hiện tại. Mật độ cao cho thấy từ đó xuất hiện thường xuyên, nhưng vẫn cần kết hợp với TF-IDF, BM25 và độ phủ tài liệu để đánh giá, tránh nhầm các từ phổ biến thành từ chủ đề.