Công cụ xóa trùng lặp văn bản TXT

Nhanh chóng xóa các dòng trùng lặp trong tệp văn bản, hỗ trợ nhiều tùy chọn loại bỏ trùng lặp và xử lý hàng loạt

Chế độ chạy trên trình duyệt: Dữ liệu của bạn được xử lý trong trình duyệt và không được tải lên máy chủ.

Tốc độ và ổn định: Tốc độ xử lý phụ thuộc vào thiết bị và trình duyệt. Với tác vụ hàng loạt lớn, phiên bản desktop có thể ổn định hơn.

Đang tải công cụ, vui lòng chờ...

Nếu công cụ trực tuyến không tải hoặc chạy được, hãy thử công cụ máy tính. https://tools.yikeaigc.com/

Mức sử dụng công cụ

Quay lại phiên bản cũ

Thiết lập tham số trước, rồi khử trùng lặp văn bản

Hỗ trợ dán văn bản, chọn hàng loạt file TXT, khử trùng lặp theo dòng, bỏ dòng trống, bỏ qua hoa/thường, giữ thứ tự hoặc sắp xếp lại, và lưu cài đặt thường dùng.

Xử lý cục bộ TXT hàng loạt Tải ZIP Có thể lưu cài đặt

Chọn cách nhập

Nội dung đơn giản có thể dán trực tiếp; nếu cần giữ tên file gốc hoặc xử lý hàng loạt, hãy chọn file TXT.

Dữ liệu mẫu

Mẹo: Hãy tải hoặc nhập dữ liệu trước, rồi vào trang tham số để xác nhận quy tắc khử trùng lặp.

Đặt quy tắc khử trùng

Vui lòng đặt tham số trước, rồi nhấn xử lý. Có thể lưu cài đặt thường dùng và tự khôi phục khi mở lại.

Cắt khoảng trắng đầu/cuối Xóa khoảng trắng ở đầu và cuối mỗi dòng để dễ nhận diện các dòng có cùng nội dung.

Xóa dòng trống Xóa dòng trống. Nếu tắt, dòng trống cũng được khử trùng và giữ lại một dòng.

Bỏ qua hoa/thường Xem Apple, APPLE, apple là cùng một nội dung dòng.

Gộp khoảng trắng liên tiếp So sánh nhiều khoảng trắng hoặc tab liên tiếp như một dấu cách, phù hợp khi dọn dữ liệu sao chép.

Xóa dấu BOM Dọn ký tự ẩn như UTF-8 BOM để giảm lỗi dòng đầu.

Giữ thứ tự gốc Giữ vị trí xuất hiện đầu tiên; nếu tắt, sắp xếp lại theo quy tắc văn bản.

Mã hóa đọc tệp

Ký tự xuống dòng đầu ra

Cách sắp xếp

Tên tệp tải xuống cho văn bản dán

Chế độ tệp hàng loạt mặc định xuất theo tên tệp gốc; nếu nhiều tệp trùng tên, trong ZIP sẽ tự thêm (1), (2) để phân biệt.

Kết quả xử lý

Có thể xem thống kê, xem trước vài kết quả đầu và tải từng tệp hoặc gói ZIP.

0 Số dòng gốc

0 Số dòng sau khi lọc trùng

0 Số dòng đã xóa

0% Tỷ lệ lọc trùng

Xem trước kết quả

Chưa xử lý. Vui lòng nhấn bắt đầu lọc trùng trong “Cài đặt quy tắc”.

Hướng dẫn

Hướng dẫn sử dụng phần mềm

Chọn phương thức nhập:Có thể dán trực tiếp nội dung văn bản, hoặc chọn một hay nhiều tệp TXT để xử lý hàng loạt. Chế độ tệp hàng loạt sẽ giữ nguyên tên tệp gốc; nếu gặp tên trùng, hệ thống sẽ tự động thêm số để phân biệt.
Sử dụng dữ liệu mẫu:Có thể nhấp vào các nút danh sách tên người, địa chỉ email, danh sách từ khóa hoặc dữ liệu hỗn hợp để tải mẫu và trải nghiệm trước hiệu quả loại bỏ trùng lặp.
Cấu hình quy tắc loại bỏ trùng lặp:
- Xóa khoảng trắng đầu và cuối:Làm sạch các ký tự khoảng trắng ở đầu và cuối mỗi dòng.
- Xóa dòng trống:Tự động loại bỏ các dòng trống; khi tắt, dòng trống cũng sẽ được đưa vào quá trình loại bỏ trùng lặp.
- Bỏ qua chữ hoa/thường:Xem Apple, APPLE, apple là cùng một nội dung.
- Gộp khoảng trắng liên tiếp:So sánh nhiều khoảng trắng liên tiếp hoặc tab như một khoảng trắng.
- Giữ nguyên thứ tự ban đầu:Xuất theo vị trí xuất hiện đầu tiên của nội dung; khi tắt, có thể sắp xếp theo quy tắc văn bản.
Chọn mã hóa tệp:Dựa vào tình trạng tệp TXT để chọn UTF-8、GB18030/GBK/GB2312、Big5 hoặc ISO-8859-1; khi tiếng Trung bị lỗi hiển thị, có thể đổi mã hóa rồi thử lại.
Bắt đầu xử lý:Sau khi thiết lập xong, nhấp “Bắt đầu xử lý loại bỏ trùng lặp”, công cụ sẽ tạo thông tin thống kê và bản xem trước kết quả.
Tải kết quả:Có thể tải trực tiếp một kết quả; sau khi xử lý nhiều tệp TXT, có thể nhấp “Tải tất cả kết quả” để nhận gói nén ZIP.

Câu hỏi thường gặp

Đáp: Công cụ mặc định xác định nội dung trùng theo từng dòng; khi cùng một nội dung dòng xuất hiện nhiều lần, chỉ giữ lại một dòng. Bạn cũng có thể bật các quy tắc như bỏ qua chữ hoa/thường, xóa khoảng trắng đầu và cuối, gộp khoảng trắng liên tiếp để cách xác định phù hợp hơn với dữ liệu thực tế.

Đáp: Sau khi xử lý hàng loạt tệp TXT, hệ thống sẽ cố gắng giữ nguyên tên tệp gốc. Nếu nhiều tệp có cùng tên, hệ thống sẽ thêm số vào sau tên tệp, ví dụ data.txt、data (1).txt, để tránh các kết quả ghi đè lên nhau.

Đáp: Phù hợp với dữ liệu như từ khóa tiếng Anh, email, tài khoản, danh sách mã, v.v. Ví dụ User@Example.com và user@example.com sẽ được xem là nội dung trùng lặp khi bật bỏ qua chữ hoa/thường.

Đáp: Giữ nguyên thứ tự ban đầu sẽ xuất theo vị trí nội dung xuất hiện lần đầu, phù hợp với danh sách, bản ghi và dữ liệu được sắp xếp thủ công; xuất kết quả đã sắp xếp sẽ sắp xếp lại nội dung sau khi khử trùng lặp, phù hợp với danh sách từ khóa, kho từ vựng và dữ liệu cần thứ tự thống nhất.

Đáp: Ký tự lỗi thường liên quan đến việc mã hóa tệp không khớp. Với tệp TXT tiếng Trung, có thể thử chọn GB18030/GBK/GB2312; với tệp UTF-8 thông thường, chỉ cần chọn UTF-8.

Đáp: Không. Việc đọc văn bản, khử trùng lặp, thống kê, xem trước và đóng gói đều được thực hiện cục bộ; nội dung tệp sẽ không được gửi lên máy chủ.