Penghapusan Duplikat dan Penggabungan File TXT

Memproses file TXT secara massal, menghapus baris duplikat, serta mendukung penggabungan beberapa file menjadi satu.

Mode eksekusi browser: Data Anda diproses di browser dan tidak diunggah ke server.

Kecepatan dan stabilitas: Kecepatan pemrosesan bergantung pada perangkat dan browser Anda. Untuk pekerjaan batch besar, versi desktop mungkin lebih stabil.

Memuat alat, harap tunggu...

Jika alat online tidak dapat dimuat atau dijalankan, coba alat desktop. https://tools.yikeaigc.com/

Penggunaan Alat

Kembali ke versi lama

Versi desktop tersedia dengan fitur yang lebih andal dan stabil. Buka versi desktop

Konfirmasi aturan di “Pengaturan proses” dulu, lalu klik mulai. Mendukung tempel teks, pilih banyak file TXT, gabung, hapus duplikat per file, dan setelah digabung; saat memilih banyak file, hanya 20 pertama ditampilkan, proses mencakup semua file.

1Input teks

Kotak teks cocok untuk konten sementara; untuk memproses banyak file, beralih ke area file di kanan dan pilih “File terpilih” di pengaturan.

2Input file

Klik pilih file, atau seret file TXT ke sini Mendukung file teks seperti .txt, .log, .md, .csv, .json; tidak diunggah ke server.

Operasi ini akan membaca teks atau file di browser dan memprosesnya sesuai aturan. Periksa “Pengaturan pemrosesan” sebelum mulai.

Menyiapkan... 0%

File diproses

Baris asli

Baris output

Hapus duplikat

4Detail pemrosesan

File/sumber	Asli	Output	Dihapus	Status
Belum ada hasil

Setelah selesai, 20 detail pertama ditampilkan; file lain tetap diproses.

5Pratinjau hasil

Pratinjau hanya menampilkan sebagian; file unduhan berisi hasil lengkap.

Petunjuk

Petunjuk Penggunaan Perangkat Lunak

Pilih konten input:Anda dapat menempelkan konten TXT ke kotak teks, atau memilih beberapa file TXT untuk diproses secara massal. Daftar file hanya menampilkan 20 file pertama, file lainnya tetap akan ikut diproses.
Konfirmasi cakupan pemrosesan:Pilih untuk memproses konten kotak teks, file yang dipilih, atau deteksi otomatis di “Pengaturan pemrosesan”. Saat ada file, deteksi otomatis akan memprioritaskan pemrosesan file.
Pilih mode pemrosesan:
- Hapus duplikat per file:Setiap file dihapus baris duplikatnya secara terpisah, nama file output tetap mengikuti nama file asli; jika ada nama yang sama, angka akan ditambahkan otomatis untuk membedakannya.
- Gabungkan lalu hapus duplikat:Gabungkan beberapa file atau konten teks terlebih dahulu, lalu hapus baris duplikat dari hasil gabungan secara seragam.
- Hanya gabungkan:Gabungkan konten secara berurutan tanpa menghapus baris duplikat.
Konfigurasi aturan penghapusan duplikat:Anda dapat mengatur untuk mempertahankan kemunculan pertama, mempertahankan kemunculan terakhir, atau menghapus seluruh grup duplikat, serta memilih aturan perbandingan seperti huruf besar/kecil, spasi, baris kosong, tanda baca, dan konversi karakter lebar penuh ke setengah lebar.
Atur parameter output:Anda dapat memilih karakter baris baru LF atau CRLF, mengatur jarak antarfile gabungan, nama file output, apakah menambahkan UTF-8 BOM, dan apakah menambahkan penanda pemisah file.
Mulai pemrosesan dan unduh:Klik “Mulai pemrosesan” untuk melihat statistik, detail, dan pratinjau. Pemrosesan per file akan menghasilkan arsip ZIP, sedangkan mode gabungan akan menghasilkan file TXT.

Pertanyaan Umum

J: Hapus duplikat per file akan memproses setiap file TXT secara terpisah, cocok untuk mempertahankan hasil independen tiap file; gabungkan lalu hapus duplikat akan mengumpulkan konten terlebih dahulu, lalu menghapus baris duplikat secara seragam, cocok untuk merapikan data lintas file seperti daftar nama, kata kunci, dan log.

J: Secara default ditentukan berdasarkan kesamaan persis seluruh isi baris. Anda juga dapat memilih di pengaturan untuk mengabaikan huruf besar/kecil, mengabaikan spasi di awal dan akhir, memadatkan spasi berurutan, mengabaikan tanda baca umum, atau mengonversi karakter lebar penuh ke setengah lebar, sehingga konten serupa dengan format berbeda dapat dibandingkan dengan aturan yang sama.

J: Ya. Alat ini menyediakan tiga cara untuk baris kosong: mempertahankan baris kosong, hanya mempertahankan satu baris kosong, atau menghapus baris kosong; huruf besar/kecil juga dapat dipilih untuk dibedakan atau diabaikan. Harap pastikan aturan sesuai kebutuhan data sebelum memproses.

Jawab: Saat memproses file satu per satu, nama file asli akan dipertahankan sebisa mungkin. Jika ada file dengan nama yang sama, sistem akan menambahkan angka di akhir nama file, misalnya data.txt, data2.txt, data3.txt, agar file dalam arsip terkompresi tidak saling menimpa.

Jawab: Waktu pemrosesan bergantung pada memori perangkat, CPU, dan total teks. Untuk file yang besar, Anda dapat memprosesnya secara bertahap; jika konten mencapai tingkat GB, disarankan mengurangi jumlah file dalam satu kali proses dan menutup program yang banyak menggunakan sumber daya.

Jawab: Anda dapat memilih UTF-8, GBK, GB18030, Big5, atau UTF-16 LE secara manual di “Pengodean file”. TXT berbahasa Tionghoa umumnya menggunakan pengodean UTF-8 atau GBK; cukup ganti lalu proses ulang.