Alat Penghapus Duplikat Teks TXT

Hapus baris duplikat dalam file teks dengan cepat, mendukung berbagai opsi deduplikasi dan pemrosesan batch

Mode eksekusi browser: Data Anda diproses di browser dan tidak diunggah ke server.

Kecepatan dan stabilitas: Kecepatan pemrosesan bergantung pada perangkat dan browser Anda. Untuk pekerjaan batch besar, versi desktop mungkin lebih stabil.

Memuat alat, harap tunggu...

Jika alat online tidak dapat dimuat atau dijalankan, coba alat desktop. https://tools.yikeaigc.com/

Penggunaan Alat

Kembali ke versi lama

Atur parameter dulu, lalu hapus duplikat teks

Mendukung tempel teks, pilih banyak file TXT, hapus duplikat per baris, hapus baris kosong, abaikan kapital, pertahankan urutan atau urutkan ulang, serta simpan setelan umum.

Proses lokal TXT massal Unduh ZIP Setelan dapat disimpan

Pilih metode input

Untuk konten sederhana, tempel langsung; untuk mempertahankan nama file asli atau pemrosesan massal, pilih file TXT.

Data contoh

Tips: Muat atau masukkan data dulu, lalu buka halaman parameter untuk mengonfirmasi aturan deduplikasi.

Atur aturan deduplikasi

Atur parameter dulu, lalu klik proses. Pengaturan umum dapat disimpan dan dipulihkan otomatis saat dibuka lagi.

Hapus spasi awal/akhir Hapus spasi di awal dan akhir tiap baris agar baris yang sama mudah dikenali.

Hapus baris kosong Hapus baris kosong. Jika nonaktif, baris kosong ikut dideduplikasi dan satu akan disimpan.

Abaikan huruf besar/kecil Anggap Apple, APPLE, apple sebagai isi baris yang sama.

Gabungkan spasi beruntun Bandingkan beberapa spasi atau tab berurutan sebagai satu spasi, cocok untuk data salinan.

Hapus tanda BOM Bersihkan karakter tersembunyi seperti UTF-8 BOM untuk mengurangi anomali baris pertama.

Pertahankan urutan asli Pertahankan posisi kemunculan pertama; jika nonaktif, urutkan ulang sesuai aturan teks.

Encoding baca file

Baris baru output

Urutkan

Nama file unduhan teks tempel

Mode file massal memakai nama file asli secara default; jika ada nama sama, ZIP akan otomatis menambahkan (1), (2) untuk membedakan.

Hasil proses

Lihat statistik, pratinjau beberapa hasil awal, lalu unduh file tunggal atau paket ZIP.

0 Baris asli

0 Baris setelah deduplikasi

0 Baris dihapus

0% Tingkat deduplikasi

Pratinjau hasil

Belum diproses. Klik mulai deduplikasi di “Atur aturan” terlebih dahulu.

Petunjuk

Petunjuk Penggunaan Perangkat Lunak

Pilih metode input: Anda dapat langsung menempelkan konten teks, atau memilih satu atau beberapa file TXT untuk pemrosesan batch. Mode file batch akan mempertahankan nama file asli, dan jika ada nama yang sama, angka akan ditambahkan otomatis untuk membedakannya.
Gunakan data contoh: Anda dapat mengeklik tombol daftar nama, alamat email, daftar kata kunci, atau data campuran untuk memuat contoh dan mencoba efek penghapusan duplikat terlebih dahulu.
Konfigurasi aturan penghapusan duplikat:
- Hapus spasi awal dan akhir: Membersihkan karakter kosong di awal dan akhir setiap baris.
- Hapus baris kosong: Menghapus baris kosong secara otomatis; jika dinonaktifkan, baris kosong juga akan ikut diperiksa sebagai duplikat.
- Abaikan huruf besar/kecil: Menganggap Apple, APPLE, dan apple sebagai konten yang sama.
- Gabungkan spasi berurutan: Membandingkan beberapa spasi berurutan atau tab sebagai satu spasi.
- Pertahankan urutan asli: Mengeluarkan hasil berdasarkan posisi kemunculan pertama konten; jika dinonaktifkan, hasil dapat diurutkan berdasarkan aturan teks.
Pilih encoding file: Pilih UTF-8, GB18030/GBK/GB2312, Big5, atau ISO-8859-1 sesuai kondisi file TXT. Jika teks bahasa Mandarin tampil kacau, Anda dapat mengganti encoding dan mencoba lagi.
Mulai pemrosesan: Setelah pengaturan selesai, klik “Mulai proses penghapusan duplikat”, alat akan menghasilkan informasi statistik dan pratinjau hasil.
Unduh hasil: Hasil tunggal dapat diunduh langsung; setelah memproses beberapa file TXT, Anda dapat mengeklik “Unduh semua hasil” untuk mendapatkan paket ZIP.

Pertanyaan Umum

Jawab: Secara default, alat menentukan duplikat berdasarkan baris, dan jika konten baris yang sama muncul beberapa kali, hanya satu yang dipertahankan. Anda juga dapat mengaktifkan aturan seperti mengabaikan huruf besar/kecil, menghapus spasi awal dan akhir, serta menggabungkan spasi berurutan agar metode penilaian lebih sesuai dengan data sebenarnya.

Jawab: Setelah pemrosesan file TXT secara batch, nama file asli akan dipertahankan sebisa mungkin. Jika beberapa file memiliki nama yang sama, sistem akan menambahkan angka di belakang nama file, misalnya data.txt, data (1).txt, untuk menghindari hasil saling menimpa.

Jawab: Cocok untuk data seperti kata kunci bahasa Inggris, email, akun, dan daftar kode. Misalnya, User@Example.com dan user@example.com akan dianggap sebagai konten duplikat setelah opsi abaikan huruf besar/kecil diaktifkan.

Jawab: Mempertahankan urutan asli akan menghasilkan konten berdasarkan posisi kemunculan pertamanya, cocok untuk daftar nama, catatan, dan data yang disusun manual; output yang diurutkan akan menyusun ulang konten setelah duplikat dihapus, cocok untuk daftar kata kunci, basis kata, dan data yang memerlukan urutan seragam.

Jawab: Karakter acak biasanya terkait dengan ketidakcocokan encoding file. Untuk file TXT berbahasa Mandarin, coba pilih GB18030/GBK/GB2312; untuk file UTF-8 umum, cukup pilih UTF-8.

Jawab: Tidak. Pembacaan teks, penghapusan duplikat, statistik, pratinjau, dan pengemasan semuanya dilakukan secara lokal, dan konten file tidak akan dikirim ke server.