Alat Penghapus Duplikat CSV

Mendukung deduplikasi data CSV untuk satu file dan pemrosesan batch, dapat mencocokkan berdasarkan kolom yang ditentukan, menyesuaikan strategi mempertahankan data, serta mengekspor data unik dan data duplikat.

Laporan bug

Mode eksekusi browser: Data Anda diproses di browser dan tidak diunggah ke server.

Kecepatan dan stabilitas: Kecepatan pemrosesan bergantung pada perangkat dan browser Anda. Untuk pekerjaan batch besar, versi desktop mungkin lebih stabil.

Memuat alat, harap tunggu...

Jika alat online tidak dapat dimuat atau dijalankan, coba alat desktop. https://tools.yikeaigc.com/

Penggunaan Alat

Kembali ke versi lama

Atur dulu, lalu proses duplikat CSV

Mendukung tempel data, satu file, dan deduplikasi batch multi-file. Deteksi duplikat berdasarkan semua kolom atau kolom tertentu, lalu ekspor data unik, data duplikat, atau ZIP batch.

CSV / TXT Cocokkan kolom tertentu Paket massal Pengaturan tersimpan

Impor data CSV

Mode satu file dapat mengunggah satu file atau menempel CSV langsung; mode batch dapat memilih beberapa file sekaligus. Daftar hanya menampilkan 20 pertama, tetapi pemrosesan mencakup semua file.

Pilih atau seret file CSV Mendukung .csv, .txt; konten file hanya dibaca secara lokal.

File dipilih 0 file

Pratinjau data -

Pratinjau & unduh hasil

Untuk satu file, data unik dan duplikat dapat diunduh terpisah; untuk banyak file, nama file asli dipertahankan, angka ditambahkan jika ada nama sama, lalu dikemas sebagai ZIP.

0Jumlah file

0Baris data asli

0Baris setelah deduplikasi

0Jumlah baris duplikat

Belum ada hasil. Impor data, konfirmasi setelan, lalu klik “Mulai hapus duplikat”.

Hasil satu file -

Pratinjau data unik-

Pratinjau data duplikat-

Alasan penghapusan-

Hasil Pemrosesan Massal -

Nama file	Baris asli	Setelah unik	Baris duplikat	Rasio duplikat	Status

Petunjuk

Petunjuk Penggunaan Perangkat Lunak

Impor data CSV: Pilih mode file tunggal untuk mengunggah file CSV/TXT, atau tempel langsung konten CSV; dalam mode batch, Anda dapat memilih beberapa file CSV/TXT, antarmuka hanya menampilkan 20 file pertama, tetapi semua file akan disertakan saat diproses.
Uraikan data: Atur pemisah input, encoding file, apakah baris pertama adalah header, dan apakah menghapus spasi di awal/akhir sel, lalu klik “Pratinjau penguraian” untuk melihat nama kolom dan baris data.
Atur dasar deduplikasi:
- Cocokkan semua kolom: Dianggap duplikat jika semua bidang dalam satu baris sama.
- Cocokkan kolom tertentu: Menentukan duplikasi berdasarkan kolom kunci seperti email, nomor ponsel, ID pelanggan; dalam mode batch, Anda dapat mengisi nomor urut kolom.
Pilih strategi penyimpanan:
- Simpan kemunculan pertama: Menyimpan baris yang muncul lebih awal dalam grup duplikat.
- Simpan kemunculan terakhir: Menyimpan baris yang muncul lebih akhir dalam grup duplikat.
- Hapus semua item duplikat: Semua baris data dalam grup duplikat dipindahkan ke hasil data duplikat.
Sesuaikan opsi lanjutan: Anda dapat mengatur parameter seperti penanganan huruf besar/kecil, penggabungan spasi beruntun, abaikan tanda baca, penanganan nilai kosong, pemisah output, apakah mengekspor data duplikat, dan apakah menambahkan UTF-8 BOM.
Simpan pengaturan: Untuk aturan yang sering digunakan, klik “Simpan pengaturan”, dan pengaturan akan dipulihkan otomatis saat alat dibuka berikutnya.
Mulai proses dan unduh: Klik “Mulai deduplikasi” untuk melihat statistik dan pratinjau hasil; untuk file tunggal, Anda dapat mengunduh hasil deduplikasi dan data duplikat secara terpisah, sedangkan untuk file batch Anda dapat mengunduh paket ZIP.

Pertanyaan Umum

J: Cocokkan semua kolom mengharuskan setiap bidang dalam satu baris sama agar dianggap duplikat; cocokkan kolom tertentu hanya membandingkan kolom kunci yang dipilih, misalnya hanya berdasarkan kolom email untuk menentukan apakah pelanggan duplikat.

J: Simpan kemunculan pertama cocok untuk mempertahankan catatan asli; simpan kemunculan terakhir cocok untuk mempertahankan catatan yang telah diperbarui; hapus semua item duplikat cocok untuk hanya menyisakan data yang tidak memiliki relasi duplikat.

Jawab: Nama file yang telah diproses akan sebisa mungkin mempertahankan nama file asli; jika beberapa file memiliki nama yang sama, sistem akan menambahkan angka di belakang nama file untuk mencegah file dalam paket ZIP saling menimpa.

Jawab: Bisa. Di pengaturan penguraian, ubah encoding file menjadi “GBK / GB18030”, lalu uraikan pratinjau. Jika muncul karakter kacau, ganti encoding lalu uraikan ulang.

Jawab: Tergantung pada pengaturan “Penanganan huruf besar/kecil”. Saat “Tidak peka huruf besar/kecil” dicentang, ABC dan abc akan dibandingkan sebagai konten yang sama; jika tidak dicentang, keduanya akan diperlakukan sebagai konten yang berbeda.

Jawab: Setelah pemrosesan selesai, Anda dapat beralih ke pratinjau “Data duplikat”, atau klik “Unduh data duplikat” untuk mengekspor CSV. Dalam mode batch, centang “Ekspor data duplikat sekaligus”.