Alat Penyahduplikasi Teks TXT

Padam baris pendua dalam fail teks dengan pantas, menyokong pelbagai pilihan nyahpenduaan dan pemprosesan kelompok

Mod pelaksanaan pelayar: Data anda diproses dalam penyemak imbas dan tidak dimuat naik ke pelayan.

Kelajuan dan kestabilan: Kelajuan pemprosesan bergantung pada peranti dan pelayar anda. Untuk kerja kelompok besar, versi desktop mungkin lebih stabil.

Memuatkan alat, sila tunggu...

Jika alat dalam talian tidak dapat dimuatkan atau dijalankan, cuba alat desktop. https://tools.yikeaigc.com/

Penggunaan Alat

Kembali ke versi lama

Tetapkan parameter dahulu, kemudian nyahganda teks

Sokong tampal teks, pilih fail TXT pukal, nyahganda mengikut baris, buang baris kosong, abaikan huruf besar/kecil, kekal susunan atau susun semula, dan simpan tetapan biasa.

Pemprosesan setempat TXT pukal Muat turun ZIP Tetapan boleh disimpan

Pilih kaedah input

Untuk kandungan ringkas, tampal terus; untuk kekalkan nama fail asal atau proses pukal, pilih fail TXT.

Data contoh

Petua: Muatkan atau masukkan data dahulu, kemudian pergi ke halaman parameter untuk sahkan peraturan nyahganda.

Tetapkan peraturan nyahduplikasi

Tetapkan parameter dahulu, kemudian klik proses. Tetapan biasa boleh disimpan dan dipulihkan automatik lain kali.

Buang ruang tepi Buang aksara kosong di awal dan akhir setiap baris agar baris sama mudah dikenal pasti.

Padam baris kosong Buang baris kosong. Jika dimatikan, baris kosong juga dinyahduplikasi dan satu dikekalkan.

Abaikan huruf besar/kecil Anggap Apple, APPLE, apple sebagai kandungan baris yang sama.

Gabung ruang berturut-turut Bandingkan beberapa ruang atau tab berturut-turut sebagai satu ruang, sesuai untuk data salinan.

Alih keluar tanda BOM Bersihkan aksara tersembunyi seperti UTF-8 BOM untuk kurangkan ralat baris pertama.

Kekalkan susunan asal Kekalkan kedudukan kemunculan pertama; jika dimatikan, susun semula ikut peraturan teks.

Pengekodan baca fail

Baris baharu output

Cara Isih

Nama fail muat turun teks tampal

Mod fail pukal akan menggunakan nama fail asal secara lalai; jika beberapa fail bernama sama, ZIP akan menambah (1), (2) automatik untuk beza.

Hasil proses

Lihat statistik, pratonton beberapa hasil awal, dan muat turun fail tunggal atau arkib ZIP.

0 Baris asal

0 Baris selepas nyah pendua

0 Bil. baris dipadam

0% Kadar nyah pendua

Pratonton hasil

Belum diproses. Sila klik mula nyah pendua dalam “Tetapkan peraturan” dahulu.

Arahan

Arahan Penggunaan Perisian

Pilih kaedah input:Anda boleh menampal kandungan teks secara terus, atau memilih satu atau lebih fail TXT untuk pemprosesan pukal. Mod fail pukal akan mengekalkan nama fail asal, dan jika terdapat nama yang sama, nombor akan ditambah secara automatik untuk membezakannya.
Gunakan data contoh:Anda boleh mengklik butang senarai nama, alamat e-mel, senarai kata kunci atau data campuran untuk memuatkan contoh dan mencuba kesan penyahduplikasi terlebih dahulu.
Konfigurasikan peraturan penyahduplikasi:
- Buang ruang di awal dan akhir:Bersihkan aksara ruang kosong pada permulaan dan penghujung setiap baris.
- Padam baris kosong:Alih keluar baris kosong secara automatik; jika dimatikan, baris kosong juga akan disertakan dalam penyahduplikasi.
- Abaikan huruf besar/kecil:Menilai Apple, APPLE dan apple sebagai kandungan yang sama.
- Gabungkan ruang berturut-turut:Bandingkan beberapa ruang atau tab berturut-turut sebagai satu ruang.
- Kekalkan susunan asal:Output mengikut kedudukan kemunculan pertama kandungan; jika dimatikan, ia boleh diisih mengikut peraturan teks.
Pilih pengekodan fail:Pilih UTF-8, GB18030/GBK/GB2312, Big5 atau ISO-8859-1 mengikut keadaan fail TXT. Jika teks Cina menjadi aksara rosak, anda boleh menukar pengekodan dan cuba semula.
Mulakan pemprosesan:Selepas tetapan selesai, klik “Mulakan pemprosesan penyahduplikasi”, dan alat akan menjana maklumat statistik serta pratonton hasil.
Muat turun hasil:Hasil tunggal boleh dimuat turun secara terus; selepas memproses beberapa fail TXT, anda boleh mengklik “Muat turun semua hasil” untuk mendapatkan pakej ZIP.

Soalan Lazim

J: Secara lalai, alat ini menentukan kandungan pendua mengikut baris, dan hanya mengekalkan satu apabila kandungan baris yang sama muncul beberapa kali. Anda juga boleh mengaktifkan peraturan seperti abaikan huruf besar/kecil, buang ruang di awal dan akhir, serta gabungkan ruang berturut-turut supaya kaedah penilaian lebih sesuai dengan data sebenar.

J: Selepas pemprosesan fail TXT secara pukal, nama fail asal akan dikekalkan sebanyak mungkin. Jika beberapa fail mempunyai nama yang sama, sistem akan menambah nombor selepas nama fail, contohnya data.txt, data (1).txt, untuk mengelakkan hasil saling menimpa.

Jawapan: Sesuai untuk data seperti kata kunci bahasa Inggeris, e-mel, akaun dan senarai kod. Contohnya, User@Example.com dan user@example.com akan dianggap sebagai kandungan berulang selepas pilihan abaikan huruf besar/kecil dihidupkan.

Jawapan: Mengekalkan susunan asal akan mengeluarkan kandungan mengikut kedudukan kemunculan pertama, sesuai untuk senarai nama, rekod dan data yang disusun secara manual; output diisih akan menyusun semula kandungan selepas nyah pendua, sesuai untuk senarai kata kunci, korpus kata dan data yang memerlukan susunan seragam.

Jawapan: Aksara bercelaru biasanya berkaitan dengan pengekodan fail yang tidak sepadan. Untuk fail TXT bahasa Cina, anda boleh cuba memilih GB18030/GBK/GB2312; untuk fail UTF-8 biasa, pilih UTF-8 sahaja.

Jawapan: Tidak. Pembacaan teks, nyah pendua, statistik, pratonton dan pembungkusan semuanya dilakukan secara setempat, dan kandungan fail tidak akan dihantar ke pelayan.