Narzędzie do usuwania duplikatów CSV

Obsługuje deduplikację danych CSV dla pojedynczych plików i przetwarzania wsadowego, dopasowywanie według określonych kolumn, niestandardowe strategie zachowywania oraz eksport danych unikalnych i zduplikowanych.

Zgłoszenie błędu

Tryb wykonywania w przeglądarce: Twoje dane są przetwarzane w przeglądarce i nie są przesyłane na serwer.

Szybkość i stabilność: Szybkość przetwarzania zależy od urządzenia i przeglądarki. Przy dużych zadaniach wsadowych wersja desktopowa może być stabilniejsza.

Ładowanie narzędzia, czekaj...

Jeśli narzędzie online nie ładuje się lub nie działa, wypróbuj narzędzie desktopowe. https://tools.yikeaigc.com/

Użycie narzędzia

Wróć do starej wersji

Najpierw ustaw, potem usuń duplikaty CSV

Obsługuje wklejanie danych, pojedyncze pliki i wsadowe usuwanie duplikatów z wielu plików. Wykrywaj duplikaty według wszystkich lub wybranych kolumn i eksportuj dane unikalne, duplikaty albo ZIP.

CSV / TXT Dopasowanie kolumn Pakiet wsadowy Ustawienia można zapisać

Importuj dane CSV

W trybie jednego pliku prześlij plik lub wklej CSV. W trybie wsadowym wybierz wiele plików naraz; lista pokazuje tylko pierwsze 20, ale przetworzone zostaną wszystkie.

Wybierz lub przeciągnij pliki CSV Obsługuje .csv, .txt; zawartość pliku jest odczytywana tylko lokalnie.

Wybrane pliki 0 plików

Podgląd danych -

Podgląd i pobieranie wyników

Dla jednego pliku można pobrać osobno dane unikalne i duplikaty; przy wielu plikach zachowane są oryginalne nazwy, przy konflikcie dodawany jest numer, a całość pakowana do ZIP.

0Liczba plików

0Wiersze danych źródłowych

0Wiersze po deduplikacji

0Liczba duplikatów

Brak wyników. Najpierw zaimportuj dane, potwierdź ustawienia, a potem kliknij „Rozpocznij deduplikację”.

Wynik jednego pliku -

Podgląd danych unikalnych-

Podgląd duplikatów-

Powód usunięcia-

Wyniki przetwarzania wsadowego -

Nazwa pliku	Wiersz źródłowy	Po deduplikacji	Zduplikowane wiersze	Wskaźnik duplikatów	Status

Instrukcje

Instrukcja obsługi oprogramowania

Import danych CSV: wybierz tryb pojedynczego pliku, aby przesłać plik CSV/TXT, lub wklej bezpośrednio zawartość CSV; w trybie wsadowym można wybrać wiele plików CSV/TXT, interfejs wyświetla tylko pierwsze 20 plików, ale podczas przetwarzania uwzględnione zostaną wszystkie pliki.
Analiza danych: ustaw separator wejściowy, kodowanie pliku, czy pierwszy wiersz jest nagłówkiem oraz czy usuwać spacje z początku i końca komórek, a następnie kliknij „Podgląd analizy”, aby zobaczyć nazwy kolumn i wiersze danych.
Ustawienie kryteriów deduplikacji:
- Dopasowanie wszystkich kolumn: rekord jest uznawany za duplikat, gdy wszystkie pola w całym wierszu są identyczne.
- Dopasowanie wybranych kolumn: duplikaty są wykrywane na podstawie kluczowych kolumn, takich jak e-mail, numer telefonu czy ID klienta; w trybie wsadowym można wpisać numery kolumn.
Wybór strategii zachowania:
- Zachowaj pierwsze wystąpienie: zachowuje wiersz, który pojawił się wcześniej w grupie duplikatów.
- Zachowaj ostatnie wystąpienie: zachowuje wiersz, który pojawił się później w grupie duplikatów.
- Usuń wszystkie duplikaty: wszystkie wiersze danych z grupy duplikatów zostaną przeniesione do wyników danych zduplikowanych.
Dostosowanie opcji zaawansowanych: można ustawić parametry, takie jak obsługa wielkości liter, łączenie kolejnych białych znaków, ignorowanie interpunkcji, obsługa pustych wartości, separator wyjściowy, eksport danych zduplikowanych oraz dodanie UTF-8 BOM.
Zapisywanie ustawień: często używane reguły można zapisać, klikając „Zapisz ustawienia”; zostaną automatycznie przywrócone przy następnym otwarciu narzędzia.
Rozpoczęcie przetwarzania i pobieranie: po kliknięciu „Rozpocznij deduplikację” sprawdź statystyki i podgląd wyników; dla pojedynczego pliku można osobno pobrać wynik deduplikacji i dane zduplikowane, a dla plików wsadowych można pobrać archiwum ZIP.

Często zadawane pytania

Odpowiedź: Dopasowanie wszystkich kolumn wymaga, aby każde pole w całym wierszu było identyczne, aby uznać go za duplikat; dopasowanie wybranych kolumn porównuje tylko wybrane kluczowe kolumny, na przykład ocenia, czy klient się powtarza, wyłącznie na podstawie kolumny e-mail.

Odpowiedź: Zachowanie pierwszego wystąpienia jest odpowiednie do zachowania oryginalnych rekordów; zachowanie ostatniego wystąpienia nadaje się do zachowania zaktualizowanych rekordów; usunięcie wszystkich duplikatów sprawdza się, gdy chcesz pozostawić tylko dane bez relacji duplikacji.

Odp.: Nazwa przetworzonego pliku zostanie w miarę możliwości zachowana; jeśli kilka plików ma tę samą nazwę, system doda cyfrę na końcu nazwy pliku, aby uniknąć nadpisywania plików w pakiecie ZIP.

Odp.: Tak. W ustawieniach parsowania zmień kodowanie pliku na „GBK / GB18030”, a następnie ponownie wyświetl podgląd parsowania. Jeśli pojawią się nieczytelne znaki, zmień kodowanie i sparsuj ponownie.

Odp.: Zależy to od ustawienia „Obsługa wielkości liter”. Po zaznaczeniu opcji „Nie rozróżniaj wielkości liter” wartości ABC i abc będą porównywane jako ta sama treść; po odznaczeniu będą traktowane jako różne treści.

Odp.: Po zakończeniu przetwarzania możesz przełączyć się na podgląd „Zduplikowane dane” albo kliknąć „Pobierz zduplikowane dane”, aby wyeksportować CSV. W trybie wsadowym należy zaznaczyć „Eksportuj również zduplikowane dane”.