Narzędzie do usuwania duplikatów tekstu TXT

Szybko usuwaj zduplikowane wiersze z plików tekstowych, z obsługą różnych opcji deduplikacji i przetwarzania wsadowego

Tryb wykonywania w przeglądarce: Twoje dane są przetwarzane w przeglądarce i nie są przesyłane na serwer.

Szybkość i stabilność: Szybkość przetwarzania zależy od urządzenia i przeglądarki. Przy dużych zadaniach wsadowych wersja desktopowa może być stabilniejsza.

Ładowanie narzędzia, czekaj...

Jeśli narzędzie online nie ładuje się lub nie działa, wypróbuj narzędzie desktopowe. https://tools.yikeaigc.com/

Użycie narzędzia

Wróć do starej wersji

Najpierw ustaw parametry, potem usuń duplikaty tekstu

Obsługuje wklejanie tekstu, wybór wielu plików TXT, usuwanie duplikatów po wierszach i pustych wierszy, ignorowanie wielkości liter, zachowanie kolejności lub sortowanie oraz zapis ustawień.

Przetwarzanie lokalne Wsadowo TXT Pobierz ZIP Ustawienia zapisywalne

Wybierz metodę wejścia

Prostą treść można wkleić bezpośrednio; aby zachować nazwy plików lub przetwarzać wsadowo, wybierz pliki TXT.

Dane przykładowe

Wskazówka: najpierw wczytaj lub wpisz dane, a następnie przejdź do parametrów, aby potwierdzić reguły deduplikacji.

Ustaw reguły deduplikacji

Najpierw ustaw parametry, potem kliknij Przetwórz. Częste ustawienia można zapisać i przywrócić przy następnym otwarciu.

Usuń spacje z początku i końca Usuń białe znaki z początku i końca każdego wiersza, aby łatwiej wykrywać identyczne wiersze.

Usuń puste wiersze Usuń puste wiersze. Jeśli wyłączone, puste wiersze też będą deduplikowane i zostanie jeden.

Ignoruj wielkość liter Traktuj Apple, APPLE i apple jako tę samą treść wiersza.

Scal wielokrotne spacje Porównuj wiele kolejnych spacji lub tabulatorów jak jedną spację; dobre do porządkowania skopiowanych danych.

Usuń znacznik BOM Usuń UTF-8 BOM i inne ukryte znaki, aby uniknąć błędów w pierwszym wierszu.

Zachowaj oryginalną kolejność Zachowaj pozycję pierwszego wystąpienia; po wyłączeniu sortuj ponownie według reguł tekstu.

Kodowanie odczytu pliku

Znak końca wiersza

Sortowanie

Nazwa pliku dla wklejonego tekstu

Tryb wsadowy domyślnie używa oryginalnych nazw plików; przy powtórkach w ZIP automatycznie dodane zostanie (1), (2).

Wyniki przetwarzania

Możesz zobaczyć statystyki, podejrzeć kilka pierwszych wyników oraz pobrać pojedynczy plik lub archiwum ZIP.

0 Wiersze źródłowe

0 Wiersze po deduplikacji

0 Usunięte wiersze

0% Wskaźnik deduplikacji

Podgląd wyniku

Nie przetworzono. Najpierw kliknij „Rozpocznij deduplikację” w „Ustaw reguły”.

Instrukcje

Instrukcja użytkowania oprogramowania

Wybierz sposób wprowadzania: możesz bezpośrednio wkleić treść tekstu albo wybrać jeden lub więcej plików TXT do przetwarzania wsadowego. Tryb plików wsadowych zachowa oryginalne nazwy plików, a w przypadku duplikatów automatycznie doda numer, aby je rozróżnić.
Użyj danych przykładowych: możesz kliknąć przyciski listy nazwisk, adresów e-mail, listy słów kluczowych lub danych mieszanych, aby wczytać przykład i najpierw sprawdzić efekt usuwania duplikatów.
Skonfiguruj reguły usuwania duplikatów:
- Usuń spacje z początku i końca: czyści białe znaki na początku i końcu każdego wiersza.
- Usuń puste wiersze: automatycznie usuwa puste wiersze; po wyłączeniu puste wiersze również będą brały udział w usuwaniu duplikatów.
- Ignoruj wielkość liter: traktuje Apple, APPLE i apple jako tę samą treść.
- Scal kolejne spacje: porównuje wiele kolejnych spacji lub tabulatorów jako jedną spację.
- Zachowaj oryginalną kolejność: wyświetla wyniki według miejsca pierwszego wystąpienia treści; po wyłączeniu można sortować według reguł tekstowych.
Wybierz kodowanie pliku: wybierz UTF-8, GB18030/GBK/GB2312, Big5 lub ISO-8859-1 zgodnie z typem pliku TXT; w przypadku błędnego wyświetlania chińskich znaków możesz zmienić kodowanie i spróbować ponownie.
Rozpocznij przetwarzanie: po zakończeniu ustawień kliknij „Rozpocznij usuwanie duplikatów”, a narzędzie wygeneruje statystyki i podgląd wyników.
Pobierz wyniki: pojedynczy wynik można pobrać bezpośrednio; po przetworzeniu wielu plików TXT możesz kliknąć „Pobierz wszystkie wyniki”, aby uzyskać archiwum ZIP.

Najczęstsze pytania

O: Narzędzie domyślnie rozpoznaje duplikaty według wierszy — gdy ta sama treść wiersza pojawia się wiele razy, pozostawiany jest tylko jeden wpis. Możesz też włączyć reguły takie jak ignorowanie wielkości liter, usuwanie spacji z początku i końca czy scalanie kolejnych spacji, aby sposób porównywania lepiej odpowiadał rzeczywistym danym.

O: Po przetworzeniu wsadowym plików TXT narzędzie postara się zachować oryginalne nazwy plików. Jeśli kilka plików ma taką samą nazwę, system doda numer na końcu nazwy, np. data.txt, data (1).txt, aby uniknąć wzajemnego nadpisania wyników.

Odp.: Nadaje się do danych takich jak angielskie słowa kluczowe, adresy e-mail, konta czy listy kodu. Na przykład User@Example.com i user@example.com po włączeniu ignorowania wielkości liter zostaną uznane za duplikaty.

Odp.: Zachowanie pierwotnej kolejności wyświetla treści według miejsca ich pierwszego wystąpienia, co sprawdza się w przypadku list, rekordów i ręcznie porządkowanych danych; sortowanie wyników ponownie układa odduplikowane treści, co jest odpowiednie dla list słów kluczowych, słowników i danych wymagających jednolitej kolejności.

Odp.: Krzaczki zwykle wynikają z niezgodnego kodowania pliku. W przypadku chińskich plików TXT można spróbować wybrać GB18030/GBK/GB2312, a dla standardowych plików UTF-8 wystarczy wybrać UTF-8.

Odp.: Nie. Odczyt tekstu, usuwanie duplikatów, statystyki, podgląd i pakowanie odbywają się lokalnie, a zawartość plików nie jest przesyłana na serwer.