Herramienta para eliminar duplicados de texto TXT

Elimina rápidamente líneas duplicadas en archivos de texto, con varias opciones de deduplicación y procesamiento por lotes.

Informe de error

Modo de ejecución en navegador: Tus datos se procesan en tu navegador y no se suben al servidor.

Velocidad y estabilidad: La velocidad de procesamiento depende de tu dispositivo y navegador. Para lotes grandes, la versión de escritorio puede ser más estable.

Cargando herramienta, espera...

Si la herramienta en línea no carga o no se ejecuta, prueba la herramienta de escritorio. https://tools.yikeaigc.com/

Uso de herramientas

Volver a la versión anterior

Configura los parámetros antes de quitar duplicados

Permite pegar texto, elegir archivos TXT en lote, quitar duplicados por línea, eliminar líneas vacías, ignorar mayúsculas/minúsculas, conservar el orden o reordenar, y guardar ajustes frecuentes.

Procesamiento local TXT por lotes Descarga ZIP Ajustes guardables

Elegir método de entrada

Para contenido simple, pega el texto; para conservar nombres o procesar en lote, elige archivos TXT.

Datos de ejemplo

Consejo: carga o introduce datos y ve a Parámetros para confirmar las reglas.

Definir reglas de deduplicación

Configura los parámetros antes de procesar. Puedes guardar ajustes frecuentes y se restaurarán al abrir de nuevo.

Quitar espacios iniciales y finales Quita espacios al inicio y al final de cada línea para detectar líneas iguales.

Eliminar líneas vacías Quita líneas en blanco. Si se desactiva, también se deduplican y se conserva una.

Ignorar mayúsculas Trata Apple, APPLE y apple como la misma línea.

Unir espacios consecutivos Compara varios espacios o tabulaciones seguidos como un solo espacio; útil para datos copiados.

Eliminar marca BOM Limpia caracteres ocultos como UTF-8 BOM para evitar errores en la primera línea.

Mantener orden original Conserva la primera posición; si se desactiva, reordena según las reglas de texto.

Codificación de lectura

Salto de línea de salida

Orden

Nombre de descarga para texto pegado

El modo por lotes usa por defecto el nombre original; si hay nombres repetidos, el ZIP añadirá (1), (2) automáticamente.

Resultado

Puedes ver estadísticas, previsualizar los primeros resultados y descargar archivos individuales o un ZIP.

0 Líneas originales

0 Líneas únicas

0 Líneas eliminadas

0% Tasa de dedup.

Vista previa del resultado

Aún sin procesar. Primero, en «Configurar reglas», haz clic en iniciar deduplicación.

Instrucciones

Instrucciones de uso del software

Seleccionar método de entrada: puede pegar directamente el contenido de texto o seleccionar uno o varios archivos TXT para procesarlos por lotes. El modo de archivos por lotes conservará los nombres de archivo originales y, si hay nombres repetidos, añadirá automáticamente números para diferenciarlos.
Usar datos de ejemplo: puede hacer clic en los botones de lista de nombres, direcciones de correo electrónico, lista de palabras clave o datos mixtos para cargar ejemplos y probar primero el efecto de eliminación de duplicados.
Configurar reglas de eliminación de duplicados:
- Eliminar espacios iniciales y finales: limpia los caracteres en blanco al inicio y al final de cada línea.
- Eliminar líneas vacías: elimina automáticamente las líneas en blanco; si se desactiva, las líneas vacías también participarán en la eliminación de duplicados.
- Ignorar mayúsculas y minúsculas: considera Apple, APPLE y apple como el mismo contenido.
- Combinar espacios consecutivos: compara varios espacios consecutivos o tabulaciones como un solo espacio.
- Mantener el orden original: muestra el contenido según la posición de su primera aparición; si se desactiva, se puede ordenar según reglas de texto.
Seleccionar codificación de archivo: elija UTF-8, GB18030/GBK/GB2312, Big5 o ISO-8859-1 según el archivo TXT; si aparecen caracteres chinos ilegibles, puede cambiar la codificación e intentarlo de nuevo.
Iniciar procesamiento: después de completar la configuración, haga clic en “Iniciar eliminación de duplicados”; la herramienta generará estadísticas y una vista previa de los resultados.
Descargar resultados: puede descargar directamente un resultado individual; después de procesar varios archivos TXT, puede hacer clic en “Descargar todos los resultados” para obtener un paquete ZIP comprimido.

Preguntas frecuentes

R: De forma predeterminada, la herramienta determina los duplicados por línea y conserva solo una entrada cuando el mismo contenido de línea aparece varias veces. También puede activar reglas como ignorar mayúsculas y minúsculas, eliminar espacios iniciales y finales, o combinar espacios consecutivos para que el criterio se adapte mejor a sus datos reales.

R: Después de procesar archivos TXT por lotes, se intentará conservar los nombres de archivo originales. Si varios archivos tienen el mismo nombre, el sistema añadirá un número al final del nombre, por ejemplo data.txt, data (1).txt, para evitar que los resultados se sobrescriban entre sí.

Respuesta: Es adecuado para datos como palabras clave en inglés, correos electrónicos, cuentas y listas de código. Por ejemplo, User@Example.com y user@example.com se considerarán contenido duplicado al activar la opción de ignorar mayúsculas y minúsculas.

Respuesta: Mantener el orden original genera el contenido según la posición en la que aparece por primera vez, ideal para listas, registros y datos organizados manualmente; ordenar la salida reorganiza el contenido sin duplicados, ideal para listas de palabras clave, léxicos y datos que requieren un orden uniforme.

Respuesta: Los caracteres ilegibles suelen deberse a una incompatibilidad de codificación del archivo. Para archivos TXT en chino, puede intentar seleccionar GB18030/GBK/GB2312; para archivos UTF-8 normales, basta con seleccionar UTF-8.

Respuesta: No. La lectura de texto, la eliminación de duplicados, las estadísticas, la vista previa y el empaquetado se realizan localmente; el contenido de los archivos no se envía al servidor.