Outil de filtrage et de traitement par lots d’URL

Extrayez en lot des URL à partir de texte TXT, puis filtrez et dédupliquez par domaine, suffixe et protocole.

Mode d’exécution du navigateur: Vos données sont traitées dans votre navigateur et ne sont pas envoyées au serveur.

Vitesse et stabilité: La vitesse de traitement dépend de votre appareil et de votre navigateur. Pour les gros lots, la version de bureau peut être plus stable.

Chargement de l’outil, veuillez patienter...

Si l’outil en ligne ne se charge pas ou ne fonctionne pas, essayez l’outil de bureau. https://tools.yikeaigc.com/

Utilisation de l’outil

Retour à l’ancienne version

Terminez les paramètres de filtrage et de sortie avant de traiter. Le contenu est lu, analysé et empaqueté uniquement sur cette page ; en lot, l’interface affiche les 20 premiers, le traitement couvre tous les fichiers sélectionnés.

Aucune donnée sélectionnée Règles par défaut Sortie par défaut

1Sélectionner un fichier TXT ou texte

Cliquez pour choisir des fichiers, ou déposez-les ici Prend en charge TXT, CSV, LOG, HTML, JSON et autres fichiers texte ; vous pouvez aussi choisir un dossier pour lecture en lot.

Si plusieurs fichiers sont sélectionnés, l’aperçu n’affiche que les 20 premiers ; le traitement et l’archive incluront tous les fichiers.

2Aperçu des fichiers

Fichiers sélectionnés0

Taille du fichier0 KB

Nombre affiché0

Mode sourceFichier

Choisissez un fichier, collez du texte d’URL ou chargez des données d’exemple.

3Coller la liste d’URL

4Données d’exemple

1Méthode d’analyse et sortie

Mode d’extraction

Pour du texte mixte, choisissez « Extraire toutes les URL ».

Encodage du texte

Filtre de protocole

Domaine racineexample.com Domaine completwww.example.com Protocole + domainehttps://www.example.com URL complèteConserver le chemin, paramètres configurables Fragment d’origineTexte brut extrait Suffixe de domainecom / com.cn

2Suffixes de domaine et règles d’hôte

Mode de filtrage des suffixes

Suffixe personnalisé

Suffixes courants

Exiger une extension de domaineFiltrer les hôtes locaux comme localhost Conserver les adresses IPPrend en charge les hôtes IPv4 / IPv6 Supprimer le www. initialUniformiser le format des domaines

3Mots-clés, chemins et déduplication

Le domaine contient

Le domaine exclut

Le chemin contient

Portée de déduplication

Critère de déduplication

Tri des résultats

1Structure des fichiers de sortie

Mode de sortie

La sortie par fichier conserve le nom d’origine ; un numéro est ajouté en cas de doublon.

Format des résultats

Séparateur multicolonne

Protocole de sortie

Paramètres d’URL complets

Fichier de résultat vide

2ZIP et fichiers ajoutés

Nom du fichier ZIP

Nom du fichier fusionné

Générer un rapport statistiqueFormat CSV, nombre par fichier Générer les fragments non reconnusAide à repérer les URL invalides Ajouter un BOM au CSVAide les tableurs à reconnaître le chinois

Veuillez confirmer que la source des données, les filtres et les paramètres de sortie sont terminés. Après le démarrage, tous les fichiers sélectionnés seront traités sur cette page et un ZIP à télécharger sera généré.

En attente0%

Analyse du fichier0

URL trouvées0

Conforme0

Suppression des doublons0

Fichier de sortie0

AperçuRésultat

Non traité

N°	Fichier source	Contenu de sortie	Suffixe	État
Non traité. Terminez la configuration, puis cliquez sur démarrer.

Instructions

Instructions d’utilisation du logiciel

Choisir la source de données : sur la page « Source de données », sélectionnez des fichiers texte TXT, CSV, LOG, etc. Vous pouvez aussi choisir un dossier, coller une liste d’URL ou charger des données d’exemple pour tester le processus.
Définir le mode d’analyse :
- Extraire toutes les URL du texte : adapté aux contenus mixtes tels que journaux, code source de pages Web, fragments JSON, etc.
- Traiter une URL par ligne : adapté aux listes d’adresses déjà organisées.
Choisir le contenu de sortie : vous pouvez sélectionner différents types de résultats : domaine racine, domaine complet, protocole + domaine, URL complète, fragment original, suffixe de domaine, etc.
Configurer les règles de filtrage :
- Filtrage par suffixe : permet de conserver uniquement ou d’exclure des suffixes de domaine tels que .com, .cn, .com.cn, .co.uk.
- Filtrage par protocole : permet de ne pas limiter le protocole, ou de conserver uniquement HTTP ou HTTPS.
- Filtrage par mots-clés : permet de filtrer selon les mots-clés inclus dans le domaine, exclus du domaine ou inclus dans le chemin.
- Paramètres de déduplication : prend en charge la déduplication globale, la déduplication dans chaque fichier, ou la conservation des résultats en double.
Définir le mode de sortie : vous pouvez générer une sortie fichier par fichier en conservant le nom de fichier d’origine, générer des dossiers selon le type de résultat, ou fusionner les résultats dans un seul fichier.
Lancer le traitement et télécharger : allez sur la page « Traitement et téléchargement », cliquez sur « Lancer le traitement », puis, une fois terminé, cliquez sur « Télécharger les résultats ZIP » pour enregistrer les fichiers traités.

Questions fréquentes

R : Le domaine racine est le domaine principal, comme example.com ; le domaine complet conserve les sous-domaines tels que www, blog, shop ; le domaine avec protocole conserve http ou https, par exemple https://www.example.com.

R : Les causes fréquentes incluent un format incomplet, un niveau de domaine insuffisant, la présence de caractères anormaux, un protocole autre que HTTP/HTTPS, ou un filtrage par suffixe, mot-clé ou règle de protocole. Vous pouvez cocher « Générer les fragments non reconnus » pour consulter le fichier de diagnostic.

Réponse : vous pouvez cocher directement les suffixes courants, ou saisir .com, .net, .com.cn, etc. dans les suffixes personnalisés. Séparez plusieurs suffixes par des virgules, des points-virgules ou des retours à la ligne.

Réponse : lors de la sortie fichier par fichier, le nom de fichier d’origine est conservé. Si plusieurs fichiers portent le même nom, le système ajoute un numéro à la fin du nom, par exemple list.txt, list(2).txt, afin d’éviter que les résultats ne s’écrasent mutuellement.

Réponse : choisissez « déduplication globale » si vous devez nettoyer plusieurs fichiers de manière unifiée ; choisissez « déduplication dans chaque fichier » si vous souhaitez conserver un résultat distinct pour chaque fichier ; choisissez « pas de déduplication » si vous devez conserver les fréquences ou les doublons d’origine.

Réponse : non. Le contenu des fichiers est lu, filtré et empaqueté directement sur la page actuelle, sans être téléversé sur le serveur. Cela convient au traitement de données contenant des liens internes, des extraits de journaux ou des listes de sites.

R : Par défaut, il contient les résultats traités générés à partir des noms de fichiers d’origine et un rapport statistique. Si l’option « fragments non reconnus » est activée, des fichiers de diagnostic supplémentaires seront également générés, consignant les fragments d’URL impossibles à analyser ainsi que les raisons.