Supprimeur de Lignes Dupliquées
Supprimez les lignes dupliquées du texte. Options pour la correspondance sensible à la casse, la suppression des espaces blancs, la préservation de l'ordre et l'affichage des nombres de lignes supprimées.
Comment utiliser Supprimeur de Lignes Dupliquées
- 1Collez ou tapez votre texte contenant des lignes dupliquées.
- 2Choisissez les options de sensibilité à la casse et de suppression des espaces blancs.
- 3Visualisez la sortie dédoublée avec le nombre de lignes supprimées.
- 4Copiez les lignes uniques ou téléchargez le fichier texte.
ZenovayAnalytics
Analytics pensé pour les fondateurs.
- Suivi des visiteurs en temps réel
- Vie privée d'abord, sans bandeau cookies
- Installé en deux minutes
Outils connexes
Compteur de mots
Comptez les mots, caractères, phrases et paragraphes. Estimez le temps de lecture et de parole.Compteur de Caractères
Comptez les caractères avec et sans espaces. Suivez les limites pour Twitter, les métadescriptions et plus.Convertisseur de Casse
Convertissez le texte entre UPPERCASE, lowercase, Title Case, camelCase, snake_case et kebab-case.Générateur Lorem Ipsum
Générez du texte d'espace réservé en paragraphes, phrases ou mots. Copiez en un clic.Questions fréquemment posées
Qu'est-ce qui constitue une ligne dupliquée ?▾
Par défaut, deux lignes sont des doublons si elles sont identiques caractère par caractère (sensible à la casse). Avec le mode insensible à la casse activé, « Pomme » et « pomme » sont des doublons. Avec le découpage des espaces activé, « bonjour » et « bonjour » sont des doublons. La première occurrence de chaque ligne unique est conservée ; toutes les occurrences suivantes sont supprimées. Les lignes vides peuvent également être supprimées en option.
Comment supprimer les lignes dupliquées sous Linux ou Mac ?▾
Avec les outils Unix : « sort -u fichier.txt » trie et supprime les doublons. « awk '!seen[$0]++' » supprime les doublons tout en préservant l'ordre original. « uniq fichier.txt » supprime les doublons consécutifs (nécessite un tri préalable). Pour l'insensibilité à la casse : « awk '!seen[tolower($0)]++' ». En Python : « lines = open('f.txt').readlines(); unique = list(dict.fromkeys(lines)) ».
Quand devrais-je préserver l'ordre d'insertion plutôt que de trier ?▾
Préservez l'ordre lorsque la position des lignes est importante : entrées de journal, résultats SQL, fichiers de configuration, données avec un ordre implicite. Triez lorsque l'ordre n'a pas d'importance et que vous souhaitez une sortie alphabétique : listes de mots, listes de balises, valeurs de colonnes CSV, instructions d'importation. Cet outil préserve l'ordre d'insertion par défaut (la première occurrence l'emporte), avec une option pour trier la sortie ensuite.
Quelle est la différence entre unique et distinct ?▾
Dans l'usage courant, « unique » et « distinct » sont synonymes dans ce contexte. En terminologie de base de données : DISTINCT supprime les lignes dupliquées des résultats de requête ; UNIQUE est une contrainte qui empêche l'insertion de doublons. Les deux signifient « ne garder qu'une seule occurrence de chaque valeur ». En SQL : SELECT DISTINCT colonne FROM table renvoie chaque valeur une fois, quel que soit le nombre de fois où elle apparaît.
Cela peut-il gérer de très grands fichiers ?▾
Cet outil basé sur navigateur gère le texte collé dans le champ de saisie. Pour les très grands fichiers (des millions de lignes), utilisez plutôt des outils en ligne de commande : awk '!seen[$0]++' input.txt > output.txt. L'outil de navigateur est pratique pour jusqu'à ~50 000 lignes. Pour la déduplication programmatique dans le code, les ensembles Python ou les objets Set JavaScript constituent l'approche la plus efficace.