Lignes uniques supprime les doublons en conservant la première occurrence de chaque ligne. Les différences d’espaces comptent comme des lignes distinctes, ce qui correspond à la déduplication exacte de listes dans des pipelines d’agents, le nettoyage de sorties de crawlers et la revue de conflits de fusion.
Fonctionnement
L’entrée est découpée sur les sauts de ligne et parcourue dans l’ordre. Chaque ligne est enregistrée dans un ensemble à sa première apparition ; les lignes identiques suivantes sont ignorées. Les lignes restantes sont rassemblées avec \n, en gardant l’ordre relatif de leur première apparition. Les lignes vides sont dédupliquées comme les autres sauf si vous les coupez d’abord dans une étape séparée.
Quand l’utiliser
- Dédupliquer des listes d’URL ou d’e-mails issues de crawlers et scrapers
- Nettoyer des sorties d’agents fusionnées avant envoi à un LLM pour économiser des jetons
- Réduire des extraits de journal en gardant l’ordre chronologique de première vue
- Normaliser des listes d’autorisation exportées de plusieurs sources avant un diff
Exemple
apple\nbanana\napple\ncherry devient apple\nbanana\ncherry. Associez avec sort-lines si vous voulez aussi un ordre alphabétique après déduplication.
Limites
La comparaison est exacte par ligne—espaces en tête ou en fin rendent les lignes distinctes. Coupez d’abord les lignes si les espaces environnants doivent être ignorés. Les différences de casse (Apple vs apple) sont des entrées séparées. L’outil opère ligne par ligne, pas sur des enregistrements multilignes.