Líneas únicas elimina duplicados conservando la primera aparición de cada línea. Las diferencias de espacio en blanco cuentan como líneas distintas, lo que encaja con la deduplicación exacta de listas en pipelines de agentes, limpieza de salida de crawlers y revisión de conflictos de fusión.
Cómo funciona
La entrada se divide por saltos de línea y se recorre en orden. Cada línea se registra en un conjunto la primera vez que aparece; las idénticas posteriores se omiten. Las líneas supervivientes se vuelven a unir con \n, manteniendo el orden relativo de su primera aparición. Las líneas vacías se deduplican como cualquier otra salvo que las recortes antes en un paso aparte.
Cuándo usarlo
- Deduplicar listas de URL o correos de crawlers y scrapers
- Limpiar salidas de agentes fusionadas antes de enviarlas a un LLM para ahorrar tokens
- Reducir extractos de log manteniendo el orden cronológico de primera aparición
- Normalizar listas de permitidos exportadas de varias fuentes antes de hacer diffs
Ejemplo
apple\nbanana\napple\ncherry se convierte en apple\nbanana\ncherry. Combínalo con sort-lines si también necesitas orden alfabético tras la deduplicación.
Limitaciones
La comparación es exacta por línea—espacios al inicio o al final hacen distintas las líneas. Recorta primero si el espacio alrededor debe ignorarse. Las diferencias de mayúsculas (Apple vs apple) se tratan como entradas separadas. La herramienta opera por líneas, no sobre registros multilínea.