Righe uniche rimuove i duplicati preservando la prima occorrenza di ciascuna riga. Le differenze di spazi bianchi contano come righe distinte, adatte alla deduplicazione esatta di elenchi in pipeline agent, pulizia di output di crawler e revisione di conflitti di merge.
Come funziona
L’input viene diviso sugli a capo e percorso in ordine. Ogni riga è registrata in un insieme alla prima apparizione; le righe identiche successive vengono saltate. Le righe rimaste sono riunite con \n, mantenendo l’ordine relativo della prima apparizione. Le righe vuote sono deduplicate come qualsiasi altra, salvo che le tagli prima in un passaggio separato.
Quando usarlo
- Deduplicare elenchi di URL o email da crawler e scraper
- Pulire output agent uniti prima di inviarli a un LLM per risparmiare token
- Ridurre estratti di log mantenendo l’ordine cronologico di prima visione
- Normalizzare allowlist esportate da più fonti prima di un diff
Esempio
apple\nbanana\napple\ncherry diventa apple\nbanana\ncherry. Abbinalo a sort-lines se dopo la deduplicazione serve anche l’ordine alfabetico.
Limiti
Il confronto è esatto per riga—spazi iniziali o finali rendono le righe distinte. Taglia prima le righe se lo spazio circostante deve essere ignorato. Differenze di maiuscole (Apple vs apple) sono voci separate. Lo strumento opera riga per riga, non su record multilinea.