Eindeutige Zeilen entfernt Duplikate und behält das erste Vorkommen jeder Zeile. Unterschiede im Whitespace zählen als eigene Zeilen—passend zur exakten Listen-Deduplizierung in Agent-Pipelines, Bereinigung von Crawler-Ausgabe und Review von Merge-Konflikten.
So funktioniert es
Die Eingabe wird an Zeilenumbrüchen geteilt und der Reihe nach durchlaufen. Jede Zeile wird beim ersten Auftreten in einer Menge erfasst; spätere identische Zeilen werden übersprungen. Die verbleibenden Zeilen werden wieder mit \n verbunden und behalten die relative Reihenfolge ihres ersten Auftretens. Leere Zeilen werden wie jede andere Zeile dedupliziert, sofern Sie sie nicht zuerst separat kürzen.
Wann Sie es nutzen
- URL- oder E-Mail-Listen aus Crawlern und Scrapern deduplizieren
- Zusammengeführte Agent-Ausgaben vor dem Senden an ein LLM bereinigen, um Tokens zu sparen
- Log-Ausschnitte verkürzen und die chronologische First-Seen-Reihenfolge behalten
- Allowlists aus mehreren Quellen vor Diffs normalisieren
Beispiel
apple\nbanana\napple\ncherry wird zu apple\nbanana\ncherry. Kombinieren Sie mit sort-lines, wenn Sie nach der Deduplizierung auch alphabetisch sortieren wollen.
Einschränkungen
Der Vergleich ist zeilenweise exakt—führende oder nachgestellte Leerzeichen machen Zeilen unterschiedlich. Kürzen Sie Zeilen zuerst, wenn umgebendes Whitespace ignoriert werden soll. Groß-/Kleinschreibung (Apple vs apple) gilt als getrennte Einträge. Das Tool arbeitet zeilenweise, nicht auf mehrzeiligen Datensätzen.