Уникальные строки удаляют дубликаты, сохраняя первое вхождение каждой строки. Различия в пробелах считаются разными строками — это подходит для точной дедупликации списков в агентных конвейерах, очистки вывода краулеров и разбора конфликтов слияния.
Как это работает
Ввод делится по переводам строк и обходится по порядку. Каждая строка попадает во множество при первом появлении; последующие одинаковые пропускаются. Оставшиеся строки снова соединяются через \n с сохранением относительного порядка первых вхождений. Пустые строки дедуплицируются как любые другие, если вы сначала не обрежете их отдельным шагом.
Когда использовать
- Дедуплицировать списки URL или email из краулеров и скрейперов
- Очищать объединённый вывод агентов перед отправкой в LLM, чтобы экономить токены
- Сокращать фрагменты логов, сохраняя хронологический порядок первого появления
- Нормализовать allowlist из нескольких источников перед diff
Пример
apple\nbanana\napple\ncherry становится apple\nbanana\ncherry. Сочетайте с sort-lines, если после дедупликации нужен ещё и алфавитный порядок.
Ограничения
Сравнение точное по строке — ведущие или конечные пробелы делают строки разными. Сначала обрежьте строки, если окружающие пробелы нужно игнорировать. Различия регистра (Apple vs apple) — отдельные записи. Инструмент работает построчно, а не с многострочными записями.