Как пользоваться
- Вставьте список или откройте файл UTF-8.
- Выберите вхождение и правила сравнения.
- Скопируйте или скачайте оставшиеся строки.
Построчная дедупликация текста
Сохраняйте каждую строку один раз и относительный порядок оставшихся записей. По умолчанию сравнение точное и сохраняется первое вхождение.
Можно обрезать пробелы, не учитывать регистр, удалять пустые строки или использовать сравнение NFC.
Одна строка — одна запись
Совпавшие записи удаляются целиком. Последний перевод строки — разделитель, не дополнительная пустая запись. Явные пустые строки остаются, если не выбрано удаление.
Apple
Banana
Apple
Cherry
Banana
Apple
Banana
Cherry
Первые Apple и Banana остаются в исходном порядке.
Первое или последнее вхождение
Первое сохраняет самую раннюю запись, Последнее — самую позднюю, с порядком оставшихся строк. Игнорирование регистра сравнивает Unicode-формы нижнего регистра. NFC приравнивает канонически эквивалентные формы без перезаписи сохранённого текста.
Изменения в выводе
Обрезка применяется к сравнению и выводу. Другие правила сохраняют исходную запись. BOM и конечный перевод строки остаются; смешанные переводы используют первый найденный формат.
Текст: до 5 MiB ввода, 100 000 логических строк, 20 MiB вывода и 10 секунд. Regex: 1 MiB текста, 4 096 единиц UTF-16 в шаблоне, 500 совпадений и 2 секунды. Файлы должны быть UTF-8. Вся обработка локальная.
Частые вопросы
Список также сортируется?
Нет. Порядок оставшихся строк сохраняется. Для сортировки используйте отдельный инструмент.
Apple и apple — дубликаты?
Только без учёта регистра; по умолчанию сравнение точное.
Можно сохранить последнее вхождение?
Да. Выберите Последнее, чтобы убрать предыдущие.
Что меняет NFC?
Канонически эквивалентные Unicode-формы считаются равными, а сохранённая запись не меняется.
Это полное Unicode case folding?
Нет. Используется нижний регистр без региональных правил и полного case folding.