So verwendest du das Tool
- Liste einfügen oder UTF-8-Datei öffnen.
- Vorkommen und Vergleichsoptionen auswählen.
- Verbleibende Zeilen kopieren oder herunterladen.
Text zeilenweise deduplizieren
Behalte jede Zeile einmal und die relative Reihenfolge der verbleibenden Datensätze. Standardmäßig wird exakt verglichen und das erste Vorkommen behalten.
Optional sind Trimmen, Vergleich ohne Groß-/Kleinschreibung, Entfernen leerer Zeilen und NFC-Normalisierung.
Eine Zeile pro Datensatz
Gleiche Datensätze werden vollständig entfernt. Ein letzter Zeilenumbruch ist ein Trenner, kein zusätzlicher leerer Datensatz. Explizite Leerzeilen bleiben ohne entsprechende Option erhalten.
Apple
Banana
Apple
Cherry
Banana
Apple
Banana
Cherry
Die ersten Apple- und Banana-Zeilen bleiben in Quellreihenfolge.
Erstes oder letztes Vorkommen
Erstes behält den frühesten, Letztes den neuesten Datensatz, jeweils in der Reihenfolge der verbleibenden Zeilen. Groß/klein ignorieren vergleicht Unicode-Kleinbuchstabenformen. NFC setzt kanonisch äquivalente Schreibweisen gleich, ohne die behaltene Zeile umzuschreiben.
Was sich an der Ausgabe ändert
Trimmen gilt für Vergleich und Ausgabe. Andere Vergleichsoptionen erhalten die ursprüngliche Schreibweise. BOM und letzter Umbruch bleiben erhalten; gemischte Zeilenenden verwenden den ersten gefundenen Trenner.
Text: bis zu 5 MiB Eingabe, 100.000 logische Zeilen, 20 MiB Ausgabe und 10 Sekunden. Regex: 1 MiB Text, 4.096 UTF-16-Mustereinheiten, 500 Treffer und 2 Sekunden. Dateien müssen UTF-8 verwenden. Alles wird lokal verarbeitet.
Häufig gestellte Fragen
Wird die Liste auch sortiert?
Nein. Die verbleibende Quellreihenfolge bleibt erhalten. Nutze bei Bedarf das Sortiertool.
Sind Apple und apple Duplikate?
Nur mit ignorierter Groß-/Kleinschreibung. Standard ist exakter Vergleich.
Kann ich das letzte Vorkommen behalten?
Ja. Wähle Letztes, um frühere gleiche Zeilen zu entfernen.
Was bewirkt NFC?
Kanonisch äquivalente Unicode-Formen gelten als gleich; die behaltene Zeile bleibt unverändert.
Ist das vollständiges Unicode Case Folding?
Nein. Es nutzt Kleinschreibung ohne sprachspezifische Regeln oder vollständiges Case Folding.