Como usar
- Cole a lista ou abra um arquivo UTF-8.
- Escolha a ocorrência a manter e as regras de comparação.
- Copie ou baixe as linhas restantes.
Remover duplicados linha por linha
Mantenha cada linha uma vez e preserve a ordem relativa das restantes. O padrão é comparar exatamente e manter a primeira ocorrência.
Você pode aparar espaços, ignorar maiúsculas, remover linhas em branco ou comparar com normalização NFC.
Uma linha por registro
Registros iguais são removidos por inteiro. A quebra final é um delimitador, não um registro vazio extra. Linhas vazias explícitas permanecem, salvo opção de remoção.
Apple
Banana
Apple
Cherry
Banana
Apple
Banana
Cherry
As primeiras linhas Apple e Banana ficam na ordem original.
Primeira ou última ocorrência
Primeira mantém a mais antiga; Última, a mais recente, preservando a ordem das sobreviventes. Ignorar maiúsculas compara formas Unicode em minúsculas. NFC iguala formas canonicamente equivalentes sem reescrever o texto mantido.
O que muda na saída
Aparar cada linha afeta comparação e saída. As demais regras preservam a escrita das linhas restantes. BOM inicial e quebra final são mantidos; quebras mistas usam o primeiro separador encontrado.
Texto: até 5 MiB de entrada, 100.000 linhas lógicas, 20 MiB de saída e 10 segundos. Regex: 1 MiB de texto, 4.096 unidades de padrão, 500 correspondências e 2 segundos. Arquivos devem usar UTF-8. Todo o processamento é local.
Perguntas frequentes
A lista também é ordenada?
Não. A ordem das linhas restantes é preservada. Use o ordenador de texto para reordenar.
Apple e apple são iguais?
Apenas com Ignorar maiúsculas; o padrão é comparação exata.
Posso manter a última ocorrência?
Sim. Escolha Última para remover as anteriores.
O que NFC muda?
Formas Unicode canonicamente equivalentes ficam iguais na comparação, sem alterar a escrita mantida.
É case folding Unicode completo?
Não. Usa conversão para minúsculas, sem regras regionais nem case folding completo.