사용 방법
- 목록을 붙여넣거나 UTF-8 파일을 여세요.
- 남길 항목과 비교 옵션을 선택하세요.
- 중복을 제거한 줄을 복사하거나 저장하세요.
줄 단위 중복 제거
각 줄을 한 번만 남기면서 남은 줄의 상대 순서를 유지합니다. 기본값은 정확히 비교하여 첫 번째 항목을 남깁니다.
데이터에 맞게 공백 제거, 대소문자 무시, 빈 줄 제거, NFC 정규화 비교를 선택하세요.
한 줄은 한 레코드
일치하는 줄 전체를 제거합니다. 마지막 줄바꿈은 구분자이며 추가 빈 레코드로 세지 않습니다. 명시적인 빈 줄은 제거 옵션을 켜지 않으면 유지합니다.
Apple
Banana
Apple
Cherry
Banana
Apple
Banana
Cherry
처음 나온 Apple과 Banana를 원래 순서대로 남깁니다.
첫 번째 또는 마지막 항목
첫 번째는 가장 이른 항목, 마지막은 가장 늦은 항목을 남기며 생존 레코드의 순서를 유지합니다. 대소문자 무시는 Unicode 소문자 형태로 비교합니다. NFC는 정준적으로 같은 표기를 같게 보지만 남길 원문은 바꾸지 않습니다.
출력에서 바뀌는 부분
각 줄 앞뒤 공백 제거는 비교와 출력 모두에 적용합니다. 다른 비교 옵션은 남긴 줄의 표기를 유지합니다. BOM과 마지막 줄바꿈을 유지하며 혼합 줄바꿈은 처음 나온 형식으로 통일합니다.
텍스트 변환은 입력 5 MiB, 논리적 줄 100,000개, 출력 20 MiB, 10초까지 지원합니다. 정규식은 입력 1 MiB, 패턴 4,096 UTF-16 단위, 결과 500개, 2초로 제한됩니다. UTF-8 파일을 사용하며 기기에서 처리합니다.
자주 묻는 질문
목록도 정렬하나요?
아니요. 남은 줄의 원래 순서를 유지합니다. 정렬 도구를 별도로 사용하세요.
Apple과 apple은 중복인가요?
대소문자 무시를 켠 경우에만 그렇습니다. 기본은 정확한 비교입니다.
마지막 항목을 남길 수 있나요?
네. 마지막을 선택하면 이전 중복 항목을 지웁니다.
NFC 비교는 무엇을 바꾸나요?
정준적으로 같은 Unicode 표기를 같게 보되 남긴 줄의 원래 표기를 유지합니다.
완전한 Unicode case folding인가요?
아니요. 소문자 변환만 사용하며 지역별 특례나 완전한 case folding은 적용하지 않습니다.