Cách sử dụng
- Dán danh sách hoặc mở tệp UTF-8.
- Chọn lần xuất hiện cần giữ và quy tắc so sánh.
- Sao chép hoặc tải các dòng còn lại.
Xóa trùng từng dòng
Giữ mỗi dòng một lần cùng thứ tự tương đối của các dòng còn lại. Mặc định so sánh chính xác và giữ lần đầu.
Có thể cắt khoảng trắng, bỏ phân biệt hoa/thường, xóa dòng trống hoặc so sánh chuẩn hóa NFC.
Mỗi dòng một bản ghi
Xóa toàn bộ bản ghi trùng. Xuống dòng cuối là dấu phân cách, không phải bản ghi rỗng thêm. Dòng trống rõ ràng được giữ nếu chưa bật xóa.
Apple
Banana
Apple
Cherry
Banana
Apple
Banana
Cherry
Apple và Banana đầu tiên được giữ theo thứ tự gốc.
Giữ lần đầu hoặc cuối
Đầu tiên giữ bản ghi sớm nhất; Cuối cùng giữ bản ghi muộn nhất, theo thứ tự các bản ghi còn lại. Bỏ phân biệt hoa/thường so sánh dạng Unicode chữ thường. NFC coi các dạng tương đương chuẩn tắc là bằng nhau mà không viết lại dòng giữ lại.
Đầu ra thay đổi gì
Cắt hai đầu dòng tác động lên cả so sánh lẫn đầu ra. Tùy chọn khác giữ cách viết gốc. Giữ BOM đầu và xuống dòng cuối; xuống dòng hỗn hợp dùng kiểu đầu tiên tìm thấy.
Văn bản: đầu vào 5 MiB, 100.000 dòng logic, đầu ra 20 MiB và 10 giây. Regex: đầu vào 1 MiB, mẫu 4.096 đơn vị UTF-16, 500 kết quả khớp và 2 giây. Tệp phải là UTF-8. Mọi xử lý diễn ra trên thiết bị.
Câu hỏi thường gặp
Danh sách có được sắp xếp lại không?
Không. Giữ thứ tự nguồn còn lại. Dùng trình sắp xếp văn bản nếu cần đổi thứ tự.
Apple và apple có trùng không?
Chỉ khi không phân biệt hoa/thường; mặc định so sánh chính xác.
Có thể giữ lần cuối không?
Có. Chọn Cuối cùng để xóa những lần trước.
NFC thay đổi gì?
Coi dạng Unicode tương đương chuẩn tắc là bằng nhau, vẫn giữ cách viết của dòng còn lại.
Đây có phải Unicode case folding đầy đủ?
Không. Chỉ đổi sang chữ thường, không thêm quy tắc vùng hay case folding đầy đủ.