正在准备工作区…
输入
输出
结果将显示在这里。
使用方法
- 粘贴列表，或打开 UTF-8 文件。
- 选择保留首次或末次出现及比较选项。
- 复制或下载去重后的文本行。
逐行移除重复内容
每行只保留一次，同时维持剩余行的相对顺序。默认精确比较并保留首次出现。
可选择去两端空白、忽略大小写、移除空白行或 NFC 规范化比较，以匹配实际数据要求。
每行作为一条记录
重复内容以整行记录移除。末尾换行是记录分隔符，不额外算一条空记录；明确存在的空白行默认保留。
输入
Apple
Banana
Apple
Cherry
Banana
结果
Apple
Banana
Cherry
保留最早出现的 Apple 和 Banana，维持原有顺序。
保留首次或末次
保留首次会留下最早记录，保留末次会留下最新记录，均保留幸存记录的相对顺序。忽略大小写使用 Unicode 小写形式比较；NFC 让规范等价的写法相等，但不改写保留的文本。
输出会发生哪些变化
去除每行两端空白同时作用于比较和输出。其他比较选项保留幸存行的原始文本。保留开头 BOM 和末尾换行，混合换行统一为首次发现的分隔符。
处理限制
文本转换支持 5 MiB 输入、100,000 个逻辑行、20 MiB 输出和 10 秒处理时间。正则支持 1 MiB 输入、4,096 个 UTF-16 单元的表达式、最多 500 个结果及 2 秒限时。文件需为 UTF-8，全部在本地处理。
?
常见问题
会对列表排序吗？
不会，保留幸存记录的源顺序；需要重新排序时请使用文本排序工具。
Apple 和 apple 算重复吗？
仅在启用忽略大小写时算重复，默认精确比较。
能保留最后一次出现吗？
可以，选择末次即可移除更早的重复记录。
NFC 比较改变什么？
使规范等价的 Unicode 形式相等，保留的记录仍使用原始写法。
忽略大小写是完整 Unicode case folding 吗？
不是，它使用 Unicode 小写转换，不加入区域特例或完整 case folding 规则。