正在準備工作區…
輸入
輸出
結果將顯示在這裡。
使用方法
- 貼上清單，或開啟 UTF-8 檔案。
- 選擇保留首次或末次出現及比較選項。
- 複製或下載去重後的文字行。
逐行移除重複內容
每行只保留一次，同時維持其餘行的相對順序。預設精確比較並保留首次出現。
可選擇去兩端空白、忽略大小寫、移除空白行或 NFC 正規化比較，以符合實際資料需求。
每行作為一筆紀錄
重複內容以整行紀錄移除。結尾換行是紀錄分隔符號，不額外算一筆空紀錄；明確存在的空白行預設保留。
輸入
Apple
Banana
Apple
Cherry
Banana
結果
Apple
Banana
Cherry
保留最早出現的 Apple 和 Banana，維持原有順序。
保留首次或末次
保留首次會留下最早紀錄，保留末次會留下最新紀錄，均保留其餘紀錄的相對順序。忽略大小寫使用 Unicode 小寫形式比較；NFC 讓正規等價的寫法相等，但不改寫保留的文字。
輸出會發生哪些變化
去除每行兩端空白同時作用於比較和輸出。其他比較選項保留其餘行的原始文字。保留開頭 BOM 和結尾換行，混合換行統一為首次發現的分隔符號。
處理限制
文字轉換支援 5 MiB 輸入、100,000 個邏輯行、20 MiB 輸出及 10 秒處理時間。正則支援 1 MiB 輸入、4,096 個 UTF-16 單元的運算式、最多 500 個結果及 2 秒限時。檔案須為 UTF-8，全部在本機處理。
?
常見問題
會對清單排序嗎？
不會，保留其餘紀錄的來源順序；需要重新排序時請使用文字排序工具。
Apple 和 apple 算重複嗎？
僅在啟用忽略大小寫時算重複，預設精確比較。
能保留最後一次出現嗎？
可以，選擇末次即可移除較早的重複紀錄。
NFC 比較改變什麼？
讓正規等價的 Unicode 形式相等，保留的紀錄仍使用原始寫法。
忽略大小寫是完整 Unicode case folding 嗎？
不是，它使用 Unicode 小寫轉換，不加入地區特例或完整 case folding 規則。