| 场景 | 保序去重（first-occurrence） |
|---|---|
| 组合 | awk '!seen[$0]++' |
常用示例
常用示例
awk '!seen[$0]++' url.txt > url.uniq.txt
awk '!seen[tolower($0)]++' mail.txt # 忽略大小写去重
wc -l url.txt url.uniq.txt # 对比去重前后数量awk '!a[$0]++' 是惯用写法：第一次遇到某行时 seen 为 0 → 取反为真 → 打印；之后都被过滤。