uniq - 检查和过滤重复行
uniq 用于检查或过滤输入中相邻的重复行，通常与 sort 配合使用。
常用参数
-c、--count：在每行前显示出现次数。-d、--repeated：只显示重复行。-u、--unique：只显示未重复的行。-f N、--skip-fields=N：比较时忽略前N个字段。-s N、--skip-chars=N：比较时忽略前N个字符。-w N、--check-chars=N：每行只比较前N个字符。
输入文件省略或指定为 - 时，uniq 从标准输入读取数据。输出文件省略时，结果写到标准输出。
使用示例
先排序，再去除重复行：
sort filename | uniq统计每种内容出现的次数：
sort filename | uniq -c只查看重复内容：
sort filename | uniq -duniq 只比较相邻行。未排序的数据中，相同内容如果不相邻，不会被识别为同一组重复行。