转自：http://www.ibm.com/developerworks/cn/linux/l-tip-prompt/l-tiptex6/
重复行通常不会造成问题，但是有时候它们的确会引起问题。此时，不必花上一个下午的时间来为它们编制过滤器，uniq 命令便是唾手可得的好工具。了解一下它是如何节省您的时间和精力的。
进行排序之后，您会发现有些行是重复的。有时候该重复信息是不需要的，可以将它除去以节省磁盘空间。不必对文本行进行排序，但是您应当记住
uniq
在读取行时会对它们进行比较并将只除去两个或更多的连续行。下面的示例说明了它实际上是如何工作的：
清单 1. 用 uniq 除去重复行
警告：请不要使用
uniq
或任何其它工具从包含财务或其它重要数据的文件中除去重复行。在这种情况下，重复行几乎总是表示同一金额的另一个交易，将它除去会给会计部造成许多困难。千万别这么干！
如果您希望您的工作轻松点，比如只显示唯一的或重复的行，那么该怎么办呢？您可以用
-u
（唯一）和
-d
（重复）选项来做到这一点，例如：
清单 2. 使用 -u 和 -d 选项
您还可以用
-c
选项从
uniq
中获取一些统计信息：
清单 3. 使用 -c 选项
就算
uniq
对完整的行进行比较，它仍然会很有用，但是那并非该命令的全部功能。特别方便的是：使用
-f
选项，后面跟着要跳过的字段数，它能够跳过给定数目的字段。当您查看系统日志时这非常有用。通常，某些项要被复制许多次，这使得查看日志很难。使用简单的
uniq
无法完成任务，因为每一项都以不同的时间戳记开头。但是如果您告诉它跳过所有的时间字段，您的日志一下子就会变得更加便于管理。试一试
uniq -f 3 /var/log/messages
，亲眼看看。
还有另一个选项
-s
，它的功能就像
-f
一样，但是跳过给定数目的字符。您可以一起使用
-f
和
-s
。
uniq
先跳过字段，再跳过字符。如果您只想使用一些预先设置的字符进行比较，那么该怎么办呢？试试看
-w
选项。
分享到：
相关推荐
linux下uniq和sort命令用法详解.docx
linux下uniq和sort命令用法.docx
LINUX处理文本命令 处理文本和文本文件的命令 一. sort 文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并预排序的输入文件. 想...
uniq命令的作用：显示唯一的行，对于那些连续重复的行只显示一次！ 本文将通过实践实例说明
主要给大家介绍了关于在linux中利用lsof命令如何查看文件打开情况的相关资料，文中通过示例代码以及图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
主要涉及shell脚本中文本处理常见命令，diff/patch查找文本差异，字符串截取cut、tr、uniq等
Linux笔记——命令:Sort,uniq,join,cut,paste,split Linux笔记——shell基础：变量&本地变量&位置变量&特定变量参数 Linux笔记——条件测试test Linux笔记——控制流 Linux笔记——shell补充：参数传递&函数等 Linux...
linux 核心命令源码（cp mv cat chgrp chown cut date df du echo env expand expr find force fs group head hostname join kill link ls mkdir mv nice od paste printf ptx rm selinux seq sleep sort split stat...
因为不耐烦反复的查，索性自己总结了一个pdf，里面包括常用的linux命令，包括gcc,grep,tar,sed,find,screen,nohup,scp等，另外还有一些常用的文本处理命令如cat，split，head，tail，uniq，wc,more,less等。
主要介绍了Linux命令 sort、uniq、tr工具详解，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
linux下大部分常用命令源码，偶正要开始学习-_- base64.c basename.c c99-to-c89.diff cat.c chcon.c chgrp.c chmod.c chown.c chown-core.c chown-core.h chroot.c cksum.c comm.c copy.c cp.c cp-hash.c csplit.c ...
Linux常用命令 # 按 VmSwap 使用量对进程排序，输出进程名称、进程 ID 以及 SWAP 用量 $ for file in /proc/*/status ; do awk '/VmSwap|Name|^Pid/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 3 -n -...
Linux命令大全完整版 目 录 目 录 I 1. linux系统管理命令 1 adduser 1 chfn(change finger information) 1 chsh(change shell) 1 date 2 exit 3 finger 4 free 5 fwhois 5 gitps(gnu interactive tools ...
从文件和目录操作到用户管理等。 ls cp cut head stat sort uniq awk grep sed chmod chown useradd groupadd mount 等
自己学习《APUE》时写的linux下一些命令(大概40个左右)实现，仅当学习使用，这些命令包括cat cp echo head ls paste rmdir tail umask who chattr cut expand join mkdir pwd sed tee uniq chgrp date find last ...
sort sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来... -n ：使用『纯数字』进行排序(默认是以文字型态来排序的)； -r
Linux命令大全搜索工具，内容包含Linux命令手册、详解、学习、搜集。 Linux命令分类 这里存放Linux 命令大全并不全，你可以通过linux-command来搜索，它是把 command 目录里面搜集的...
linux常用命令大全 Linux系统提供了大量的命令用于文件管理、系统配置、网络操作等。以下是一些Linux系统中常用的命令大全，涵盖了多个方面： 1. 文件和目录管理 ls：列出目录内容。 cd：切换目录。 pwd：显示...
使用方法，解压到本地目录，配置path，即可在dos下使用linux命令。 windows下能直接执行的linux命令，基本包括日常所有，如：[.exe grolbp.exe regtool.exe a2p.exe grolj4.exe rm.exe a2p5.10.0.exe grops.exe ...
一、操作系统概述 1、 操作系统 2、 不同应用利于的主流操作系统二、系统安装 1、安装VM虚拟机 1.1 简要介绍 1.2 配置网卡 ...2.8.8 uniq命令 2.8.9 tee命令 2.8.10 tr命令 2.8.11 split命令 2.8.12 awk命令