uniq
Ignora las líneas idénticas siempre y cuando sean adyacentes.
$ uniq -u archivo archivo_sin repeticiones
$ uniq -d archivo archivo2
en archivo2 sólo las repetidas
$ uniq -c archivo
Muestra al principio de la linea el número de veces que se repite