Cómo quitar duplicados Líneas en Unix

El entorno de shell de Unix está diseñado para la lectura y la manipulación de archivos de texto (entre otras tareas). Los archivos de configuración, scripts y código fuente son simples archivos de texto que se pueden leer en cualquier editor de texto. Por esa razón, hay comandos para tareas tales como la combinación de archivos, eliminación de líneas y columnas, y la búsqueda de información. Mediante la combinación de comandos de la shell con los lenguajes de script "awk" y "sed", se pueden realizar tareas de edición de alto nivel, incluyendo la eliminación de líneas duplicadas de uno o más archivos de texto, desde la línea de comandos sin tener que abrir un editor de texto.

Instrucciones

Archivo se pueden ordenar alfabéticamente

1 Hacer una copia de seguridad del archivo que se está trabajando con:

cp document.txt document.txt.bkup

2 Ejecute el comando:

sort -u document.txt

Este comando se ordenará el archivo y eliminar todas las líneas duplicadas.

3 Retire las líneas en blanco con el comando:

uniq document.txt

El archivo no se pueden ordenar alfabéticamente

4 Hacer una copia de seguridad de archivos:
cp document.txt document.txt.bkup

5 Ejecuta el siguiente comando awk:

awk '!($0 in a) {a[$0];print}' document.txt > unique.txt

Sus entradas únicas se pueden encontrar en el archivo denominado unique.txt

6 Cambie el nombre del archivo de texto con las líneas únicas.

cp unique.txt document.txt

Esto pone a las entradas únicas de nuevo en el archivo original.

Combinar dos archivos y encontrar los líneas duplicadas

7 Hacer una copia de seguridad de archivos:
cp document.txt document.txt.bkup

8 Ejecute el comando:

cat doc1.txt doc2.txt > combine.txt

Este comando combina doc1.txt y doc2.txt en el archivo combine.txt

9 Retire las líneas duplicadas.
Utilice ya sea el tipo y los comandos uniq o el comando awk especificado anteriormente.