Contenido del fichero.
AAAAAAAAAAAA AAAAAAAAAAAA BBBBBBBBBBBB AAAAAAAAAAAA AAAAAAAAAAAA BBBBBBBBBBBB
Borrar las lineas que se repitan de manera consecutiva con el comando sed.
sed '$!N;/^\(.*\)\n\1$/!P;D' fichero AAAAAAAAAAAA BBBBBBBBBBBB AAAAAAAAAAAA BBBBBBBBBBBB