Я не голосую за закрытие этого вопроса (я не думаю), но я должен сказать, что я вырос немного устал с @JimThio дерзай-я,-говорят ленивые прослеживания на комментарии: это выглядело так, как будто он только что ввели быстрый фразу в Гугле и выложил все, что придумал (или даже ссылка на "слишком много источников"). Это также показали на другой вопрос-ответ. ИМХО это не так, как вы можете иметь содержательную беседу со всеми (нефильтрованное) информации. Мой личный выбор-это воздержаться от дальнейших комментариев после того, как какой-то момент, так что, насколько я обеспокоен, также этот вопрос может быть оставался открытым. (Не большое дело в любом случае.) На самом деле, просто посмотрел closer...@Chocolate_Althea вы не можете *пропуск текста* с помощью sed в командной оболочке замену.

Если я правильно понял вы хотите удалить строки эти имеют уникальные первом столбце (в виде ссылки, потому что нет этого Д 2 ст строку в выходной другого рода -у -к2,3 потока то, что нужно), то можно сделать следующим образом и обработать входной файл дважды, чтобы напечатать те строки, в которых столбец#1 повторяется более одного раза:

на awk 'ШП==ФНР{видел[$1]++; далее} видел[$1]>1' входной_файл входной_файл
В 3 СМО
В 8 версии QS
В СТ 6 
В 5 СМО
СТ с 9 
СТ с 3