28 октября 1974 года Указом Президиума Верховного Совета СССР учреждена медаль «За отличие в воинской службе». В Положение о медали внесено изменение Указом Президиума Верховного Совета СССР от 18 июля 1980 года.
Этой медалью награждались военнослужащие Советской Армии, Военно-Морского Флота, пограничных и внутренних войск за особые отличия на учениях и маневрах, при несении боевой службы и боевого дежурства, а также за отвагу, самоотверженность и другие заслуги, проявленные в период прохождения воинской службы.
Медаль состоит из двух степеней. Высшей степенью медали является I степень.
Медаль I степени изготовляется из латуни и имеет форму выпуклой пятиконечной звезды, в промежутках между концами которой расположены пять щитов с эмблемами основных родов войск. В центре медали — профильное изображение солдата, матроса и летчика, обрамленное кольцом с надписью “За отличие в воинской службе” и двумя лавровыми ветками внизу.
Оборотная сторона медали изображений не имеет.
Медаль при помощи ушка и кольца соединяется с латунной колодочкой.
Медаль II степени, ее колодка и звездочка на ленте изготовляются из мельхиора.
Автор рисунка медали — художник Жук А.Б.
Первым награжденным медалью I степени стал рядовой Спирин Анатолий Васильевич. Приказом Министра обороны СССР от 24 марта 1975 года он был удостоен этой награды за мужество и отвагу, проявленные при задержании вооруженных преступников.
Первые массовые награждения медалью II степени были произведены в канун празднования Дня Советской Армии в 1975 году.
Эта медаль быстро стала наградой для прапорщиков и мичманов. Случаи награждения этой медалью офицеров, а тем более лиц рядового и сержантского состава, происходили реже.
По состоянию на 1 января 1995 года медалью “За отличие в воинской службе” I степени было произведено около 20 тысяч награждений, медалью II степени — около 120 тысяч награждений.