Медаль "За отличие в воинской службе" учреждена указом Президиума Верховного Совета СССР от 28 октября 1974 года. Этим же указом утверждены положение о медали и ее описание.  
В положении о медали сказано:
 "Медалью "За отличие в воинской службе" награждаются военнослужащие Советской Армии, Военно-морского Флота, пограничных и внутренних войск:  
за отличные показатели в боевой и политической подготовке;
за особые отличия на учениях и маневрах, при несении боевой службы и боевого дежурства;
 за отвагу, самоотверженность и другие заслуги, проявленные в период прохождения воинской службы...  
Медаль "За отличие в воинской службе" состоит из двух степеней:
 медаль "За отличие в воинской службе" 1-й степени, медаль "За отличие в воинской службе" 2-й степени. Высшей степенью медали является 1-я степень".