Орден "За службу Родине в Вооруженных Силах СССР" учрежден указом Президиума Верховного Совета СССР от 28 октября 1974 года. Этим же указом утверждены статут и описание ордена.  
В статуте ордена сказано:
 "Орденом "За службу Родине в Вооруженных Силах СССР" награждаются военнослужащие 
Советской Армии, Военно-Морского Флота, пограничных и внутренних войск:
за успехи, достигнутые в боевой и политической подготовке, поддержание высокой боевой готовности войск и освоение новой боевой техники;  
за высокие показатели в служебной деятельности;
за успешное выполнение специальных заданий командования;
за отвагу и самоотверженность, проявленные при исполнении воинского долга;
за другие заслуги перед Родиной во время службы в Вооруженных Силах СССР.
 Орден "За службу Родине в Вооруженных Силах СССР" состоит из трех степеней:   
орден "За службу Родине в Вооруженных Силах СССР" 1-й степени, орден "За службу Родине в Вооруженных Силах СССР" 2-й степени, орден "За службу Родине в Вооруженных Силах СССР" 3-й степени". Высшей степенью ордена является 1-я степень. Награждение производится последовательно: 3-й степенью, 2-й степенью и 1-й степенью.  
 Орден "ЗА СЛУЖБУ РОДИНЕ В ВООРУЖЕННЫХ СИЛАХ СССР" представляет собой две четырехконечные звезды, наложенные друг на друга. Нижняя из них покрыта голубой эмалью и имеет ободок, у 1-й и 2-й степеней - золотой, у 3-й - серебряный. У 1-й степени верхняя четырехугольная звезда золотая. На концах голубой звезды - позолоченные верхняя и нижняя части двух скрещенных ракет. В центральной части ордена на венке из дубовых листьев - позолоченная пятиконечная звездочка, окаймленная белым эмалевым пояском с надписью по окружности "За службу Родине в ВС СССР" и изображением серпа и молота внизу. Ободки пояска позолоченные. Звездочка и поясок наложены на серебряные оксидированные крылья и якорь. У ордена 2-й степени верхняя звезда и ободки пояска серебряные, а орден 3-й степени весь без золочения. Все три степени ордена изготавливаются из серебра, размеры всех знаков 65х58 мм. Орден прикрепляется к одежде при помощи штифта и гайки. Лента ордена "За службу Родине в Вооруженных Силах СССР" голубого цвета, с желтыми продольными полосками посредине: для 1-й степени одна, шириной 6 мм, для 2-й степени - две, шириной 3 мм, и для 3-й степени - три, шириной 2 мм каждая.  
 Впервые орденом "За службу Родине в Вооруженных Силах СССР" 3-й степени была награждена группа военнослужащих за успехи в боевой и политической подготовке и успешное освоение новой сложной боевой техники указом Президиума Верховного Совета СССР от 17 февраля 1975 года, в канун празднования Дня Советской Армии и Военно-Морского Флота.  
 Генералы И. Г. Завьялов, И. К. Колодяжный, В. П. Щербаков и капитан 1-го ранга В. П. Порошин стали первыми кавалерами ордена "За службу Родине в Вооруженных Силах СССР" всех трех степеней.