ЦИК СССР принял постановление «Об установлении звания заслуженного мастера спорта», которое присваивается «выдающимся мастерам — активным строителям советской физической культуры» 27 мая 1934 года. Звание присваивалось органом по управлению спортом в СССР.
Уже 5 июня 1934 года звание было присвоено 22 спортсменам, их список был опубликован 17 июня в газете «Правда». Знак № 1 получил конькобежец Яков Мельников. Большинство были действовавшими спортсменами или закончили выступления недавно. Платон Ипполитов, чьи спортивные достижения относятся к 1910-м — началу 1920-х годов, много сделал для популяризации конькобежного спорта в СССР.
Нагрудный знак заслуженного мастера спорта был утвержден в 1935 году. Новые присвоения звания последовали в 1936 году и стали регулярными. В годы Великой Отечественной войны звание «заслуженный мастер спорта» присваивалось мастерам спорта, отличившимся в боях с захватчиками. Так, известный легкоатлет Виктор Алексеев в 1942 году получил звание «за подготовку резервов фронту и высокие спортивные достижения», а в 1943 году звание было присвоено штангисту Аркадию Авакяну за то, что он убил немца ударом кулака.
Во второй половине 1940-х — начале 1950-х годов количество присвоений звания резко возросло. В первой половине 1950-х годов в связи с выходом советских спортсменов на международную арену было принято решение о присвоении звания за достижения на крупнейших международных соревнованиях.
До середины 1950-х годов звание нередко присваивалось за тренерские и педагогические достижения. В 1956 году такая практика была прекращена в связи с учреждением звания «заслуженный тренер СССР». В 1943 году единственный раз звание было присвоено спортивному судье — футбольному арбитру Николаю Усову.
В декабре 1972 года в ознаменование 50-летия СССР звание было присвоено лучшим спортсменам 9 социалистических стран, а 23 апреля 1985 года в связи с 40-летием победы в Великой Отечественной войне звание было присвоено группе спортсменов, в числе которых был Станислав Марусаж, воевавший в польском Сопротивлении.
