Первоначально в состав комитета входило 13 человек. Его почетным председателем стал генерал-адъютант барон Феофил Егорович Мейендорф. Действительным же председателем был назначен действительный статский советник, директор Александринского сиротского женского профессионального училища, филолог, спортивный деятель Вячеслав Измайлович Срезневский, который параллельно с научно-преподавательской деятельностью активно занимался спортом. В 1901 году, в возрасте 52 лет, он занял второе место в лыжных гонках на призы журнала "Спорт", проходивших на Марсовом поле.
Также Срезневский был основателем и бессменным главой Петербургского общества любителей бега на коньках в Юсуповском саду, поддерживал многих талантливых фигуристов, проводил международные соревнования по этому виду спорта, развивал в стране хоккей с мячом. Комитетом Вячеслав Срезневский руководил вплоть до его расформирования в 1918 году.
Ответственным секретарем комитета назначили одного из основоположников российского футбола Георгий Александровича Дюперрона.
Также в первый состав РОКа вошли: Алексей Лебедев - "дедушка русских фигуристов", первый председатель комитета "Петербургского кружка любителей спорта"; Артур Макферсон - купец, активный деятель спорта; Александр Ивашенцов - прекрасный стрелок, популяризатор этого вида спорта; Павел Лидваль - легкоатлет, хоккеист; Николай Штиглиц, участвовавший в чемпионате России по легкой атлетике 1910 года в Риге; Владимир Песков - доктор медицины, создатель первой в России Шуваловской школы плавания; Генрих Небе - председатель "Петербургского гимнастического общества"; Александр Целибеев - футболист первого состава петербургского "Спорта" в 1897 году; Дмитрий Маршалов - известный велосипедист.
Устав новой организации был принят сразу. (Текст этого документа, подписанный всеми избранными членами комитета, до сих пор хранится в Российском государственном историческом архиве.) Но на его согласование у правительства ушло целых 14 месяцев. Устав был утвержден Министром внутренних дел России лишь 17 мая 1912 года. Несмотря на такую вынужденную задержку, РОК все же начал свою деятельность по развитию идей олимпизма. В Российской империи стали регулярно проводиться крупные соревнования, которые были генеральной репетицией перед каждыми Олимпийскими играми.
Первой крупной задачей комитета стала подготовка спортсменов к V Олимпийским играм в Стокгольме, которые должны были пройти уже в 1912 году. Дело в том, что первые три Олимпиады - в Афинах, Париже и Сент-Луисе - прошли без участия России, а на IV Олимпиаде в Лондоне в 1908 году присутствовали лишь 8 русских участников. Но из-за задержки с утверждением устава времени на подготовку практически не оставалось.
Тем не менее, Российский Олимпийский комитет смог послать в Стокгольм 178 отечественных спортсменов, которые показали более чем скромный результат: в неофициальном медальном зачете они заняли 16-е (по некоторым данным 15-е) место из 17. Но даже этот невыдающийся итог был важным первым шагом к развитию отечественного олимпийского движения.
После революции Российский Олимпийский комитет, как и многие другие государственные учреждения, был упразднен. СССР не принимала участие в олимпийском движении вплоть до окончания Великой Отечественной войны. При этом советские спортсмены продолжали участвовать в чемпионатах мира и Европы.
23 апреля 1951 года в Москве состоялось учредительное собрание, на котором был основан Олимпийский комитет СССР. Его тогда возглавил советский спортивный функционер, активный деятель олимпийского движения Константин Андрианов.
7 мая 1951 года Советский Союз стал членом Международного Олимпийского комитета (МОК). И через год на XV Летних Олимпийских играх в Финляндии наши спортсмены завоевали 71 медаль, что позволило СССР занять 2-е место в неофициальном командном медальном зачете.
В 1992 году Олимпийский комитет СССР был переименован в Олимпийский комитет России.