Инициатором создания Московской консерватории и ее первым директором стал выдающийся пианист-виртуоз, дирижер и педагог Николай Григорьевич Рубинштейн. Он подобрал сильный преподавательский состав. Петр Чайковский вел теоретические предметы. Теорию музыки преподавал Николай Кашкин. Фортепианному искусству обучал Иосиф Венявский, брат знаменитого скрипача. Класс скрипки вели чешский виртуоз Фердинанд Лауб и композитор Людвиг Минкус. Пению учила известная певица Большого театра Александра Александрова-Кочетова. Регулярные занятия начались уже на следующий день после открытия консерватории. Обучение было платным - сто рублей в год. (Правда, наиболее способные ученики от нее освобождались.)
Курс обучения в консерватории включал не только музыкальные (инструментальные, вокальный, оркестровый, хоровой, оперный, теоретические), но и общеобразовательные классы. Первое время, чтобы выучиться на вокалиста требовалось пять лет. Инструменталисты учились на год больше.
Мысль о том, что в Москве надо открыть консерваторию впервые была высказана еще в 1819 году Фридрихом Шольцем, капельмейстером Московских Императорских театров. Но тогда идея не нашла поддержки. Вновь задумался об этом в 1860 году Николай Рубинштейн, который на тот момент был руководителем небольшого отделения Русского музыкального общества (РМО) в Москве. Он давно мечтал об учреждении высшего учебного музыкального заведения. Наконец, при поддержке императорской семьи, ему удалось воплотить задуманное в жизнь.
Порой на нужды Консерватории Николай Григорьевич отдавал собственные деньги и, когда было надо, не раздумывая, брал в долг. А потом расплачивался гонорарами от своих концертов. Когда Московская консерватория отмечала 10-летний юбилей, благодарные любители музыки подарили Рубинштейну огромный серебряный поднос с грудой рваных бумажек - это были оплаченные ими долговые расписки и векселя Николая Григорьевича.
В 1871 году баронесса Черкасова подняла стоимость арендной платы почти вдвое. К тому же, учеников было уже так много, что помещение на Воздвиженке больше не вмещало всех желающих. Пришлось искать что-то более вместительное. Таким зданием стал дом Воронцова на Большой Никитской улице. Сначала его тоже взяли в аренду, но со временем выкупили специально для Московской консерватории.
Шло время, поток студентов все увеличивался, Консерватории требовался собственный концертный зал. Так что было решено дом Воронцова перестроить. Доверено это ответственное дело было архитектору Василию Загорскому. Он сохранил только фасадную стену главного корпуса с полуротондой на уровне двух нижних этажей - все остальное было сломано и выстроено заново.
Строили здание для консерватории "всем миром": 400 тысяч рублей внес император Александр II, более 200 тысяч пожертвовал купец Гаврила Солодовников, мебель и оборудование оплатила семья Морозовых, орган подарил фабрикант Сергей фон Дервиз, а мраморные лестницы Загорский поставил за свой счет.
5 октября 1898 года, в день памяти Петра Чайковского, открылся Малый зал Консерватории. А спустя три года строительные работы были завершены окончательно. Это знаменательное событие было отмечено торжественным открытием Большого зала на 1800 мест. Его главное достоинство - невероятная акустика, которой удалось добиться благодаря технически безупречному проекту Загорского, тщательно подобранным строительным материалам, двойному потолку зала с прослойкой воздуха и раковине эстрады, хорошо отражающей звук. Главной гордостью Московской консерватории стал орган Большого зала. По ценности его приравнивают к скрипкам Страдивари.
Консерватория продолжила расширяться. В 1983 году в ее комплекс зданий вошла городская усадьба Колычевых. В том же году был открыт "Рахманиновский" зал, названный в честь великого композитора и выпускника Московской консерватории.
Летом 1918 года Московская консерватория получила права высшего учебного заведения. В 1940-м ей было присвоено имя Петра Ильича Чайковского. А через 14 лет, в сквере перед главным корпусом, композитору был открыт памятник, автором которого стала легендарная Вера Мухина.
Выпускниками Московской консерватории были выдающиеся композиторы (Сергей Танеев, Александр Скрябин, Сергей Рахманинов, Арам Хачатурян); пианисты (Константин Игумнов, Лев Оборин, Святослав Рихтер); скрипачи (Давид Ойстрах, Леонид Коган); виолончелисты (Анатолий Брандуков, Григорий Пятигорский, Мстислав Ростропович); вокалисты (Антонина Нежданова, Сергей Лемешев).
В 2003 году Московской консерватории был присвоен статус университета. До сих пор она сохраняет репутацию одного из ведущих высших музыкальных учебных учреждений России и мира.