Музыкой Николай начал заниматься под руководством матери с 4 лет. А с семи уже концертировал вместе с Антоном в России и за рубежом. Юные музыканты даже были удостоены лестных отзывов от таких именитых композиторов, как Ференц Лист и Фредерик Шопен.
Два года юные Рубинштейны вместе с матерью жили в Берлине, где Николай брал уроки игры на фортепиано у композитора и пианиста Теодора Куллака и изучал теорию музыки у знаменитого музыкального теоретика Зигфрида Дена. Во второй половине 1840-х будущий пианист совершенствовал свое мастерство в Москве - занимался у музыкального педагога, композитора Александра Виллуана. Завершив обучение, Николай Рубинштейн начал давать частные уроки игры на фортепиано - юноше было всего 14 лет.
Несмотря на очевидную музыкальную одаренность, Рубинштейн связал свой жизненный путь с музыкой не сразу. В 1851 году, после прохождения полного курса гимназии, он поступил на юридический факультет Московского университета, окончил его в чине губернского секретаря и целых два года служил в канцелярии Московского гражданского губернатора. Но карьера чиновника была не для Николая Григорьевича.
В 1855 году он познакомился с Милием Алексеевичем Балакиревым - композитором, дирижером, главой "Могучей кучки". Ум, простота и одновременно глубокие музыкальные познания Рубинштейна произвели на композитора неизгладимое впечатление.
С 1857-го Николай Григорьевич полностью посвятил себя музыке: 22-летний пианист стал учителем музыки Московского сиротского института императора Николая I, а еще через два года возобновил концертную деятельность. Участвовал в собраниях Русского музыкального общества в Санкт-Петербурге и в благотворительных концертах Московского университета. Репертуар Рубинштейна включал фортепианные произведения Баха, Бетховена, Шопена и Листа. Благодаря своему исключительному музыкальному таланту, Николай Григорьевич довольно быстро завоевал популярность и стал вхож в московское великосветское общество.
В 1860 году Рубинштейн принял руководство московским отделением Русского музыкального общества, к тому же сделался бессменным дирижером его симфонических концертов. Николай Григорьевич внес большой вклад в формирование русской дирижерской школы. Под его управлением прошло более 250 концертов, в основном в Москве, но также в Петербурге и других городах.
Рубинштейн принимал активное участие в открытии Московской консерватории (ныне Московская государственная консерватория им. П.И. Чайковского) в 1866 году. Идея создания первого в городе музыкального вуза целиком поглотила его. Масштабный проект требовал больших денежных вложений. Рубинштейн собирал недостающие средства с помощью благотворителей. В итоге, дирижер стал первым директором Московской консерватории и оставался им до конца своих дней. Также Николай Григорьевич был профессором фортепианного класса. Его учениками являлись многие выдающиеся музыканты своего времени. Наиболее известные среди них: пианисты Сергей Танеев, Александр Зилоти и Эмиль фон Зауэр.
Николай Григорьевич смог превратить консерваторию в место притяжения лучших из лучших, самых талантливых героев в мире отечественной музыки. Благодаря ему Московская консерватория получила право преподавать по собственным учебным программам. В ней была открыта единственная в России кафедра истории древнерусского церковного пения. Обучение в консерватории стоило недешево - сто рублей в год. Но эта плата не была главным средством существования учебного заведения. "Жила" консерватория за счет пожертвований и денег, которые выделял сам Николай Григорьевич из собственных концертных гонораров.
Рубинштейн с радостью помогал начинающим талантам. В частности, он сыграл большую роль в судьбе Петра Ильича Чайковского, которого поддерживал и морально, и материально. Начинающий композитор одно время даже жил в квартире Николая Григорьевича. Рубинштейн стал первым исполнителем симфонических сочинений Чайковского ("Фатум", "Ромео и Джульетта", "Франческа да Римини", "Итальянское каприччио") и его оперы "Евгений Онегин", поставленной в 1879 году в Малом театре силами учеников Московской консерватории.
Творческая энергия Николая Григорьевича била через край. Он успевал все: принимал участие в открытии музыкально-издательской фирмы Юргенсона, руководил Фондом вспомоществования вдовам и сиротам музыкантов, помогал педагогам провинциальных городов, проводил ежегодные благотворительные концерты. В июне 1880 года отвечал за музыкальную часть праздника в честь открытия памятника Пушкину в Москве - дирижировал кантатой Сергея Танеева "Я памятник воздвиг…".
Юрист, общественный деятель, профессор Московского университета Николай Давыдов о знаменитом пианисте писал так: "Николай Григорьевич отзывчивый и добрый человек, не умевший отказывать, когда его помощь действительно была нужна… Прямо легендарной представляется личность Н.Г. Рубинштейна теперь, когда, по прошествии многих лет, оглядываешься на все то, что им было сделано, и вспомнишь, какую кипучую, но продуктивную, без малейшего отдыха деятельность он проявлял тогда… Он был неизменным руководителем концертов, дававшихся в пользу недостаточного студенчества, вел спевки хора Музыкального общества, и к нему же по всем делам, как к хозяину музыкальной Москвы, обращались все приезжающие в Москву музыканты".
За свою созидательно-просвещенческую гуманитарную деятельность Николай Григорьевич Рубинштейн был награжден императорскими орденами святого Владимира IV степени и святой Анны II степени; князя Даниила Первого III степени (Черногория) и орденом Почетного легиона (Франция).
В конце 1870-х Рубинштейну предложили уехать в Америку, но он отказался и до конца своих дней оставался верным своей стране. Тогда же он дал серию концертов в 33-х городах, а полученные за них гонорары пожертвовал в пользу Красного креста. Шла Русско-турецкая война.
Уже будучи тяжело болен, в начале 1881 года, Рубинштейн продолжал дирижировать и преподавать. Врачи настаивали на поездке в Ниццу для лечения. Николай Григорьевич отправился в это путешествие, но до Ниццы не доехал. Великий музыкант скончался 23 марта (11-го по старому стилю) 1881 года в Париже.
Городской совет Москвы выделил на перевозку и погребение тела Рубинштейна необходимую сумму. Тело музыканта было погребено в некрополе Данилова монастыря, а затем останки перезахоронены на Новодевичьем кладбище. Потеряв своего "музыкального хозяина" вся Москва погрузилась в траур.
Издательством Юргенсона был издан посмертный альбом, куда вошли все фортепианные сочинения Рубинштейна. Петр Чайковский написал фортепианное трио "Памяти великого художника". Этому же событию посвящена кантата Сергея Танеева "Иоанн Дамаскин".