Расцвет усадьбы связан с графом Дмитрием Шереметевым - одним из богатейших людей Российской империи середины XIX века. Он владел примерно 150 000 душ крестьян и огромными земельными наделами. При этом получаемые доходы Шереметев тратил, в основном, на дела милосердия и меценатство. Когда после отмены крепостного права доходы графа уменьшились и пришлось сокращать расходы, Шереметев стал меньше тратить на личную жизнь, чтобы не уменьшать пожертвования на благотворительность.
Заслуги графа Шереметева отмечали и в обществе, и в императорской семье. Так, например, Александр II с императрицей Марией Александровной, прибыв на коронацию в Москву 1856-м году, целую неделю прожили в имении Шереметева Останкино.
В 1857 году Дмитрий Шереметев второй раз женился - на Александре Мельниковой, поселился в ее родовом имении в селе Высоком в Смоленской губернии близ Вязьмы и начал застраивать усадьбу. Проект зданий и общая планировка были выполнены известным архитектором Николаем Бенуа. В частности, Тихвинский храм в Высоком построен по образу и подобию Троицкого храма в подмосковном Останкине. Оно давно в черте столицы, рядом с усадьбой располагается огромный телецентр.
Сын Дмитрия Шереметева Александр после кончины отца продолжил развивать Высокое. В 1893 году здесь открылась почтово-телеграфная станция, заработала паровая машина для подъема воды из реки Вазузы в дома. А особой гордостью хозяина имения стало пожарное депо. Граф Шереметев был большим поклонником пожарной службы - являлся первым председателем Российского пожарного общества, участвовал в устройстве Всероссийской пожарной выставки в 1892-м году, издавал журнал "Пожарный".
В Высоком Шереметев поддерживал мастерство пожарной команды так: покупал какой-то полуразвалившийся дом в округе и поджигал его. После этого в дело вступали пожарные.
Ирония судьбы: само здание пожарной команды в Высоком от огня не уберегли. Но численность пожарной дружины в Высоком и окрестностях росла. В ее распоряжение был и пожарный автомобиль - редкость даже для городов.
После революции Александр Шереметев жил в ставшей независимой Финляндии, а затем перебрался в Париж, где и скончался в 1931-м году в возрасте 72 лет. Все усадебные постройки в Высоком к тому времени были давно национализированы. Здесь и сейчас находится сельскохозяйственный колледж, который занял, в том числе, постройки конного завода. А вот другие строения практически разрушились, но теперь их реставрируют. В том числе, и Тихвинскую церковь.
Высокое уже посещают организованные туристические группы, которые приезжают в близлежащую Вязьму и усадьбу Хмелита, где прошли детские годы Александра Грибоедова.