Как считает политолог Игорь Шатров, возможно, Тюремный замок и не отличался особой архитектурной ценностью. По крайней мере, к числу памятников архитектуры не относился. Но к историческим поселениям, казалось бы, должен предъявляться особый счет. А Торопец - и это главное - входит в число 45 особенных российских городов.
Градозащитник Андрей Новичков уверен, что это было крепкое двухэтажное строение с полуподвальным цокольным этажом, возведенное в XIX веке из кирпича, оштукатурено и обнесено оградой. С 1873 года при тюрьме функционировала небольшая каменная церковь равноапостольного князя Владимира.
Тюрьму закрыли в 1960-е годы. Снесли ограду и церковь, а сохранившееся здание отдали под использование образовательному учреждению. По мнению Андрея Новичкова, несмотря на частичные переделки, до последнего момента оно сохраняло суровый монументальный облик, характерный для казенных зданий подобного типа и являлось ценным элементом исторической застройки города.
В ответ на жалобы жителей Торопца и градозащитников, администрация Торопецкого муниципального округа сообщала, что "здание находилось в собственности частного лица, которое приняло самостоятельное решение о сносе".
Город Торопец впервые упоминается в 1074 году. Через этот город шел торговый путь "из варяг в греки". В Торопце венчался Александр Невский и родился известный российский адмирал, путешественник Петр Рикорд.
Город славится необычной архитектурой и большим количеством сохранившихся православных храмов. В нем более 40 культурных объектов федерального значения.