Среди достопримечательностей Крапивны – бывшего уездного центра – есть здание постройки 1 половины XIX века, называемое Домом с колоннами. Более ста лет назад в нем располагалось уездное казначейство. Его история отражена в новой экспозиции Крапивенского музея – на ней представлены фотографии и документы, связанные с деятельностью этого учреждения, одним из частых посетителей которого был Лев Николаевич Толстой.
Изначально это здание принадлежало дворянскому роду Щелиных. В 1833 году А.М. Щелин, являющийся тогда владельцем дома, продал его в казну. С этого времени на первом этаже размещалось уездное казначейство, а на втором – жандармское управление.
Со зданием казначейства тесно связана общественная деятельность Льва Николаевича Толстого. Весной 1861 года он был избран на должность мирового посредника по 4 участку Крапивенского уезда. В 1870-е годы писатель принимал участие в работе земских учреждений в качестве гласного Крапивенского уездного земства, а затем губернского земства. Как гласный уездного земства он работал в комиссии для «обсуждения правил о лучшем устройстве отношений городов к земским учреждениям». На XIII уездном земском собрании в 1877 году Л.Н. Толстого избрали секретарем этого собрания. В 1874 году он был избран от земства членом училищного совета и помощником уездного председателя училищного совета. В 1876-79 годах Лев Николаевич избран членом попечительского совета женской прогимназии в Крапивне, членом контрольной комиссии по выдаче пособий семьям призванных на войну ратников и запасных, почетным мировым судьей и членом ревизионной комиссии.
Во время частых посещений уездного города для исполнения многочисленных общественных обязанностей, а также по собственному стремлению направить деятельность учреждений в русло справедливости и законности, Толстой постоянно бывал в казначействе и жандармском управлении.
После революции 1917 года здесь в разное время размещались детский дом, общежитие для детей из дальних деревень, школа. С начала 80-х годов XX века здание не эксплуатировалось. В настоящее время Дом с колоннами, являющейся историко-культурным памятником федерального значения, находится в оперативном управлении и под охраной ФГУК ГМПЗ «Музей-усадьба Л.Н. Толстого «Ясная Поляна».