Муром преобразился благодаря деятельности проводимой А. В. Ермаковым, который поучаствовал не только в проведении водопровода с тем, чтобы упростить быт местных женщин, избавив их от необходимости притаскивания воды с реки. На всех площадях был наведен порядок, убраны дряхлые лавки. Ярмарки стали проводиться на выгоне, где оборудовали новые торговые ряды. Он поучаствовал в строительстве городского поселка под названием «Новый штаб», куда переехали жители Успенского оврага. Для схода к реке Оке построен Спасский спуск. Ермаков приказал убрать весь мусор и грязь из центральных районов. Площади и улицы покрыли мостовой.

Благодаря стараниям Ермакова была расширена богадельня, построена библиотека, а также организована лечебница. А открытый в 1868 году приют для детей назван в честь супругов Ермаковых. Здание театра, построенное в 1867 году, просуществовало 22 года. По причине ветхости и отсутствия финансовой поддержки со стороны городского управления было разобрано буквально по кирпичикам. Зачастую по своей инициативе и часто за свой счет, он строил и благоустраивал культурные и образовательные учреждения, а также медицинские. Причина тому описана в литературе. По словам авторов, скрывается она за бездетностью семьи Ермаковых.

Муромская пожарная бригада тоже не избежала нововведений в 1864 году. Функционирующая, с 1805 года, бригада в основном состояла из полицейских отставников. К моменту реформы все пожарное снаряжение вышло из строя. Ермаков распустил предыдущую бригаду и нанял на её место новую состоящую из крестьян и мещан. Далее были приведены в рабочее состояние пожарный обоз и пожарные трубы. В 1871 году вместо старого деревянного здания для пожарной бригады возвели каменное здание вместе с конюшней, правда, уже после смерти А.В. Ермакова.

При Алексее Васильевиче город значительно преобразился. Только благодаря стараниям этого человека можно сказать, что во всех сферах городской жизни произошли изменения к лучшему.