Потомок старинного дворянского рода Тульской губернии. Родился в селе Локотки Глуховского уезда Черниговской губернии 1 сентября 1830 года. Воспитывался в Московском кадетском корпусе, где служил воспитателем его отец, и, как один из лучших по успехам воспитанников, выпущен в 1848 году прапорщиком лейб-гвардии в Измайловский полк. 20 апреля 1851 года он был прикомандирован к 1-му Московскому корпусу репетитором математических наук; освобождённый таким образом от строевой службы, он получил возможность обратиться к занятиям отечественной историей, к которым он, по собственному выражению, имел «внутреннее влечение». В 1858 году, следуя своему влечению к историческим работам, Хмыров задумал, по словам его биографа П. А. Ефремова, написать историю полка, в котором служил, и добился разрешения работать как в архиве Измайловского полка, так и в других петербургских и московских архивах. С 1860 года стал печатать исторические статьи. Говоря о Хмырове, нельзя не упомянуть о его богатейшей библиотеке, на составление которой он не жалел своих скудных заработков; она состояла из 12 тысяч номеров одних только журналов и вырезок из них и приобретена в 1873 году при посредничестве С. Н. Шубинского (за 3000 рублей) для Исторического музея в Москве. Однако поступление включало в себя только около трёх тысяч изданий, наибольшую ценность представляли так называемые «хмыровские портфели»: 832 папки с тематически подобранными (свыше 300 тем) вырезками. Большую ценность представлял портфель с материалами для библиографического словаря «Русские люди». Библиотека Хмырова стала первым поступлением в фонды Российского Исторического музея. Необеспеченный материально, существуя только литературными заработками, Хмыров под конец своей жизни сильно нуждался и даже должен был по частям продавать свою библиотеку, приводившую в восторг такого знатока книжного дела, как П. А. Ефремов, и всегда радушно открытую для всех, желавших в ней заниматься. Он задолжал за квартиру около 800 рублей известному заводчику и издателю «Биржевых ведомостей» В. А. Полетике, в доме которого на Моховой улице в Москве жил несколько лет. Полетика вытребовал с должника расписку, предъявил её ко взысканию, и библиотеке Хмырова грозила продажа с молотка, но ссуда А. А. Краевского в размере 800 рублей временно избавила его от уплаты долга. Правда материальное положение от этого не улучшилось. Оставшись один (жена с детьми уехала в деревню к родным) он питался лишь чаем со студнем, покупаемом в мелочной лавочке. Частная помощь не могла поддержать Хмырова, явился упадок сил, и он 27 ноября 1872 года после трёхмесячной тяжкой болезни скончался в Петербурге от скоротечного воспаления мозга, оставив семье лишь рубль денег из вспомоществования, выданного ему Литературным фондом. Погребён Хмыров в Сытинском погосте Каширского уезда Тульской губернии.