Лобанов-Ростовский, напротив, женолюбцем не был:

- Нет, ваше величество. Не забыл. И не забуду.

- Так считайте, князь, - решил император, - что я забыл эту историю с чужой женой, желая видеть вас подле себя.

После этого он стал товарищем министра внутренних дел!

Семь лет ведал делами о раскольниках, участвовал в разработке главных реформ (достойных более светлой памяти и в наши дни), по настоянию князя Лобанова-Ростовского все гражданские посты в провинциях достались чиновникам, а не генералам, князь преобразовывал порядок в следственных органах и прочее. Покинув мир дипломатии, Алексей Борисович был по-прежнему окружен иностранными послами, средь которых выделял баварского Труксесс-Ветцгаузена, бразильского Рибейро де-Сильва, английского Уильяма Румбольда - все эти амбасадоры были мужьями его кузин, ибо Лобановы-Ростовские имели обширное космополитическое родство. Румбольд в своих мемуарах писал: "Лобанов был одним из самых чарующих представителей русской аристократии, ибо давно известно, что если члены избранного русского общества задаются намерением прельстить кого-либо, то они воистину неотразимы. Эрудиция же князя в области русской истории была поразительна!"

Пожалуй, история и была главным смыслом жизни Алексея Борисовича. По службе он невольно сталкивался с современниками, весьма далекими от совершенства, выискивая примеры благородства в людях, давно отживших свой век, "стараясь найти в их деяниях побуждения более возвышенные, нежели те, с коими приходилось считаться ему, современному дипломату" - так писал о князе Лобанове-Ростовском историк А. А. Половцев.

Алексей Борисович даже не скрывал этого, говоря:

- Днями, встречая подлецов и мерзавцев, я по ночам зарываюсь в прошлое России, отдыхая душой на привлекательных чертах предков, которые ограждены от злословия потомков надгробной плитой из мрамора. Меня очень увлекает резкое несходство мертвых с живыми, и чем меньше люди былого схожи с моими современниками, тем большее мое внимание они привлекают.