Впервые здание на этом участке было построено в 1799 году. В 1848-м его перестроил архитектор Лев Вендрамини для князя Урусова. Позднее, в 1856 году, особняк приобрел граф Алексей Иванович Мусин-Пушкин, представитель одного из самых древних и знатных дворянских родов России. Здание отличается роскошными интерьерами в стиле рококо. Здесь расположена Центральная библиотека имени М. Ю. Лермонтова — попасть в нее может любой желающий.