Дом №23 по набережной Фонтанки также называют домом Абазы. А.А. Абаза (государственный деятель, способствовавший отмене крепостного права, в дальнейшем министр финансов) и его семейство владели домом с 1840х годов до революции. Юлия Абаза создала в доме салон для культурной элиты. Его посещали Рубинштейн и Чайковский, также здесь состоялась премьера оперы «Евгений Онегин».
Дом Абазы окружен памятниками. Со стороны Караванной улицы с ним граничит особняк Львова (Караванная,22). Он построен в 1841 году по проекту архитектора Альберта Кавоса. В соседнем доме по набережной Фонтанки,25 жили художник Орест Кипренский, писатель Николай Карамзин, декабристы братья Муравьевы. Дом №21 по Фонтанке – дворец Нарышкина или Шуваловский дворец.
Летом 2010 года ООО «ПИ Геореконструкция» начало проводить изыскательские работы. Это вызвало возмущение градозащитников и жильцов соседних домов, которые опасаются, что здания пострадают в ходе строительных работ.
Застройщик вознамерился снести внутридворовую часть здания и построить семиэтажный отель, сохранив только фасад. В настоящее время «Центр государственной экспертизы» не согласовал проект реконструкции дома. По мнению специалистов, застройщик не оформил документацию по охране окружающих памятников должным образом. Теперь инвестор должен внести в документы изменения, согласовать их с КГИОПом, а затем вновь представить на рассмотрение в «Центр государственной экспертизы».