Иван Иванович Дернов, купец 1-й гильдии, потомственный почётный гражданин, предприниматель был известным меценатом. Он состоял председателем Костромского Благотворительного Общества (образовано в 1901 г.). Участвовал в строительстве церкви Преображения Господня в Лигово, церкви Пресвятой Троицы в Озерках.  В 1903 году Иваном Ивановичем Дерновым был приобретён участок на углу Таврической (д.35) и Тверской улиц и  было начато строительство доходного дома ("каменный 5-этажный дом на подвалах"), проект которого составил гражданский инженер Михаил Николаевич Кондратьев. Дом был построен на пересечении Тверской и Таврической улиц, его стены шли и по той и по другой улицам. А на стыке стен вместо привычного угла была возведена круглая в высоту всего дома башня. Но дом стал знаменит не своеобразием постройки. Его башня, вернее последний этаж ее, в начале ХХ века стала центром литературной и художественной жизни Петербурга с тех пор, как в 1905 году в трёхкомнатной квартире № 23 на верхнем мансардном этаже башни поселились вернувшиеся из Италии супруги -  поэт-символист Вячеслав Иванов и поэтесса Лидия Зиновьева-Аннибал.

Вячеслав Иванович Иванов - известный русский поэт, философ, один из основных теоретиков символизма. В 1884 году Вячеслав Иванов поступает в Московский университет на историко-филологический факультет. Спустя два года его отправляют за границу как многообещающего студента. Он провел там, в общей сложности, около десяти лет, бывая в России наездами. Иванов живет в различных городах Европы - Париже, Женеве, Афинах и др. За границей изучает мировую культуру, языки, немецкую философию. В 1905 году Иванов возвращается в Россию и становится признанным мэтром и теоретиком символизма. Поселившись в «башне» дома Дернова, В. Иванов со своей супругой Л. Зиновьевой-Аннибал устаивали здесь творческие встречи, так называемые «Среды». На этих «Средах» бывали В. Брюсов, А. Белый, М. Волошин, Н. Гумилёв, Н. Бердяев, А. Луначарский, Л. Андреев. Здесь заявила о себе как о молодой талантливой поэтессе Анна Ахматова, впервые прочитал свою «Незнакомку» Александр Блок. Эту квартиру хозяева и их гости называли «Башней», так как фактически башню на углу дома они и занимали. Дом с тех пор стал известен как «Дом с башней».

«Башенные среды» обычно начинались с чтения докладов на разные темы - религиозные, политические, литературные и т.п. На Ивановских «средах» представители различных кругов творческой интеллигенции обсуждали такие темы, как «Романтизм и современная душа», «Индивидуализм и новое искусство» и другие. В жарких спорах сталкивались различные идейные течения, шли поиски новых направлений в искусстве. Также поэты и писатели читали здесь свои произведения, а присутствующие на собраниях обсуждали услышанное. В ходе этих встреч создавалась особая духовная и творческая атмосфера. Председателем этих собраний на протяжении долгого времени был Н. Бердяев.

В 1910 году в «Доме с башней» был организован любительский «Башенный театр». В постановках участвовали посетители «Башни», дети Иванова, Зиновьевой-Аннибал, дети швейцара. Постановкой и оформлением спектаклей руководили В. Мейерхольд, С. Судейкин. Существует мнение, что знаменитый приём появления актёров из зрительного зала Мейерхольд придумал именно здесь.

На разных этажах в доме работали училище танцев Знаменского, общественная читальня. В круглом зале под квартирой Иванова в 1906-1909 годах размещалась частная художественная школа Е.Н. Званцевой, ученицы П. Чистякова и И. Репина. В 1918 году по распоряжению Луначарского в первых этажах дома вновь была открыта художественная школа. Перед Великой Отечественной войной здесь работало художественное училище, которое называли Таврическим или школой Шабловского - по фамилии директора. На основе Таврического училища было организовано Художественное училище им. Серова (сейчас им. Рериха), размещавшееся в доме Дернова до 1961 года.

Революционные волнения, потрясавшие Россию в начале XX века, частично затрагивали и гостей «башни», однако споры, протекавшие там, имели скорее абстрактно-академический характер. В одно из таких собраний в «башне» полиция произвела обыск. В конце 1909 года собрания творческой интеллигенции на «башне» перенесли в редакцию журнала «Аполлон». Однако «Башня» Вячеслава Иванова навсегда вошла в историю символизма и всего серебряного века. Вячеслав Иванов прожил в доме Дернова с 1905 по 1912 год, когда он снова покинул Россию.

В 2005 году в Музее-квартире А.А. Блока была открыта выставка «К 100-летию «Башни» Вячеслава Иванова», где публике были представлены фотографии интерьеров знаменитой квартиры, портреты Иванова, его жены и детей. Целый раздел выставки был посвящен гостям «Башни» - в музейных витринах разместили портреты и художественные произведения, книги и документы.

В 2001 году дом включён КГИОПом в "Перечень вновь выявленных объектов, представляющих историческую, научную, художественную или иную культурную ценность".

Здание включено в Единый государственный реестр объектов культурного наследия (памятников истории и культуры) народов Российской Федерации в качестве объекта культурного наследия регионального значения  на основании распоряжения комитета по государственному контролю использованию и охране памятников истории и культуры №10-33 от 20.10.2009 г.