Располагалось общество на Крестовском острове у Крестовского моста. В тот день, около четырех часов ночи, стоявший на посту городовой с моста заметил огонь, поднимавшийся над зданием гребного общества. Он поспешил к его воротам и стал изо всех сил звонить, желая разбудить спавшего в горевшем здании сторожа и его семью. Вскоре они выбежали полуодетыми, а потом через окно вытащили своего четырехлетнего сына.

Когда подъехали пожарные, ворота уже были охвачены огнем. Масло и лак горевших внутри здания гребных судов усиливали пламя. Поскольку огонь все расширялся и опасность угрожала уже соседнему сараю с судами частных лиц, пришлось вызвать огнеборцев еще из двух пожарных частей – Выборгской и Петровской.

Только в шестом часу утра огонь удалось остановить. Но беды он наделал немало: от двухэтажного клубного дома остались лишь двадцать каменных столбов да небольшая часть раздевалки гребцов. Все остальное сгорело до основания.

В результате пожара погибло 38 судов гребного общества и два судна членов общества. Не стало «четверки» под названием «Алиса», считавшейся лучшей в мире и взявшей до десятка призов. Погибли в огне также и три «восьмерки» – единственные в России. Уцелели только судно «Прогулка» и два учебных судна.

Весь день место пожарища посещали спортсмены. При виде масштабов катастрофы они испытывали настоящий шок. «Дело не в убытке, а в том, что погибло дело, которое налаживалось в течение одиннадцати лет», – с горечью говорили они. Одно утешало: сохранились призовые кубки и другие награды общества. По счастливому стечению обстоятельств, за несколько дней по пожара их перевезли на квартиру одного из почетных членов общества.

Причину пожара установить не удалось: не исключался поджог со стороны недоброжелателей гребного общества. К тому же летом 1906 г. неизвестные личности уже предпринимали попытку поджога, но тогда она не увенчалась успехом.

Как отмечали после пожара руководители гребного общества, восстановить деятельность ему удастся не ранее чем через два года. Слово свое они сдержали, и даже уложились в более короткий срок: 16 мая 1908 г. С.-Петербургское гребное общество подняло флаг над зданием, построенным на месте сгоревшего. Его возвели по проекту члена клуба – архитектора Е. Эделя. Новые гоночные лодки закупили на судоверфи Класпера и Симса в Англии, а клинкерные и учебные суда привезли из Германии с судоверфи Ф. Лейха.

По состоянию на 1910 г. С.-Петербургское гребное общество насчитывало 125 членов. В общественном пользовании в 1910 г. находилось 26 лодок, а в 1913 г. – уже 31 лодка. Это время отмечено успешным участием членов общества в множестве российских и международных состязаний.