Сергей Григорьевич, озабоченный своим замыслом, несколько лет подряд убеждал своего соседа продать принадлежавшую тому часть дома, предлагая царскому повару довольно крупную сумму денег. Однако Шестакову не хотелось покидать обжитой дом и налаженное годами хозяйство. Он каждый раз решительно отказывался от заманчивых предложений барона, несмотря на то что С.Г. Строганов всякий раз существенно увеличивал предлагаемую за выкуп части деревянного дома щедрую сумму полновластных царских золотых червонцев. И все же камергер реализовал свой замысел и построил в столице дворец, ставший родовым гнездом Строгановых.
В данном случае Сергею Григорьевичу «помогло» то ли провидение, то ли очередной губительный пожар в Северной столице.
Обоюдное домовое владение неожиданно выгорело во время пожара на Невской перспективе. Современники с удивлением отмечали, что приехавший на пожар барон Строганов, глядя, как пламя пожирает деревянное строение, вдруг громко рассмеялся и с удовлетворением воскликнул: «Ну, наконец-то!» Повар Шестаков переехал с пожарища на новую квартиру, а Строганову досталось огромное пепелище – расчищенная огнем вожделенная строительная площадка, пригодная для возведения престижного дворцового особняка. Сразу же после пожара, в марте 1753 г., Сергей Григорьевич договорился с архитектором Ф.Б. Растрелли о проектировании и возведении здесь особняка дворцового типа и осуществлении регулярного наблюдения за ходом строительных работ.
О происшедших событиях в столице в марте 1753 г. Сергей Григорьевич писал на Урал своему сыну Александру: «Наш деревянный петербургский дом сгорел до основания, и на том месте я уже начал строить новый, и такой огромный, и с такими украшениями, что удивления достойно…» Одного из богатейших российских предпринимателей того времени мог устроить в Северной столице только роскошный особняк дворцового типа.
Проект собственного дворца барон С.Г. Строганов неслучайно заказал именно придворному зодчему Ф.Б. Растрелли. Участие в строительстве частного здания этого знаменитого мастера, находящегося в зените своей славы, отнесли в Петербурге к особым и довольно редким случаям. Работа на частного заказчика императорского архитектора в те годы практически исключалась. Императрица Елизавета Петровна, несмотря на чрезвычайную загруженность своего придворного архитектора, памятуя о заслугах перед престолом династии Строгановых, тогда лично милостиво дозволила участие Ф.Б. Растрелли в работе по проектированию и наблюдению за строительством дворца камергера С.Г. Строганова на Невском проспекте.