На этот раз местом его пребывания стал Санкт-Петербург, где он жил на нелегальном положении с 1907 по 1910 год. В это время у него наметились расхождения с большевиками. В трудные годы после подавления революции 1905 года Гастев, как и многие другие активисты, стал разочаровываться в партийной политике; особенно его не устраивали попытки выходцев не из рабочего класса – независимо от их фракционной принадлежности – возглавить рабочее движение. Он сосредоточился на содействии самоорганизации рабочего движения и на писательской деятельности. Поработав слесарем на нескольких предприятиях, он в 1908 году устроился водителем трамвая на маршрут № 2 – от Новой Деревни на Выборгской стороне до Невского проспекта. В 1907 году он помогал создавать рабочие клубы по месту работы и участвовал в их работе, а занимался организацией петербургского профсоюза металлистов (учрежденного в мае 1907 года), в правление которого входил. Подчеркивая свое расхождение с партийной политикой, вышел из партии большевиков в 1907 или 1908 году, примерно в то время, когда атаке подверглись различные диссидентские группировки внутри партии, в том числе те, которые выступали за более строгую ориентацию на рабочих, и вряд ли это случайное совпадение.

В 1910 году Гастев вернулся в Париж, где жил в колонии русских рабочих и работал металлистом на различных заводах. Он стал секретарем Русского рабочего клуба, активно участвовал в работе его литературной секции, вступил в русское подразделение Профсоюза металлистов Франции и благодаря этому увлекся идеями синдикализма. Кроме того, он все больше отдавался писательству. Он тяготел к поэзии, предпочитая свободную форму стихотворения в прозе или рифмованной прозы. Его произведения часто публиковались в профсоюзных и партийных изданиях (особенно в «Правде»), а также в сборниках пролетарских авторов. В 1912 году он вступил в кружок пролетарской культуры (известный также как Лига пролетарской культуры), основанный А. В. Луначарским, где познакомился с другими рабочими писателями, получил возможность читать свои стихи, участвовать в дискуссиях о пролетарской литературе. Среди членов кружка были также Ф. Калинин (сменивший Луначарского на посту секретаря Лиги), П. Бессалько и М. Герасимов.

По возвращении в Россию в 1913 году Гастев снова устроился на завод слесарем, однако через шесть месяцев пребывания на нелегальном положении был выдан полиции провокатором. Его арестовали и сослали на четыре года в удаленный поселок Нарым в Сибири, откуда он бежал в 1916 году и поселился в Новониколаевске (ныне Новосибирск). Работал в мастерских и одновременно сотрудничал как корреспондент с газетой «Голос Сибири», а в 1917 году недолго занимал пост ее редактора. После падения монархии в феврале 1917 года была объявлена амнистия, и весной 1917 года Гастев вернулся в Петроград, снова стал работать слесарем и активно участвовал в профсоюзном движении. Был избран в руководство восстановленного Союза рабочих-металлистов и стал одним из общероссийских профсоюзных лидеров.