В 1901 году Калинин был арестован за связь с подпольной группой студентов и рабочих, которые готовили убийство губернатора Ярославля. После 15 месяцев одиночного заключения он был сослан в Архангельскую губернию, в 1904 году вернулся в родную деревню под надзор полиции. Во время ссылки вступил в РСДРП и проявил склонность к большевизму. В конце 1904 года, после снятия ограничений, переехал в Александровск, на юг России, поступил на ткацкую фабрику и активно включился в социалистическое рабочее движение. Во время революции 1905 года он был одним из руководителей восстания в городе, которое привело к созданию недолго просуществовавшей Александровской республики, президентом которой был избран Калинин. В конце 1905 года его арестовали, и он провел два с половиной года в Бутырской тюрьме в Москве.

Выйдя из тюрьмы в марте 1908 года, вместо того чтобы отправиться в ссылку во Владимирскую губернию, получил от партии большевиков фальшивый паспорт, благодаря этому остался в Москве и работал в местном комитете большевиков. В 1909 году партия направила его в Италию для учебы в новой школе, основанной левыми большевиками А. А. Богдановым, А. В. Луначарским и Максимом Горьким на вилле Горького на Капри, а затем в партийной школе в Болонье. Вскоре после возвращения в Россию его личность была установлена, и, чтобы избежать ареста и ссылки, он бежал в 1912 году во Францию, где жил до 1917 года. Работал на деревообрабатывающем и авиастроительном заводах в Париже, продолжал заниматься самообразованием, в чем его поддерживали другие рабочие интеллигенты и Луначарский.

Во Франции Калинин начал писать и приобрел уникальную репутацию «рабочего философа». В течение нескольких лет он публиковал статьи, уделяя много внимания проблемам пролетарской культуры, в «Новом журнале для всех» и в эмигрантской партийной прессе, чаще в большевистском журнале «Вперед!». Он вступил в кружок пролетарской культуры, созданный Луначарским в Париже, и вскоре был назначен его секретарем. Там он часто встречался с другими рабочими писателями, прежде всего с П. Бессалько, М. Герасимовым и А. Гастевым. В мае 1917 года он вернулся в Россию и стал, наряду с Гастевым, одним из руководителей Петроградского союза металлистов.

В середине октября 1917 года вместе с Луначарским, Бессалько и другими Калинин сыграл ключевую роль в созыве съезда Пролеткульта. Его избрали в Центральный комитет Пролеткульта, работал он также редактором журнала «Пролетарская культура», а нарком просвещения Луначарский предложил ему возглавить отдел Пролеткульта в Наркомате просвещения. В последние годы он написал и опубликовал много статей по проблемам культуры, литературы и искусства. Умер от тифа в феврале 1920 года в Москве[531].