Стевен пытался вербовать рабочих людей в Петровской слободе, Зуе, Султановке и других степных русских поселениях. Но люди были заняты своей землей. Стевен испрашивал разрешения купить людей у помещиков и поселить их вольно на близлежащих землях, обязав работать в саду. Какие-то «высшие» соображения начальства помешали Стевену осуществить этот план.
После долгих переговоров губернатор обещал пригнать нескольких рабочих. Рабочие эти были партией арестованных. Оборванные и голодные, прибыли они в Никиту с севера и сразу же дали понять Стевену, что работа им не подходит. Они были голодны и смотрели тем особым ненавидящим жадным взором, каким смотрят очень изголодавшиеся люди на сытых. Стевен их накормил, и они немного притихли, но это не значило, что их можно было заставить работать. Их отправили в Никиту потому, что тюрьма была переполнена. Но они вовсе не намерены были здесь оставаться и не скрывали своего желания бежать, как только насытятся и отоспятся. Стевен должен был отвечать за каждого из этих людей. Он писал дюку Ришелье, что на работах осужденные «ни малейшей пользы не приносят». Во что бы то ни стало надо было от них избавиться. Впрочем, некоторые из присланных пытались приступить к работе, но она была им не под силу. Мускулы этих несчастных так же давно не знали упражнений, как их желудки сносной пищи. Большинство страдали от всевозможных болезней. Их трясла лихорадка. Стевену приходилось лечить без лекарств и откармливать своих рабочих, не имея никаких запасов продовольствия. При таких условиях нечего было и думать о планомерных работах в саду.
Наконец Стевену удалось купить баркас. Эта старая утлая лодка казалась ему спасением. Вряд ли Робинзон в такой же мере радовался своему первому челну. Но баркас разбило бурей.
Тем временем наступила зима с горными заносами и штормами. В эту пору южный берег оказывался вовсе отрезанным от губернии, а с рабочими становилось особенно трудно. Было от чего прийти в отчаяние и опустить руки. Но Стевен не мог отступать: раз опыт начат, нужно довести его до конца.
Он писал своим друзьям о Никитском буруне, называя его «лагерем скорби», и продолжал начатое дело. Он не терял драгоценного для садовода осеннего времени и работал с маленьким отрядом местных людей: перекапывал землю, чистил участки от бурелома, пересаживал сосновый молодняк с яйлинских высот.
Стоило многих усилий обзавестись крышей для жилья, библиотечки, гербария.
Дом был поставлен на той самой площадке, где росло знаменитое дерево. Так хотелось Стевену. «Патриарх», казалось, был вдохновителем трудов, опорой его и советником. Может быть, он сообщал Стевену тайны вскормившей его почвы и рассказывал о тех прекрасных деревьях, которые некогда составляли его общество и исчезли с незапамятных времен. Почему бы им не быть здесь снова?