Губернатор наделялся такими широкими полномочиями, каких не имел ни один администратор в британских колониях. Он ведал внешней и внутренней торговлей, имел право раздавать земли по своему усмотрению, командовал вооруженными силами, производил все назначения на должности в колониальной администрации, имел право налагать штрафы, назначать наказания, вплоть до смертной казни, и освобождать от них.

В феврале 1788 г. Филлип впервые осуществил свое право карать колонистов смертной казнью. За кражу масла, свинины и гороха был повешен Т. Барретт. Через два дня за кражу муки смертной казни были приговорены Дж. Фримен и его приятель. Филлип обещал отменить приговор, если Фримен согласится занять должность палача. Последний принял предложение и стал первым государственным палачом в истории Австралии.

Колонисты встретились в Австралии с большими трудностями. Истощенным людям было не под силу валить гигантские деревья и рыхлить каменистую почву. Филлип сообщал в своем отчете, что для двенадцати человек требуется пять дней, чтобы срубить и выкорчевать одно дерево.

У Филлипа были и другие заботы. Через шесть дней после того, как англичане высадились на берег, в Ботани-Бей вошли два французских военных корабля под командой капитана Лаперуза. Следует сказать, что Франция весьма ревниво следила за успехами англичан в Южных морях. Узнав о намерении Англии приступить к колонизации Австралии, французское правительство послало туда Лаперуза, чтобы захватить часть Австралийского материка. Как ни спешили французы, они и здесь отстали от англичан.

Французское правительство не отказалось от намерения создать колонии на территории Австралии. В 1801 г. корабли «Географ» и «Натуралист» под командованием Николаса Бодена исследовали западную часть Австралийского материка. Эти и другие попытки Франции проникнуть в Австралию окончились неудачно, однако они вынуждали англичан торопиться с оккупацией всего Австралийского материка.

Все это было позже, а в 1788 г. приход Лаперуза вызвал волнение среди ссыльных, увидевших реальную возможность бежать из этого казавшегося им гибельным места. Группа заключенных обратилась к французскому капитану с просьбой взять их на корабли. Они обещали за это привести с собой самых хорошеньких женщин из числа каторжанок. Лаперуз отказал англичанам. Но когда французские корабли покинули Ботани-Бей, губернатор Филлип недосчитался двух самых привлекательных женщин колонии. Галантный французский капитан захватил их с собой.

Для обеспечения лучшего надзора за колонистами почти все они были сосредоточены на небольшой территории. Лишь маленькие группы отправились в район Парраматты и на остров Норфолк, где земли были более пригодны для земледелия, чем в Новом Южном Уэльсе. Однако и там Не удалось собрать сколько-нибудь значительный урожай.