Перестройка государственного аппарата была второй, довольно далеко идущей реформой Иосифа, результаты которой, впрочем, разбились о внутренние противоречия монархии. Старый государственный аппарат был недееспособен, а чиновничество продажно. Старое дворянское и происходившее из среды крупной буржуазии чиновничество рассматривало занимаемое положение как дань их благородному происхождению или как средство обогащения. Этот старый чиновничий аппарат надо было заменить новым, который мог бы принять участие в создании и управлении «идеальным» государством Иосифа. Такие новые чиновники могли выйти только из рядов тех, кто в силу своего собственного опыта и своих собственных интересов разделял бы эти просветительные идеи, а не под давлением и по приказу короля. Таким классом могла быть только буржуазия.
Но пока существовала старая автономия земель, пока дворянское сословное собрание могло назначать и контролировать чиновников, пока монархия была разделена на провинции, которые имели свои собственные понятия о праве и своей властью обеспечивали выполнение общественных функций, невозможно было создать новый государственный аппарат и централизованно направлять и контролировать его работу. Даже ограниченная автономия земель в XVIII в. использовалась реакцией в своих целях.
Это соображение руководило Иосифом, когда он решил провести в Австрии ряд мероприятий. Австрийская монархия была разделена на тринадцать областей: Галицию, Чехию, Моравию, Нижнюю Австрию, Внутреннюю Австрию, состоявшую из Штирии, Каринтии и Крайны, Внешнюю Австрию (швабские владения), Трансильванию, Венгрию с Банатом, Хорватию, Ломбардию, Нидерланды, Гёрц и Градиск с Триестом.
Земли управлялись наместниками, подчинявшимися центральной администрации и имевшими в своем подчинении определенное число государственных чиновников. Все прочие инстанции земель были упразднены как политические учреждения. Венгерскую и чешскую короны Иосиф велел передать в Венский музей.
В отличие от Франции, представлявшей собой страну с единой национальностью, Австрия была страной многонациональной, причем у некоторых из входивших в ее состав народов было весьма развито национальное самосознание. Венгрия боролась за свои права на свободу, Бельгия продолжала ревностно защищать свою свободу — сначала от Испании, потом от Австрии; Галицию совсем недавно оторвали от Польши. Процесс, который сознательно ускоряли Мария Терезия, а позже Иосиф, то есть процесс развития мануфактурного производства и роста буржуазии, привел к усилению роста национального — самосознания в этих землях. Именно новые буржуазные идеи — принципы свободы, право на самоопределение и, наконец, право на контроль, на участие народа в управлении государством — укрепляли решение населения этих земель защищать собственную, хотя бы и относительную свободу. Централизация же, осуществленная Иосифом в австрийских условиях, практически ограничила именно права нации на свободу.