Занавес для него упал, когда в начале марта 1894 года он вручил королеве свое прошение об отставке. Она приняла его в хорошем расположении духа и, казалось, ничуть не огорчилась такому повороту событий. «Мистер Гладстон ушел, — со смехом сказала она архиепископу Кентерберийскому. — Исчез в одно мгновение». Равнодушие королевы, которая не попыталась выразить хотя бы формальное сожаление или поздравить его, глубоко расстроило Гладстона. Он прошел долгий и трудный путь, но так и остался для нее всего лишь рабочей лошадкой. На очередном заседании кабинета министров он сообщил коллегам о своем решении. Они заметно пали духом, а некоторые даже прослезились, но их уныние не тронуло его. Лишившись своего бессменного капитана, корабль некоторое время плыл по течению: в партии не нашлось никого, способного взять руководство на себя.

15 марта лорд Роузбери отправился в Виндзор, чтобы поцеловать руку королеве. Он понравился ей, хотя ее не слишком интересовала партия, которую он представлял. Роузбери имел одно преимущество: в глазах королевы он выглядел наименее неприятным из всех либералов. Она сказала только, что «не возражает против либеральных мер, если они не несут в себе ничего революционного, и уверена, что лорд Роузбери не собирается уничтожать испытанные временем, важные и необходимые институты». Роузбери был вигом non plus ultra и считал консерваторов вульгарными, а на либералов не такого высокого происхождения смотрел с рассеянной симпатией. Он привлек внимание и завоевал восхищение всей страны, сумев разобраться с долгой и сложной забастовкой шахтеров. Именно поэтому выбор пал на него. В кабинете министров он подавал большие надежды, но теперь, оказавшись на пике своей карьеры, вдруг растерялся. Он не очень хорошо понимал, что ему делать. Его предшественник настолько подавлял свою партию, что они почти не обсуждали серьезные политические вопросы. И все же Роузбери был остроумен и красноречив и обладал завидным умением вставить в нужный момент подходящее слово. Его манеры и костюм целиком и полностью принадлежали 1890-м годам. Он ничем не напоминал Гладстона, Дизраэли или даже Солсбери. Он выглядел солидно или хотя бы надежно. В нем даже было нечто кокетливое, а о его отношениях с личным секретарем, старшим сыном маркиза Куинсберри, ходили странные слухи.

Выходя из себя, он становился раздражительным и беспокойным. Журнал Spectator назвал его «премьер-министр — бабочка, эфемерная по своей сути». Правительство Роузбери просуществовало всего 15 месяцев. Бремя должности оказалось для него слишком тяжелым, и он совершил непростительную ошибку, заявив, что «большинство членов парламента, избранных непосредственно от Англии, враждебно относятся к самоуправлению Ирландии». Это означало, что последние полтора года лихорадочных переговоров и политического планирования, по сути, прошли впустую. В новом премьер-министре не было огня и боевого задора. Он никогда не знал, чего он на самом деле хочет, и изливал на других людей ту досаду, которую испытывал по отношению к самому себе. Кабинет при нем находился в вечной нерешительности и смятении. Премьер-министра считали одновременно и слишком отчужденным, и слишком легкомысленным. Говоря о себе в официальном третьем лице, он сообщил королеве: «Лорд Роузбери в настоящее время заперт в парламенте, почти единодушно выступающем против его пребывания на посту министра, и с политической точки зрения с тем же успехом мог бы находиться в лондонском Тауэре». Он вряд ли мог преуспеть: он был излишне чувствителен, склонен к паранойе и слишком остро реагировал на критику оппозиции. «Как премьер-министр, — сказал Роузбери королеве, — он находится в более прискорбном положении, чем любой другой человек, когда-либо занимавший этот высокий пост». Его мучила бессонница: поглощенный раздумьями и тревогами, он иногда не мог уснуть всю ночь напролет. «Я не гожусь для человеческого общества», — признался он своему коллеге. Это было крайне неподходящее для премьер-министра качество, однако чувство долга заставляло его двигаться вперед.