Многие полагали, что Мельбурн – не самый подходящий наперсник для юной Виктории, мотивируя это его скандальной репутацией. Личная жизнь политика была весьма бурной. В 1805 г. он женился на леди Каролине Понсонби (1785–1828). За два десятилетия супруга порядком опозорила его своими страстными романами. Самый шумный скандал был вызван ее связью с лордом Байроном, который был вынужден положить конец их отношениям, измученный преследованиями и вызывающим поведением дамы. Когда Байрон оставил Каролину, она прямо на балу попыталась «свести счеты с жизнью», воткнув себе в грудь маникюрные ножницы. Историю этой любви леди Мельбурн описала в романе «Гленарвон» (1816), выведя под этим именем великого поэта. Приходится лишь удивляться, что Каролина получила развод только в 1825 г. Между тем, избавившись от сверхтемпераментной жены, Мельбурн сам дважды стал причиной распада других семей, сопровождавшегося шумными судебными процессами: обе его возлюбленные, леди Брендон и леди Нортон, были отвергнуты оскорбленными мужьями. Однако королева, наслышанная о его прошлом, относилась к нему очень снисходительно, хотя уже в юные годы в вопросах морали занимала неизменно твердую, если не жесткую позицию.

Кроме того, у Мельбурна была репутация человека весьма жестокого, презирающего чернь. По его инициативе на принудительное поселение в Австралию обрекались все, кто осмеливался протестовать против любых, даже самых несправедливых, общественных установлений. Среди его жертв были и так называемые «толпаддлские мученики» – Джордж и Джеймс Лавлессы, Джон и Томас Стэнфилды, Джеймс Брайн и Джеймс Хэмметт. Эти шестеро жителей деревушки Толпаддл в графстве Дорсет в 1834 г. осмелились попросить работодателя, чтобы тот платил им не семь, а девять шиллингов в неделю. За эту смелость все они были приговорены к пожизненной ссылке в Австралию. Возможно, именно благодаря влиянию Мельбурна Виктория сделалась малочувствительной к страданиям простого народа. Раз Бог создал и бедных, и богатых, не людям менять установленный порядок вещей.

Мельбурн был вигом, и в начале царствования Виктория выказывала явное предпочтение его партии. Когда же политические противники вынудили его подать в отставку, королева нарочито холодно приняла лидера тори Роберта Пиля (1788–1850), которому надлежало сменить Мельбурна и сформировать новое правительство. Более того, королева категорически отказалась допустить в придворный штат супруг членов нового кабинета. Упрямство Виктории вызвало правительственный кризис, вернувший к власти вигов, и лорд М. занял свое прежнее положение. Его влияние на Викторию оставалось огромным, но пошло на убыль после того, как она вышла замуж: любовь к Альберту затмила все прежние привязанности королевы. Когда старый политик вторично подал в отставку, Виктория уже не стала бороться за его возвращение. Тем более что и сам Мельбурн, и принц Альберт, высоко ценивший Пиля, призывали ее изменить свое мнение о будущем премьер-министре. Принц ценил его ум и доброе сердце (Пиль продемонстрировал эти качества в середине «голодных сороковых», ратуя за создание общественного фонда в пользу умиравших от голода ирландцев), а Мельбурн, несмотря на различие их политических взглядов, считал Пиля абсолютно порядочным, благородным и мудрым человеком.