Про старшую дочь Фомы Палеолога Елену известно, что она умерла в 1474 году. Младшая дочь Зоя вместе с братьями Андреем и Мануилом воспитывались в Риме за счёт папы. Их воспитанием занимался кардинал Виссарион.

В марте 1462 года папа Пий II устроил секретную встречу с шестью наиболее близкими ему кардиналами. Он сообщил им о своём решении возглавить крестовый поход.

В 1463 году умер Исидор Киевский. Новым патриархом Константинополя избирали Виссариона, тем самым не признавая избранного в занятом турками Константинополе патриарха Геннадия Схолария.

Без активного участия Венеции шансов у крестового похода не было. Но пока венецианцам не грозила непосредственная опасность, они не собирались воевать с могущественным соседом. Они договаривались с турками и старались их не провоцировать. Всё изменил переход Боснии в руки турок. Завоевания турками подконтрольных Венеции территорий делало войну Венеции с турками неизбежной. Но это не означало, что европейские правители горели желанием присоединиться к Венеции – своему давнему врагу и сопернику. Чем хуже для Венеции, тем лучше для них. Ненависть к Венеции была неизлечимой.

В июле 1463 году Пий II отослал Виссариона в Венецию. От имени папы Виссарион обещал помощь и убедил венецианцев объявить войну туркам.

20 октября венецианцы торжественно объявили крестовый поход. В течение семи месяцев Виссарион трудится вместе с венецианскими властями над разработкой планов военных действий.

Папа Пий II умер в Анконе. Кардинал Виссарион оказался среди очень немногих деятелей, готовых продолжать войну. Большинство считали смерть Пия II, посланную небом как выход из запутанной и опасной ситуации, так как полагали, что политика Пия II провоцировала турок, впрочем, как и Собор во Флоренции, и подписанная уния. После смерти Пия Венгрия и Венеция решали свои проблемы с турками в одиночестве.

24 августа 1464 года состоялись выборы нового папы. Двадцать кардиналов предприняли попытку ограничить авторитарную власть папы. Кардиналы составили документ, который каждый подписал до выборов. Все поклялись, что если именно его изберут папой, он совершит следующее: продолжит войну с турками, в течение трёх лет соберёт Собор, ограничит в будущем число кардиналов и будет с ними советоваться по основным вопросам.

Если бы соглашения соблюдались, папа превратился бы из всесильного властителя в председателя коллегии кардиналов. Как только Павла II избрали, он вызвал по очереди всех кардиналов и заставил подписать иное соглашение. Виссарион отказался. Когда он стал уходить, папа затащил его обратно в комнату, запер комнату на ключ и стал угрожать отлучением от церкви. В конце концов, Виссарион бумагу подписал.