В своей «Хронике первосвященников» (Liber de vita Christi ac omnium pontificum) итальянский гуманист и современник описываемых событий Бартоломео Платина утверждает, что идея собрать конгресс в Мантуе принадлежала Виссариону. На повестке дня был один вопрос – крестовый поход. В планах Пия II и Виссариона было организовать конгресс не менее значимый, чем Собор в Констанце. При этом и папа, и участники встречи старательно избегали называть высокое собрание Собором.

К величайшему разочарованию Пия и Виссариона правители Европы на конгресс не приехали. От полного фиаско собрание спас приезд в Мантую миланского герцога Франческо Сфорца. Следуя его примеру, на встречу прибыли и некоторые другие итальянские правители. Пий II объявил крестовый поход. Все, кто будет служить в армии, получали индульгенции. Все монастыри обязывались содержать хотя бы одного война на каждые десять монахов. Кардинал Виссарион работал над составлением конкретного плана крестового похода. Он производил подсчёты войск и оружия, организовывал сбор десятины и назначал проповедников в войска.

Пий II не оставлял надежды склонить к крестовому походу Фридриха III, а потому он отправил Виссариона в Германию договариваться с

императором. Виссарион проделал тяжелейший переход через зимние Альпы. В германских городах он выступал с блестящими речами. Германия молчала.

В мае 1460 года Виссарион прибыл в Вену. Как знак особого доверия Фридрих III пригласил Виссариона стать крёстным отцом своего сына Максимилиана. На этом доверие закончилось. Императору было не до крестового похода. Он воевал со своим с младшим братом Альбрехтом, и Вену окружили войска противника. Из-за осады Виссарион долго не мог покинуть город. В сентябре 1461 года Виссарион вернулся в Италию ни с чем.

В 1460 году турки завоевали Морею, а в мае 1460 года пала Мистра. В августе 1461 года пал Трапезунд. Ещё одна христианская империя разрушилась под ударами мусульман.

В 1460 году брат погибшего императора Дмитрий Палеолог сдался туркам. Ему назначили пенсию, а дочь взяли в гарем. По некоторым источникам сам Дмитрий Палеолог удалился в монастырь, где и проживал до конца жизни.

В июле 1460 года в Италию вместе с женой и детьми прибыл другой брат погибшего императора – Фома Палеолог. Виссарион подсказал Фоме привезти с собой реликвию, череп апостола Андрея. Приобретение Италией бесценной реликвии Пий II считал самым важным событием за время своего понтификата. По словам верующих, апостол Андрей смог воссоединиться со своим братом апостолом Петром.