Трудно также сказать, до какой степени свободно именно к Варбеку могли приходить посетители. По всем меркам этикета того времени, было бы немыслимо, чтобы супруга Варбека, леди Катерина, не наносила бы мужу регулярные визиты. Тем не менее, после побега Варбека, леди Катерина была наказана: количество её прислуги было уменьшено от шести человек до одного. Точно так же, к слову, Ричард III наказал после восстания Бэкингема леди Маргарет Бьюфорт (меньше прислуги — меньше интриг). Да и содержание ей прекратили выплачивать, возобновив выплаты только после смерти Варбека. Было бы логично предположить, что и её передвижения по Лондону были ограничены. Известно только одно имя — Уильям Ланде, капеллан Варбека, регулярно ходивший к нему, чтобы отслужить мессу. Конечно, интересно, почему Ланде было позволено так свободно активничать не только в Тауэре, но и в королевском дворце (он был исповедником супруги Варбека, леди Катерины), но в те времена духовные лица довольно смело пользовались своими свободами.

В Тауэре было два вида заключенных: пользовавшиеся «свободами Тауэра», включавшими прогулки и отсутствие постоянного присмотра, и те, где пленников сторожили, буквально находясь в одной с ними комнате. Тем не менее, никто из этих пленников никогда не был в цепях — кроме Варбека. Более того, на нём были как ножные кандалы, pedenae, так и кандалы на теле, включающие кольцо вокруг шеи, cathenae. Поскольку в Англии того времени даже узники тюрьмы Ньюгейт не сидели, как правило, в цепях, дело явно было именно в чрезвычайном раздражении Генри VII после дурацкой попытки предпринятого побега летом 1498 года. Или ещё в чем-то, но об этой возможности позже.

Охранниками Варбека были четыре человека: уже упоминавшийся Томас Эствуд, Уолтер Блюэт, Томас Стрэнджуэй, и Роджер Рэй — все под командой лейтенанта Тауэра Саймона Дигби (титул коннетабля носил де Вер). Как ни странно, двое из них были по своим симпатиям йоркистами. Томаса Этвуда не повесили в 1495 года только потому, что пожалели из-за молодости. Роджера Рэя в 1494 году даже арестовали по подозрению в изменнической деятельности, но он, по какой-то причине, не только не был осужден, но даже взят обратно на работу. Был ли капитан Тауэра, сэр Саймон Дигби, скрытым йоркистом? Отнюдь нет. Его отец и четверо братьев погибли при Таутоне, сам Дигби служил Йоркам, но при Босуорте сражался на стороне Генри VII. Так что его правильнее назвать оппортунистом. Возможно, оппортунистом он посчитал и Рэя.

Тем не менее, заговор по освобождению Варбека и Уорвика отнюдь не начался внутри Тауэра. Ещё в феврале 1498 года, до побега Варбека, лондонский галантерейщик Томас Финч показывал своим друзьям Клеймонду и Эствуду некое пророчество, что вскоре «медведь перекусит свою цепь» (намек на герб Уорвиков), и выразил надежду, что услышит ещё, как народ на Чипсайде кричит “A Warwick! A Warwick! A Warwick!”, и затем передал для Эдварда Уорвика, через Клеймонда, перчатки и горшочек с имбирной приправой. Летом же 1499 года, когда Эствуд был уже охранником и Варбека, и Уорвика, служащий Уорвика Джон Вильямс представил его графу. Как и следовало ожидать от юноши «простого умом», тот кинулся Эствуду на шею со словами: как прекрасно, что у него теперь есть такой особенный друг.