Как раз тогда, когда Кеннеди увольнял в отставку Даллеса, которого обвиняли в том, что в результате его легкомыслия и доверчивости провалился план вторжения на Кубу, а США оказались в унизительном положении, был введён в действие построенный именно по инициативе Даллеса комплекс зданий ЦРУ в районе местечка Лэнгли в штате Вирджиния, примерно в 15 километрах от границы Федерального округа Колумбия — столицы страны Вашингтона (формально части города, выходящие за пределы федерального округа, носят другие названия, в столицу не входят и относятся к соседним штатам Мэриленд и Вирджиния). Удобный и красивый комплекс, расположенный на берегу реки Потомак, Даллес считал своим детищем, и это было именно так. По его поручению в центральном вестибюле были выгравированы слова из Евангелия от Иоанна: «И познаете истину, и истина сделает вас свободными» (Ин. 8:32). В новом здании Даллесу работать не пришлось. Но сотрудники ЦРУ, сохранившие уважение к своему многолетнему руководителю, выступили инициаторами создания настенного медальона с его портретом, который вскоре появился в вестибюле. Он сопровождается надписью: «Si monumentum requires sircumspice», что означает «Если вы ищете его памятник, оглянитесь вокруг».

Внешне расставание Кеннеди с директором ЦРУ, который, по его мнению, провалил операцию против Кубы, было обставлено дружески. Формально Даллеса не увольняли, а он сам уходил в почётную отставку. 28 ноября 1961 года вслед за приёмом Даллеса Кеннеди вместе с ним отправился в новую штаб-квартиру управления в Лэнгли. Там он официально попрощался с Алленом и выступил перед сотрудниками ЦРУ, не жалея добрых слов как по адресу управления, так и прямо обращённых к личности Даллеса. Президент говорил: «О ваших успехах нигде не говорят, а о ваших неудачах трубят повсюду. Ясно, что вы не можете говорить о тех операциях, которые идут хорошо. Те же, которые идут плохо, обычно сами говорят за себя... Я уверен, что вы понимаете, как важна ваша работа, и как она нужна, и как высоко будут оценены в далёком будущем ваши усилия. Поэтому хочу выразить вам сейчас свою благодарность и уверенность в том, что и в дальнейшем, так же, как и прежде, вы будете оправдывать высокую оценку, которую даёт вам наша страна»⁵⁴⁰.

Позже Даллес цитировал эти слова Кеннеди в качестве похвалы не только всем сотрудникам ЦРУ, но прежде всего самому себе⁵⁴¹. Но тогда ему было очень горько расставаться с той организацией, которой он руководил немало лет, добившись хорошего, по его мнению, функционирования главной области, для которой, собственно говоря, и было предназначено ЦРУ, — сбора надёжной информации по всем вопросам, важным для обеспечения безопасности США.