После его ухода в мае 1968 года его преемник, генерал Герхард Вессель, назначению которого Гелен безуспешно пытался помешать, постепенно реорганизовал БНД. Когда в 1970 году к власти пришла коалиция СДПГ и СвДП, в Пуллахе была проведена еще одна чистка. Были уволены почти все бывшие эсэсовцы и гестаповцы. На ответственные посты назначили нескольких функционеров из руководства социал-демократической партии. Таких, например, как Дитер Блотц, сорокалетний глава Гамбургского комитета СДПГ. Его сделали заместителем генерала Весселя. Были заменены все начальники управлений. Руководство самым важным Первым управлением, которое занималось сбором разведданных и контролировало все резидентуры и агентов, перешло в руки доктора Рихарда Майера, ранее возглавлявшего управление контрразведки федерального Ведомства по охране конституции. Начальником административного управления, в ведении которого находятся подготовка, связь, безопасность и знаменитые архивы Гелена, был назначен еще один социал-демократ, бывший начальник департамента высшего образования города Гамбурга. Самым интересным было назначение Роберта Борхардта начальником Третьего управления, занимавшегося анализом разведданных. До войны, в молодости, он изучал ботанику. Несмотря на нацистские расовые законы — Борхардт был наполовину евреем, — его призвали в вермахт. За доблесть, проявленную на Восточном фронте, он был произведен в офицеры и награжден Железным крестом. После войны Борхардт стал журналистом одной мюнхенской газеты, а затем чиновником Министерства иностранных дел. Он работал в посольстве ФРГ в Вашингтоне в должности пресс-атташе, а затем начальником отдела прессы Министерства иностранных дел.

Гелен, должно быть, поперхнулся, узнав о том, кто сменил его бывших абверовских коллег. В течение трех лет после ухода в отставку он соблюдал обет молчания и лишь изредка покидал свою виллу, чтобы искупаться в озере или побывать на концерте в Мюнхене. Его уделом стало почти полное забвение, и тут вдруг осенью 1971 года один германский издатель объявил о том, что он приобрел права на издание мемуаров генерала Гелена и выставляет на аукцион права на их перевод.

Через непродолжительное время стало известно, что его американский коллега предложил за эксклюзивное право один миллион долларов. Гелен не устоял перед этим заманчивым предложением, хотя ранее дал клятву, что его мемуары будут опубликованы лишь через двадцать пять лет после его смерти. Была и еще одна причина. После его ухода в немецкой прессе появились статьи с суровой критикой его деятельности. Возможно, он посчитал своим долгом дать отповедь критиканам. Но достиг ли он этой цели? Этот вопрос остается спорным. Его мемуары отличает полное отсутствие каких-либо документов.