Действуя довольно беспардонно, противники Гелена постарались использовать против него даже его заурядную внешность, словно она могла оказать влияние на его характер или его деятельность, прошлую или будущую. Печатный орган СЕПГ опубликовал заметку в стиле «Разыскивается полицией», используя описание Гелена из досье Министерства государственной безопасности ГДР: «Рост: 1 м 70 см. Телосложение: худощавое. Лицо: овальное, худое. Волосы: мышиного цвета, редкие. Нос: заостренный. Рот: тонкий. Глаза: водянистоголубые. Усы: мышиного цвета а-ля Гитлер. Похож на банковского служащего; обычно носит тирольскую фетровую шляпу с зеленой лентой, поношенную и засаленную, и старую спортивную куртку или шинель».

После ухода Гелена в отставку о нем почти не было слышно. В 1967 году, несмотря на сильные возражения в бундестаге и критику в прессе, канцлер Кизингер по просьбе Гелена продлил его срок службы еще на один год, хотя последний уже достиг пенсионного возраста в 65 лет. Через год Гелен обратился к Кизингеру с подобной же просьбой. Однако на сентябрь 1969 года были назначены парламентские выборы, и Кизингер, не желая рисковать потерей голосов из-за такой одиозной фигуры, сказал Гелену, что ему все-таки придется уйти. Гелен все же надеялся сохранить свой контроль над БНД и начал усиленно проталкивать кандидатуру генерал-майора Хорста Вендланда в качестве своего преемника, но потерпел неудачу. Президентом БНД был назначен генерал Вессель.

Из-за крайне враждебного отношения генерала Бесселя, особенно отчетливо проявившегося после 1954 года, когда последний стал начальником военной контрразведки, Гелен практически прервал все свои контакты с БНД. Да и к тому же победившие на всеобщих выборах социал-демократы сформировали свое правительство, и Вилли Брандт буквально напичкал Пуллах своими людьми. После таинственного самоубийства Вендланда в октябре 1968 года пошли усиленные слухи о его причастности к шпионской деятельности генерала Людке, и Гелен не мог уже больше выполнять роль бывшего высокопоставленного чиновника, неофициального советника при организации, которую он создал и пестовал в течение почти четверти века. Ему пришлось претерпеть дополнительные унижения. Гелена вызвали на заседание следственного комитета, возглавлявшегося статс-секретарем Рейнгольдом Меркером, и стали допрашивать в связи с обвинениями в протекционизме в последний период его пребывания в должности, когда он устроил на работу в Пуллахе десятерых своих родственников, включая сына, двух братьев, двух зятей и нескольких двоюродных братьев. Причем все они занимали ответственные должности.