Фон Шляйхер был несколько удивлен, но условия принял.

Затем Канарис взял пятимесячный отпуск и стал готовиться к предстоящей работе. В апреле 1924 года он попросил командировать его в Японию, куда выехал на борту судна «Рейнланд». Судно бороздило моря и океаны в течение шести месяцев, останавливаясь в портах. По пути Канарис завербовал агентов в Греции, Египте, голландской Индонезии, Японии, Южной Африке и привез бесценную информацию. Фон Шляйхер отметил его успехи, назначив в ноябре 1924 года на работу в штаб военно-морского флота в Берлине.

В Берлине Канарис продолжал активную работу, создавая агентурные сети в Румынии, Польше, Чехословакии, Венгрии, Финляндии, Испании и Марокко. Затем в 1928 году он вышел с предложением заменить его временно Катценером, чтобы не вызывать подозрений английской и французской разведок, и был назначен командующим крейсера.

Взлет на вершины власти национал-социалистов его тяготил, вызывал опасения относительно будущего Германии. 17 августа 1928 года, находясь в Берлине, он сказал в присутствии группы офицеров: «То, что делает Гитлер, — безумие. Он рискует разрушить все, что нам удалось добиться за границей — престиж, уважение к Германии. Теперь нас опять будут бояться».

Но военное командование не разделяло эту точку зрения — оно считало, что манипулирует Гитлером, обыкновенным агитатором. В 1930 году, когда нацисты получили на выборах 6,5 миллиона голосов избирателей и заняли 107 мест в рейхстаге, вспомнились слова фон Шляйхера, сказанные Канарису, что гитлеровцы вовсе не опасны и что военные крепко держат его в кулаке. Гитлера они прозвали барабаном и надеялись, что вернут эту лошадку в стойло, когда «версальские собаки» перестанут лаять.

Канариса раздражали эти домыслы, он утверждал: «Гитлер испортит нам отношения со всеми странами, мы не сможем завоевать их сердца. Угрозы со стороны Гитлера заставят союзников крепить оборону, они опять сожмут кольцо вокруг Германии».

Канарис на этом не успокоился, его отношение к нацистам было непримиримым — он стал противодействовать ячейкам нацистов в армии и Генштабе и открыто выступил против своего будущего начальника генерала Бека. Канарис послал ему очень жесткое письмо: «Перед лицом всего мира вы дискредитируете офицерский корпус немецкой армии, который в течение последних двенадцати лет успешно, благодаря неимоверным усилиям, восстанавливает военную мощь Германии. Надеюсь, что Генштаб не пожалеет о своем решении, внедряя в рейхсвер сомнительные отряды милиции, которыми командуют авантюристы».