9 августа 1930 года отец Амвросий был без всяких оснований на то арестован, сидел в тюрьмах Боровска, Калуги и Тулы, затем Самары и Томска, а отсюда по этапу отправлен был в Семипалатинск. Там выпустили, велели искать жилье, работу и приходить отмечаться каждые десять дней. Отец Амвросий сначала был истопником в ФЗУ, потом нашел место регента в храме, где настоятелем был тоже ссыльный священник. Тут он создал замечательный хор, и многие к нему просились, особенно ссыльные монахини. Жил он на квартире у одной певчей. Так прошли три года ссылки, присужденные ему.
Отец Амвросий вернулся в село Иклинское, где служил непрерывно до 1940 года, а с этого года до конца 1941-го службы не было, так как непомерно велик был налог. Отец Амвросий вынужден был обзаводиться приусадебным хозяйством и даже работать в колхозе. Во время войны село переходило от наших к немцам и обратно несколько раз и все в нем было разбито и погорело. Разрушена была и церковь. Сгорел и дом отца Амвросия. На праздник Благовещения 1942 года батюшку пригласили служить в село Спас-Прогнань, где ему уже случалось время от времени послужить. А теперь настоятель храма отец Владимир Замятин скончался. В ответ на прошение прихожан патриарший местоблюститель митрополит Сергий прислал назначение отцу Амвросию быть «служителем культа в селе Спас-Преображенья, иначе называемое село Спас-Прогнань Угодско-Заводского района Калужской области». С 1 марта 1942 года и до конца жизни батюшка служил здесь. Храм был трехпрестольный: главный в честь Преображения Господня, второй — великомученика Георгия, третий — Благовещения.
Он не разрешал проводить в храм электричество — были свечи и лампады. В приходе этого храма было девятнадцать деревень. Но первое время на службах молящихся было маловато. Отец Амвросий служил требы, хотя это и запрещалось: тайно ходил отпевать, причащать, соборовать, панихиду на кладбище отслужить. Об этом кто-то доносил властям, его «строго предупреждали», но он отговаривался тем, что он по старости лет не помнит предупреждений, да и вообще не знает, чего нельзя… Пожарные хотели закрыть храм, так как не нашли в нем ни одного огнетушителя… И тут он сумел обезоружить их своей простотой. Прихожан становилось все больше. А к шестидесятым годам образовалась при храме женская монашеская община. Совершать постриги разрешил отцу Амвросию Патриарх Алексий I.
Игуменьей этой монашеской общины была матушка Серафима (Шошина Мария Семёновна), восприемница всех дальнейших батюшкиных постригов. Она приехала в Спас-Прогнань к отцу Амвросию и стала у него алтарницей.