После прихода к власти большевиков Иосиф Ермольев покинул Москву и перебрался в Крым, находившийся под контролем сил, стремившихся к свержению новой власти. Администрация генерала Деникина, а затем генерала Врангеля покровительствовала предпринимателю, создавшему в 1918 году свое кинопредприятие в Ялте. Ермольев назвал это предприятие филиалом своей компании, но на самом деле московской компании уже не существовало — она была национализирована правительством Ленина. Что же касается ялтинской компании, то и она просуществовала недолго. Предвидя захват Крыма большевиками, Ермольев в феврале 1920 года покинул Россию и через Константинополь отправился во Францию.

Обладая немалыми средствами, унаследованными от отца, которые предусмотрительно были размещены в западных банках, Иосиф Ермольев обосновался в пригороде Парижа Монтройе, где учредил свое Русское кинематографическое общество, которое до лета 1922 года выпустило около сорока фильмов — как коротко-, так и полнометражных. В середине 1922 года Ермольев перебрался в Германию, не порывая связей с Францией, где работали в кинопромышленности его друзья и компаньоны Александр Каменка и Ной Блох, также эмигрировавшие из России. Ермольев создал свою компанию в Мюнхене, работавшую там до 1928 года.

Особым успехом эта фирма не пользовалась. До 1928 года она выпустила несколько фильмов на немецком языке, которые едва окупали затраты, а некоторые были убыточными. Правда, попытка государственного переворота Гитлера, происшедшая как раз в 1923 году и именно в Мюнхене, на деятельности Ермольева не отразилась. Но все большее усиление политической напряженности в Германии, активизация нацистской партии, особенно усилившаяся в конце 1920-х годов, заставили предпринимателя возвратиться во Францию.

В Париже он изменил характер своей работы. Отказавшись от коммерческой деятельности, Ермольев сосредоточил силы на продюсерстве фильмов. Этой работой он занимался и ранее в качестве побочной, теперь же она стала главной. В 1929–1936 годах он участвовал в создании шести картин, из которых сравнительно большим успехом пользовался фильм «Михаил Строгов», созданный по роману Жюля Верна и носивший приключенческо-исторический характер (о продвижении царской России на восток во второй половине XIX века).

В 1936 году правительство Франции наградило Ермольева орденом Почетного легиона за вклад в развитие кинопромышленности.

В 1937 году Иосиф Ермольев перебрался за океан и поселился в Лос-Анджелесе. Нельзя сказать, что в Америке он занимался активной творческой деятельностью. Он сотрудничал с компанией «Юнайтед артистс», являлся сценаристом нескольких фильмов, в трех картинах фигурировал как продюсер. Из них лишь одна получила значительный общественный отклик. Это был фильм «Застава в Марокко», работа над которым была начата еще перед Второй мировой войной, но завершена только в 1949 году. Для этого фильма Ермольев также написал сценарий. Столь длительный перерыв в съемках связан был с тем, что ряд сцен снимались на территории Марокко. Начало войны сделало невозможными съемки за океаном, тем более в колонии воевавшей, а затем капитулировавшей Франции.