Эта дерзкая выходка имела великие последствия. С этого момента открытая борьба сменила переговоры. На ближайшем соборе во время поста Генрих был отлучен от церкви, лишен короны, причем подданные его были освобождены от присяги и долга повиновения. Этим решительным поступком папа, без сомнения, не добивался немедленного низложения государя, но хотел заставить его подчиниться своим реформам. Тем не менее, эффект получился грандиозный. Раз началась война, трудно было предвидеть скорое наступление мира. Отлучение Генриха послужило сигналом для многих сеньоров, которые его тайно ненавидели. Они его покинули, и следующей осенью на сейме в Трибуре серьезно был поднял вопрос о низложении императора. Отвергнув крайние решения, постановили от него отложиться, если только в течение года не будет с него снято отлучение. Король, находившийся в это время с немногими верными друзьями в Оппенгейме, обещал папе повиновение, вернее, уничтожение вормского постановления, и готовность представить удовлетворение. Между тем Григорий был приглашен на Аугсбургский сейм в Лихтмессе 1077 г. для разбирательства спора. Принесением покаяния в Каноссе, замке маркграфини Матильды Тосканской, горячей и могущественной защитницы папы, Генрих до истечения назначенного срока добился от папы обратного принятия в церковь. Предполагавшийся, однако, сейм не стал дожидаться папского решения. Собравшиеся в Фархгейме князья, низложив Генриха, избрали на трон его шурина, герцога Рудольфа Швабского (15 марта 1077 г.).

Григорий был весьма недоволен этой поспешностью. Но так как нельзя было игнорировать совершившегося события, то он согласился выступить в роли посредника, когда обе стороны на этом сошлись. Между тем Генрих разбил своих противников в сражении у Флархгейма (январь 1080 г.). Опьяненный этим успехом, он потребовал от папы своего признания, угрожая ему в противном случае низложением. Это повело к новому разрыву. На соборе во время поста 1080 г. немецкая корона была пожалована Рудольфу, а Генрих подвергнут анафеме и низложению. Григорий думал этим путем окончательно разделаться с Генрихом. Борьба этим, однако, не только не кончилась, но, напротив, еще более ожесточилась. Следующим летом Генрих ответил на это Бриксенским собором, низложившим Григория и избравшим нового папу в лице архиепископа Виберта Равеннского. Когда в следующем году Рудольф пал в сражении при Эльстере (1080 г.), то Генрих отправился в Рим, чтобы здесь, наконец, уничтожить своего противника и захватить силой императорскую корону. Его надежды на быстрый успех не оправдались. Город запер ворота и сдался только весной 1084 г… Примирение с Григорием не состоялось, как ни хлопотали о том римляне. Григорий бежал в замок Святого Ангела. Генрих с триумфом вошел в Рим, возвел на папский престол Виберта под именем Климента III и принял из его рук императорскую корону. Григорий неминуемо попал бы в руки своего врага, если бы приближение Роберта Гвискара, вождя норманов, не заставило отступить немцев.