В конце концов две армии – иракская во главе с Али и сирийская во главе с Муавией – встретились на равнине Сиффин. После нескольких недель мелких стычек 26 июля 657 года завязался бой. Через три дня кровопролитной схватки победа уже почти была в руках у Али, как вдруг – надо же такому случиться – его противники воздели на копьях свитки Корана. Эту уловку, придуманную расчетливым и хитроумным Амром ибн аль-Асом, помощником Муавии, истолковали как призыв решить дело не силой оружия, а авторитетом Корана – что бы это ни значило. Сражение прекратилось. Али, человек набожный и простодушный, принял предложение Муавии провести третейский суд «по слову Аллаха» и таким образом не проливать крови мусульман.

Али выбрал представлять его на переговорах Абу Мусу аль-Ашари, чья праведность не вызывала сомнений, в отличие от верности делу Али. Муавия противопоставил ему Амра ибн аль-Аса, одного из «четырех арабских политических гениев (духат) ислама». В эту же четверку входил и сам Муавия. Два арбитра (ед. ч. хакам), каждый в сопровождении четырехсот свидетелей, провели публичное заседание в январе 659 года в Азрухе, на главном караванном пути между Дамаском и Мединой.

Классическая точка зрения состоит в том, что два судьи частным образом договорились сместить обоих предводителей, тем самым расчистив путь для «темной лошадки»; но после того как Абу Муса как старший из двух встал и публично объявил халифат своего вождя недействительным, Амр поднялся и подтвердил права своего вождя, таким образом перехитрив своего визави. Современные критики, однако, склонны полагать, что на самом деле оба арбитра низложили обоих вождей, то есть фактически это означало свержение Али, поскольку Муавия еще не был халифом. Конечно, сам факт арбитража поднял Муавию на уровень Али или, наоборот, опустил Али до уровня Муавии; но приговор судей лишил Али реального положения, а Муавию – всего лишь фиктивных притязаний, которые он даже еще не осмелился высказать публично. Фактически лишь через два года после этого суда Муавия провозгласил себя халифом; к тому времени Али был уже мертв.

Рано утром 24 января 661 года, когда Али направлялся в мечеть в Куфе, хариджит ударил его в лоб отравленным кинжалом. Хариджиты («выступившие против») – обособившиеся сторонники Али, которые взяли себе девизом «ля хукма илля лиллях» («нет решения, кроме как от Аллаха») и стали его смертельными врагами. Они образовали первую в исламе секту. Однако убийца действовал из чисто личных мотивов. Уединенное место за стенами Куфы, где был похоронен Али, держалось в тайне на протяжении всего периода Омейядов и ранних Аббасидов, пока Харун ар-Рашид (Гарун аль-Рашид) в 791 году случайно не наткнулся на него. Это нынешний машхад (святыня) Али в Эн-Наджафе, один из великих центров паломничества в исламе и величайший для шиитов.