Setelah terbunuhnya Khalifah Utsman bin 'Affan, Ali bin Abi Thalib diangkat sebagai khalifah, tetapi penerimaan dari seluruh kekhalifahan islam sangatlah sulit didapat. Ali bin Abi Thalib berkata tentang dirinya yang diangkat umat Islam sebagai khalifah itu merasa agak kurang senang. Sebab, di antaranya ada yang membunuhi Utsman bin Affan, sekarang mereka berada di sisi pendukungnya agar bisa membaiatnya. Muawiyah, Gubernur dari Suriah yang merupakan kerabat dari khalifah yang terbunuh, sangat menginginkan pembunuh dari sang Khalifah diadili dimuka hukum. Seperti yang diterangkan oleh tabiin terkenal, Abu Muslim Al-Khaulani. Dia datang bersama teman-temannya menanyai Muawiyah dan berkata mereka padanya, "Kamu menentang Ali dalam masalah khilafah atau kamu seperti dia?" Muawiyah menjawab, "Tidak. Aku tahu benar bahwa dia lebih baik dariku; tetapi kalian 'kan tahu, Utsman terbunuh dengan keji, sedang saya anak pamannya, dan juga keluarganya yang menuntut qisas kepada orang yang terlibat dalam pembunuhan itu. Maka kalian temuilah Ali dan katakan, '[Agar] segera menyerahi para pembunuh Utsman'." Maka mereka mendatangi Ali dan menyampaikan hal itu kepadanya, dan Ali menjawab, "Ia harus masuk baiat dan kemudian mereka tuntut hal ini kepadaku."
Muawiyah berpendapat Ali bin Abi Talib tidak berniat untuk melakukan hal ini, sehingga Muawiyah memberontak terhadap Ali bin Abi Talib dan membuat Ali bin Abi Talib berniat memadamkan pemberontakan Muawiyah. Tapi walau demikian, yang benar menurut ulama adalah Ali hendak melihat kasus ini dari perspektif mashlahah (keuntungan) dan mafsadah (kerusakan). Sehingga, dia berpendapat, perlu menahan dulu kasus ini. Agar supaya umat Islam bersatu dulu, baru melakukan qisas. Apalagi pembunuhnya hanya 2-3 orang saja, dan salah satunya seorang budak yang diketahui dari Mesir. Diketahui di belakang pembunuh-pembunuh yang sedikit itu, kalau sampai qisas ditegakkan pada hari itu jua, maka kabilah-kabilah pembela pembunuh itu akan segera melakukan kehancuran yang lebih besar. Al-Juaniy, Imam al-Haramain berpendapat bahwa Muawiyah memang memerangi Ali bin Abi Thalib, tetapi tidak mengingkari kepemimpinannya, dan tidak bermaksud merebutnya untuk dirinya sendiri. Akan tetapi, dia hanya menuntut agar terlaksananya qisas bagi para pembunuh Utsman, dengan asumsi dia benar, tetapi dia salah dalam hal ini.
Hasil dari keadaan ini adalah pertempuran di Shiffin antara kedua belah pihak.