Setelah terbunuhnya Husain di Karbala, 'Abdullah bin Zubair kemudian mengumpulkan baiat dari para penduduk Makkah. Dia kemudian mengirim gubernur ke Kufah. Gelombang anti-Umayyah menjadikan 'Abdullah bin Zubair dengan cepat mendapat dukungan di Iraq, Arab selatan, sebagian Mesir dan bahkan sebagian Syria yang menjadi pusat kekuasaan Umayyah. Meski begitu, dia tidak mengklaim tampuk kekhalifahan. Yazid kemudian memerintahkan 'Amr bin Sa'id untuk menangkap 'Abdullah bin Zubair dan 'Amr bin Sa'id kemudian memerintahkan kepala keamanan Madinah yang merupakan saudara 'Abdullah bin Zubair, juga bernama 'Amr, untuk melaksanakan tugas tersebut. Namun pihak Umayyah dapat dikalahkan dan 'Amr sendiri tertangkap dan meninggal. 'Abdullah bin Zubair kemudian menyatakan ketidakabsahan pemerintahan Yazid dan menghubungi kaum Anshar Madinah untuk bekerja sama. Demi membendung pengaruh 'Abdullah bin Zubair, Yazid mengundang para tokoh Madinah ke Damaskus dan memberikan mereka berbagai hadiah untuk melunakkan hati mereka. Namun bukannya terbujuk, para pemuka justru malah tidak menyukai Yazid lantaran mereka melihat sendiri gaya hidupnya yang dipandang tidak pantas untuk seorang pemimpin umat, seperti bermewah-mewah, mabuk-mabukan, dan terlalu menggandrungi musik. Masyarakat Madinah yang mengetahui gaya hidup Yazid dari cerita para tokoh tersebut kemudian membatalkan kesetiaan mereka pada Yazid, mengusir gubernur dan Bani Umayyah dari kota.
Menanggapi penentangan dari pihak Madinah, Yazid kemudian mengirimkan 12.000 pasukan khusus Arab Syria yang dipimpin oleh Muslim bin Uqbah. Agustus 683, Muslim bin Uqbah tiba di Madinah dan memberi waktu penduduknya untuk menyerah dalam tiga hari. Namun setelah batas waktu berakhir dan pihak Madinah tetap tidak bersedia memberikan kepatuhan, perang dimulai, yang kemudian dikenal dengan Pertempuran al-Harrah (وقعة الحرة). Setelah pihak Umayyah memenangkan pertarungan, mereka melakukan ibahat (tradisi Romawi yang memperbolehkan pasukan melakukan apa saja di wilayah taklukkannya) atas Madinah selama tiga hari. Beberapa tokoh Madinah, salah satunya adalah putra sahabat Nabi, Abdullah bin Hanzhalah, tewas dalam pertempuran ini. Namun menurut sumber lain, tidak ada penjarahan di Madinah dan hanya para pemimpin perlawanan yang dihukum mati. Pasukan Umayyah kemudian meneruskan perjalanan untuk menundukkan Makkah, tetapi pimpinan diambil alih oleh Hushain bin Numair lantaran Muslim bin Uqbah meninggal dalam perjalanan. Mekkah berada dalam pengepungan pada September 683 setelah 'Abdullah bin Zubair menolak untuk menyerah. Dalam pengepungan selama beberapa pekan ini, pihak Umayyah menggunakan katapel untuk membombardir Makkah. 31 Oktober, Ka'bah terbakar dan Hajar Aswad hancur. Sebagian berpendapat bahwa penyebab kebakaran dikarenakan lontaran katapel pihak Umayyah, sedangkan yang lain menyatakan bahwa api berasal dari obor pengikut 'Abdullah bin Zubair yang terkena angin.
Pengepungan Makkah berakhir setelah Yazid meninggal mendadak pada November 683 dan pasukan Umayyah mundur ke Syria. Dengan mangkatnya Yazid, 'Abdullah bin Zubair kemudian menyatakan dirinya sebagai khalifah, menjadi khalifah pesaing bagi Umayyah yang berpusat di Syria. Di Syria sendiri, kedudukan khalifah diwariskan pada putra Yazid, Muawiyah bin Yazid, yang tidak begitu tertarik dengan urusan pemerintahan.