Putra Yazid yang masih muda, Mu'awiyah bin Yazid (disebut juga Muawiyah II), diangkat sebagai khalifah yang baru. Pada awal tahun 684, Marwan telah berada di Syam, kemungkinan di Tadmur atau di istana khalifah di Damaskus. Muawiyah II meninggal setelah beberapa minggu menjabat khalifah. Para wali negeri di distrik-distrik militer (jund) di Syam, termasuk Filasthin (Palestina), Hims, dan Qinnasrin, berpindah ke kubu Ibnu Az-Zubair. Alhasil, menurut Bosworth Marwan "putus asa akan masa depan dinasti Umayyah sebagai penguasa" dan hampir saja mengakui kekhalifahan Ibnu az-Zubair. Namun, ia mendapat dukungan dari Ubaidillah bin Ziyad, wali negeri Umayyah yang tersingkir dari Irak, yang membujuknya untuk mengajukan diri sebagai pengganti Muawiyah II dalam pertemuan kabilah-kabilah pendukung Umayyah yang sedang berlangsung di Jabiyah. Pengajuan-pengajuan khalifah yang terjadi menunjukkan keragaman prinsip pergantian kepemimpinan yang ada di kalangan umat Islam pada masa itu. Para pendukung Ibnu az-Zubair mengusung prinsip penunjukan pemimpin yang dianggap paling Islami dan saleh, sedangkan para pendukung Umayyah mempertimbangkan dua calon khalifah dengan prinsipnya masing-masing. Khalid bin Yazid (adik Muawiyah II dan cucu Muawiyah I) diusung berdasarkan prinsip garis keturunan langsung, dan Marwan diusung berdasarkan norma adat yaitu memilih pemimpin yang paling bijaksana, cakap, dan berasal dari garis keturunan terkemuka.
Penggagas pertemuan tersebut, Hassan bin Malik bin Bahdal, pemimpin Banu Kalb, awalnya mendukung Khalid bin Yazid. Hassan bin Malik sendiri memiliki hubungan kekerabatan dengan Banu Umayyah trah Abu Sufyan lantaran bibinya, Maysun binti Bahdal, adalah istri Mu'awiyah bin Abu Sufyan dan ibu Yazid. Namun usia Khalid yang masih belia menjadikan kepala kabilah lain, seperti Rauh bin Zinba' dari Banu Judzam dan Husain bin Numair dari Banu Kindah, lebih mendukung Marwan yang dianggap berpengalaman secara politik dan militer. Sejarawan Ibnu Wadhih al-Ya'qubi mencatat pernyataan Rauh mendukung Marwan: "Hai orang-orang Syam! Inilah Marwan bin al-Hakam, pemuka suku Quraisy, yang membalaskan darah Utsman dan melawan Ali bin Abi Thalib pada Pertempuran Jamal dan Pertempuran Shiffin!" Kesepakatan akhirnya tercapai pada 29 Syawal 64 H (22 Juni 684) untuk mengangkat Marwan sebagai khalifah. Khalid dan Amr bin Said bin al-Ash, seorang tokoh muda terkemuka Umayyah lainnya, ditetapkan sebagai penerus Marwan. Kabilah-kabilah pendukung Umayyah, yang kemudian disebut kelompok Yamani, dijanjikan bayaran atas dukungan mereka untuk mengangkat Marwan. Pemuka-pemuka (asyraf) mereka meminta Marwan memberikan hak istimewa di bidang militer dan pemerintahan sebagaimana yang mereka terima dari khalifah Bani Umayyah sebelumnya. Husain bin Numair sebelumnya pernah menawarkan dukungan kepada Ibnu az-Zubair dengan syarat serupa, tetapi Ibnu az-Zubair secara terbuka menolak tawaran tersebut. Menurut sejarawan Mohammad Rihan, Marwan "menyadari pentingnya pasukan Syam dan mengikuti sepenuhnya permintaan mereka", dan menurut Kennedy "Marwan tidak memiliki pengalaman atau jaringan di Syam; ia akan sepenuhnya tergantung pada para asyraf dari kabilah-kabilah Yamani yang telah memilihnya."