Masa kekuasaan Marwan yang singkat dihabiskan untuk mengembalikan negeri Syam dan sekitarnya ke dalam kendali Umayyah. Tidak seperti Banu Kalb yang mendukung Marwan, terdapat persekutuan beberapa suku-suku Arab bernama Qais di Syam yang memihak Abdullah bin az-Zubair. Mereka mendorong Adh-Dhahhak bin Qais, pemuka Qais yang menjabat sebagai wali negeri Damaskus, untuk mengerahkan pasukan. Alhasil, Adh-Dhahhak dan pasukan Qais berkumpul di dataran Marj Rahith, sebelah utara Damaskus. Semua distrik militer di negeri Syam berpihak pada Abdullah bin az-Zubair, kecuali Jund al-Urdunn yang didominasi Bani Kalb. Dengan dukungan Bani Kalb dan sekutu-sekutunya, Marwan bergerak menuju posisi Adh-Dhahhak yang memiliki pasukan lebih besar. Sementara itu, di dalam kota Damaskus, seorang pemuka Bani Ghassan membersihkan kota itu dari para pendukung Adh-Dhahhak hingga Damaskus berada di bawah kendali Umayyah. Dalam Pertempuran Marj Rahith yang terjadi pada Agustus 684, pasukan Marwan berhasil mengalahkan pasukan Qais dan Adh-Dhahhak sendiri terbunuh.
Kemenangan telak pihak Umayyah dan Yamani menjadi awal perseteruan antarsuku Yamani dan Qais. Kemenangan Marwan di pertempuran tersebut mengukuhkan posisi Banu Kalb dan sekutu-sekutunya dari kelompok Qudha'ah. Kaum Qahthan di Hims kemudian bergabung sebagai sekutu mereka, sehingga membentuk persekutuan kabilah yang lebih besar. Sisa-sisa kelompok Qais kemudian dipimpin oleh Zufar bin al-Harits al-Kilabi, merebut benteng Al-Qarqisiya di kawasan Al-Jazirah (Mesopotamia Hulu), dan melanjutkan perlawanan kabilah-kabilah yang menentang kekuasaan Umayyah. Ath-Thabari mencatat puisi Marwan yang merayakan kemenangannya di Marj Rahith dan menyebutkan kabilah-kabilah yang mendukungnya:
Saat kulihat urusan ini menjadi urusan rampasan perang
kusiapkan Ghassan dan Kalb melawan mereka
Dan Saksaki [Banu Kindah], para pria pemenang
dan Tayyi [Banu Tayy], yang suka memukul
Dan Al-Qayn, yang berjalan dengan senjata yang berat
Dan dari Tanukh, puncak yang tinggi dan sulit
[Pihak musuh] tak akan merebut kerajaan ini kecuali dengan kekerasan
Dan jika Qais datang, katakan, "Jangan mendekat!"
Marwan menerima baiat sebagai khalifah di Damaskus pada bulan Juli atau Agustus. Ia menikahi Ummu Hasyim Fakhitah, janda Yazid dan ibu dari Khalid sehingga ia memiliki hubungan perkawinan dengan trah Sufyani yang merupakan khalifah-khalifah sebelumnya. Wellhausen menganggap bahwa pernikahan ini adalah upaya Marwan untuk mengendalikan warisan Yazid dengan menjadi ayah tiri anak-anaknya. Marwan menunjuk Yahya bin Qais dari Banu Ghassan sebagai kepala syurthah (polisi atau aparat keamanan) dan mawlanya yang bernama Abu Sahl al-Aswad sebagai hajib (pengelola istana).
Meski telah menang di Marj Rahith dan mengukuhkan kekuasaan Umayyah di Syam bagian tengah, kekuasan Marwan tidak diakui di wilayah-wilayah bekas kekhalifahan Umayyah lainnya. Pada sisa masa kekuasaannya, ia berusaha memperluas kembali kekuasaan Umayyah dengan menggunakan kekuatan militer serta bantuan Ibnu Ziyad dan Ibnu Bahdal. Ia mengirimkan Rauh bin Zinba' ke Palestina, yang berhasil mengusir Natil bin Qais, wali negeri Palestina yang mendukung Ibnu az-Zubair dan merupakan saingan Rauh untuk kepemimpinan Banu Judzam. Marwan juga mengukuhkan kendali Umayyah di kawasan utara Syam. Pada Februari atau Maret 685, Marwan mengambil kendali Mesir dengan bantuan kabilah-kabilah terkemuka di ibu kota Mesir saat itu yaitu Fusthat. Abdurrahman bin Utbah, wali negeri Mesir pendukung Abdullah bin az-Zubair, digulingkan dan digantikan oleh seorang putra Marwan yaitu Abdul Aziz. Selanjutnya, pasukan pro-Marwan di bawah pimpinan Amr bin Said menghalau serangan yang dilancarkan Mush'ab bin az-Zubair (adik dari Abdullah bin az-Zubair) terhadap Palestina. Marwan juga mengirimkan pasukan ke Hijaz di bawah pimpinan Hubaisy bin Duljah, tetapi pasukan ini dikalahkan di Ar-Rabadzah di timur Madinah. Selain itu, Marwan mengirim putranya Muhammad untuk menghadap kabilah-kabilah Qais di kawasan tengah lembah Sungai Efrat. Masih pada awal tahun 685, ia mengirimkan pasukan di bawah kepemimpinan Ubaidillah bin Ziyad untuk merebut Irak dari kekuasaan Abdullah bin az-Zubair maupun kelompok pendukung Ahlul Bait Ali. Pasukan ini masih dalam perjalanan dan baru saja mencapai Ar-Raqqah ketika mereka mendengar kematian Marwan.