Khalifah Ali dibunuh pada tahun 661 oleh anggota Khawarij, golongan yang menolak kepemimpinan Ali maupun Muawiyah. Putranya yang bernama Hasan bin Ali memegang tampuk kekhalifahan berikutnya. Untuk mencegah berlanjutnya perang saudara, Hasan membuat perjanjian dengan Muawiyah dan menyerahkan posisi khalifah ke tangan wali negeri Syam tersebut. Muawiyah memasuki Kufah, ibu kota kekhalifahan sejak masa Ali dan pusat kekuasaan Hasan, pada Juli atau September 661 dan peristiwa ini mengawali berdirinya Kekhalifahan Umayyah. Marwan awalnya menjadi wali negeri Umayyah di Arabia Timur (Bahrayn) dan kemudian menjadi wali negeri Madinah pada 661–668 dan 674–677. Di antara dua periode tersebut, posisi wali negeri Madinah dipegang oleh anggota Banu Umayyah yang lain, yaitu Said bin al-Ash dan Al-Walid bin Utbah. Madinah sebelumnya adalah ibu kota kekhalifahan hingga kematian Utsman, tetapi pada masa Muawiyah Madinah hanyalah ibu kota wilayah (provinsi) sedangkan ibu kota kekhalifahan berada di Damaskus. Sekalipun tidak lagi menjadi ibu kota negara, Madinah tetap menjadi pusat kebudayaan Arab dan keilmuan Islam, serta tempat tinggal pemuka-pemuka kabilah. Para pemuka kabilah di Madinah, termasuk banyak anggota Banu Umayyah, tidak menyukai turunnya posisi mereka dan naiknya Muawiyah. Menurut sejarawan Julius Wellhausen, turunnya posisi Marwan (yang menjadi tangan kanan khalifah pada masa Utsman) menjadi hanya wali negeri Madinah pada menimbulkan rasa iri pada Marwan terhadap kerabatnya Muawiyah yang berkuasa sebagai khalifah.
Pada masa jabatan pertamanya, Marwan memperoleh tanah yang luas dari Mu'awiyah di daerah Fadak, Arabia Utara, yang kemudian ia bagikan kepada anaknya Abdul Malik dan Abdul Aziz. Masa jabatan pertama ini berakhir saat ia diberhentikan Muawiyah, yang menyebabkan Marwan marah, menemui Muawiyah di Damaskus dan keduanya bertengkar hingga mengeluarkan kata-kata kasar. Muawiyah menjelaskan tiga alasan pencopotannya: penolakan Marwan menjalankan perintah penyitaan harta Abdullah bin Amir, kerabat mereka yang diberhentikan dari jabatan wali negeri Bashrah; penentangan Marwan terhadap pengangkatan Ziyad bin Abihi (pengganti Abdullah bin Amir yang asal usul keturunannya tidak jelas) oleh Muawiyah sebagai saudaranya sendiri (pernyataan ini ditentang banyak anggota Banu Umayyah), dan penolakan Marwan membantu putri sang khalifah Ramlah binti Muawiyah dalam masalah rumah tangganya dengan suaminya Amr bin Utsman bin Affan. Saat Hasan bin Ali meninggal pada 670, Marwan termasuk salah satu yang menolak jenazah Hasan dikebumikan bersama Muhammad, Abu Bakar, dan Umar yang dimakamkan di Masjid Nabawi. Alhasil, adik Hasan yaitu Husain beserta kabilah Bani Hasyim memutuskan untuk memakamkan cucu Muhammad tersebut di Jannatul Baqi. Akhirnya, Marwan turut serta dalam prosesi pemakaman dan memuji Hasan sebagai seseorang dengan "kesabaran sebesar gunung-gunung."
Menurut Bosworth, Mu'awiyah mungkin menaruh curiga terhadap ambisi Marwan maupun anggota-anggota Umayyah dari trah Abu'l-Ash pada umumnya. Cabang dinasti tersebut jauh lebih besar daripada trah Abu Sufyan seperti Muawiyah. Marwan adalah salah satu anggota Banu Umayyah paling tua dan terkemuka ketika itu, sedangkan selain Muawiyah tidak banyak keturunan Abu Sufyan yang dewasa dan berpengalaman cukup. Bosworth menduga, "mungkin saja ada kekhawatiran terhadap trah Abu'l Ash yang memaksa Muawiyah ... mengambil langkah tidak umum yaitu menetapkan anaknya Yazid sebagai pewaris kekhalifahan semasa hidupnya." Tindakan Muawiyah ini merupakan hal baru dalam politik umat Islam: pergantian kekhalifahan yang sebelumnya dilakukan dengan pemilihan atau syura berubah menjadi sistem keturunan. Keputusan ini juga menjadi basis kecaman terhadap Banu Umayyah di sebagian kalangan Muslim masa berikutnya, karena dianggap mengubah sistem kekhalifahan menjadi kerajaan.
Sebelumnya, Marwan pernah mendesak Amr bin Utsman bin Affan (juga dari trah Abu'l-Ash) untuk mengklaim jabatan khalifah berdasarkan posisi ayahnya, tetapi Amr tidak tertarik. Marwan dengan berat hati menerima ketetapan Muawiyah menunjuk Yazid pada 676, tetapi diam-diam mendorong Said, putra Utsman yang lain, untuk menentang keputusan ini. Said sendiri cukup puas ketika Muawiyah mengangkatnya sebagai panglima di Khurasan (wilayah paling timur kekhalifahan masa itu) sehingga tidak berambisi mengambil posisi khalifah.