Marwan meninggal pada awal tahun 685 M (65 H) saat belum genap setahun berkuasa. Terdapat perbedaan pendapat di kalangan sejarawan mengenai tanggal pasti kematiannya. Sejarawan Ibnu Sa'ad, Ath-Thabari, dan Khalifah bin Khayyath berpendapat bahwa Marwan meninggal pada tanggal 29 Syakban (10 atau 11 April), Al-Mas'udi berpendapat pada tanggal 3 Ramadhan atau 13 April, sedangkan Elia, Uskup Agung Nisibis, berpendapat kematian sang khalifah terjadi pada pada 7 Mei. Sebagian besar sumber Muslim menyatakan bahwa Marwan meninggal di Damaskus, sedangkan Al-Mas'udi berpendapat bahwa Marwan meninggal di kediaman musim dinginnya di Ash-Shinnabra, dekat Danau Tiberias. Sejarawan-sejarawan Muslim awal, seperti Ibnu Sa'ad al-Waqidi, menukil riwayat (dengan isnad yang baik) bahwa Marwan dibunuh saat ia tidur oleh istrinya Umm Hasyim Fakhitah akibat hinaan kasar yang sebelumnya diucapkan Marwan kepadanya, tetapi kisah ini ditolak atau diabaikan oleh kebanyakan sejarawan Barat modern. Bosworth menduga bahwa Marwan meninggal akibat wabah penyakit yang menimpa negeri Syam pada saat kematiannya.
Sebelum Marwan meninggal, sekembalinya ia ke Syam dari Mesir pada tahun 685, ia sempat menunjuk putra-putranya Abdul Malik dan Abdul Aziz sebagai penerusnya, sekalipun hasil pertemuan di Jabiyah menetapkan Khalid bin Yazid dan Amr bin Said untuk posisi tersebut. Ia melakukannya setelah ia mendengar bahwa Ibnu Bahdal mendukung Amr sebagai calon penerus Marwan. Ia memanggil dan mencecar Ibnu Bahdal, dan akhirnya memintanya menyatakan baiat terhadap Abdul Malik sebagai putra mahkota. Setelah Marwan meninggal, Abdul Malik bin Marwan menjadi khalifah tanpa pertentangan dari Khalid maupun Amr. Dengan ini, keputusan pertemuan Jabiyah telah dibatalkan dan prinsip pemilihan khalifah berdasarkan garis keturunan langsung kembali berlaku. Selanjutnya, pergantian khalifah dinasti Umayyah biasa dilakukan mengikuti garis keturunan.