'Abdul Malik lahir pada Ramadhan tahun 23 H (646/647) di kediaman ayahnya, Marwan bin al-Hakam, di Madinah pada masa kekuasaan Khalifah 'Utsman bin 'Affan. Dia tumbuh di Madinah sebagai pribadi yang saleh dan zuhud. Ayahnya adalah sekretaris dan tangan khalifah. 'Abdul Malik sendiri juga menyaksikan terbunuhnya 'Utsman bin 'Affan pada tahun 656. Enam tahun kemudian, 'Abdul Malik diangkat oleh Khalifah Mu'awiyah bin Abu Sufyan sebagai pemimpin pasukan dari Madinah saat perang melawan Kekaisaran Romawi Timur. Setelahnya, Marwan kembali ke Madinah dan menjadi pendamping ayahnya yang menjabat sebagai Gubernur Madinah.
Mu'awiyah mangkat pada 680. Putra dan penerusnya, Yazid bin Mu'awiyah, tidak mendapat pengakuan dari beberapa tokoh Muslim. Gaya hidup dan beberapa kebijakan Yazid menjadikan rasa penolakan terhadap Yazid meluas menjadi sentimen anti-Umayyah. Bani Umayyah kemudian diusir penduduk Madinah dari kota, termasuk 'Abdul Malik dan ayahnya. Di tengah perjalanannya menuju Syria yang merupakan pusat kekuatan Umayyah, 'Abdul Malik bertemu dengan pasukan pimpinan Muslim bin 'Uqbah yang ditugaskan Yazid untuk menundukkan Madinah. 'Abdul Malik kemudian memberikan beberapa informasi mengenai pertahanan Madinah. Pada Agustus 683, pihak Madinah berhasil dikalahkan pasukan Umayyah pimpinan Muslim bin 'Uqbah pada Pertempuran Al-Harrah.
Yazid meninggal dan digantikan oleh putranya, Mu'awiyah bin Yazid. Sebagai bentuk perlawanan kepada Umayyah, 'Abdullah bin Zubair juga menyatakan dirinya sebagai khalifah, sehingga kekhalifahan terbelah dua antara pihak Makkah (pusat kekuasaan 'Abdullah bin Zubair) dan Damaskus (pusat kekuasaan Umayyah). Mu'awiyah hanya berkuasa selama beberapa bulan dan meninggal dalam usia muda. Sebagian pendapat menyatakan bahwa Mu'awiyah sempat turun takhta sebelum meninggal. Sepeninggal Mu'awiyah, beberapa kawasan menyatakan ketundukan kepada 'Abdullah bin Zubair, begitu pula sebagian tokoh dan penguasa di Syria. Dalam musyawarah di Jabiyah yang dihadiri suku-suku pendukung Umayyah, disebut kelompok Yamani, Marwan ditetapkan sebagai khalifah yang baru yang berkuasa di Damaskus pada 684.
Pada masa kekuasaan Marwan, 'Abdul Malik menjadi penasihat dekatnya dan diangkat menjadi Gubernur Palestina. Dia kemudian diangkat ayahnya menjadi putra mahkota dan saudaranya, 'Abdul 'Aziz, sebagai putra mahkota kedua. Penetapan ini sebenarnya menyalahi kesepakatan yang dilakukan di Jabiyah bahwa sepeninggal Marwan, takhta harus diserahkan kepada Khalid, saudara Mu'awiyah bin Yazid, dan kemudian kepada 'Amr bin Sa'id Al-Asydaq. Meski begitu, Marwan berhasil mendapat kesepakatan dari kelompok Yamani, meski 'Abdul Malik kurang memiliki pengalaman dalam urusan pemerintahan kala itu. Setelah Marwan mangkat pada 685, 'Abdul Malik dinyatakan sebagai khalifah di Al-Quds.