Upaya awal 'Abdul Malik untuk menundukkan Iraq dirusak oleh perpecahan Qais-Yamani ketika salah satu jenderal di pasukan Ibnu Ziyad yang berasal dari kelompok Qais, 'Umayr bin Hubab dari Bani Sulaim, beralih pihak di tengah pertempuran untuk bergabung dengan kelompok Zufar di Mesopotamia Hulu. 'Umayr selanjutnya melancarkan serangan kepada suku Arab Kristen Bani Taghlib di Mesopotamia Hulu, menjadikan perpecahan antara suku-suku Arab semakin mendalam, dengan Bani Taghlib yang sebelumnya netral, kemudian beralih memihak Yamani dan Umayyah. Taghlib membunuh 'Umayr pada 689 dan mengirimkan kepalanya kepada 'Abdul Malik. 'Abdul Malik kemudian melakukan pengepungan atas Al-Qarqisiyah pada tahun 690/691, menjadikan Zufar dan kelompok Qais untuk menyerah dan beralih pihak kepada Umayyah dengan gantinya mereka mendapat kedudukan khusus di pemerintahan dan militer. Bergabungnya kelompok Qais memperkuat pasukan Syria dan kedaulatan Umayyah dapat ditegakkan di kawasan Mesopotamia Hulu. Mulai dari sini, 'Abdul Malik dan para penerusnya berusaha menyeimbangkan kepentingan Yamani dan Qais di pemerintahan dan militer. Hal ini menjadikan pudarnya dominasi Yamani, khususnya Bani Kalb, dalam pasukan militer.
Dengan hilangnya ancaman di Syria dan Mesopotamia Utara, 'Abdul Malik dapat memusatkan perhatiannya untuk menaklukkan Iraq tanpa gangguan. Di Iraq sendiri, Mush'ab bin Zubair berkutat melawan perlawanan kelompok Khawarij dan bersaing dengan suku-suku Arab yang tidak puas di Bashrah dan Kufah. Dalam keadaan seperti ini, 'Abdul Malik menjalin hubungan dengan bangsawan Arab untuk membuat mereka berpihak padanya. Berbeda dengan upaya penaklukan Iraq sebelumnya, komando pasukan dipegang oleh keluarganya. Muhammad bin Marwan memimpin pasukan depan, sementara dua putra Khalifah Yazid, Khalid dan 'Abdullah, masing-masing memimpin sayap kanan dan kiri. Banyak bangsawan Syria merasa keberatan dengan perang ini dan meminta 'Abdul Malik untuk tidak maju langsung bersama pasukan. Meski begitu, 'Abdul Malik menjadi pemimpin pasukan saat mereka berhadapan dengan pasukan Mush'ab di Maskin, di sepanjang Kanal Dujayl, yang perang ini kemudian dikenal dengan Perang Maskin. Di pihak Mush'ab sendiri, pasukannya yang paling terlatih berada bersama Al-Muhallab bin Abi Shufrah yang menolak meninggalkan Bashrah tanpa pertahanan setelah serangan dari Khawarij. Sebagian besar pasukan Mush'ab yang dibawa dalam Perang Maskin berasal dari suku Arab Kufah yang sebenarnya juga menyimpan dendam pada Mush'ab yang telah memberi hukuman berat pada penduduk Kufah pengikut Mukhtar Ats-Tsaqafi pada 685. Dengan keadaan seperti ini, 'Abdul Malik mengirimkan surat pada para panglima Mush'ab untuk beralih memihaknya. Saat pertempuran benar-benar terjadi, panglima setia Mush'ab, Ibrahim bin Al-Asytar, gugur di awal perang bersama pemimpin sayap kanan Mush'ab. Kepala pasukan berkuda Mush'ab yang telah memihak 'Abdul Malik meninggalkan pertempuran bersama bawahannya. Meski begitu, Mush'ab menolak untuk menyerah dan lebih memilih untuk mati sebagai kesatria. Pada akhirnya, seorang dari Bani Tsaqif membunuh Mush'ab pada pertempuran. 'Abdul Malik berduka untuk Mush'ab dan memerintahkan sebuah syair digubah untuk mengenang akhir kepahlawanannya.
Menyusul kemenangan di Iraq, 'Abdul Malik memasuki Kufah dan menerima baiat dari para bangsawan di sana. Dia berkemah bersama pasukannya di luar kota selama empat puluh hari untuk persiapan perang menundukkan 'Abdullah bin Zubair di Hijaz. 'Abdul Malik kemudian mengerahkan 2.000 pasukan Syria yang dipimpin Al-Hajjaj bin Yusuf. Al-Hajjaj kemudian berkemah di Tha'if selama beberapa bulan dan bertarung beberapa kali dengan pendukung 'Abdullah bin Zubair di Arafah. 'Abdul Malik juga mengirimkan bala bantuan yang dipimpin Thariq bin 'Amr yang kemudian mengambil alih Madinah. Maret 692, Al-Hajjaj mengepung dan membombardir Makkah yang merupakan pusat kekuasaan 'Abdullah bin Zubair sekaligus tempat tersuci umat Islam. Meski 10.000 pengikut 'Abdullah bin Zubair, termasuk putranya sendiri, menyerah dan diberikan pengampunan, 'Abdullah bin Zubair dan pengikutnya yang paling keras bertahan di Ka'bah dan dibunuh pasukan Al-Hajjaj pada bulan September atau Oktober. Meninggalnya 'Abdullah bin Zubair mengakhiri perang saudara dan menyatukan kekhalifahan dalam kekuasaan Umayyah.
Setelah kemenangannya, 'Abdul Malik berusaha menjalin perdamaian dengan petinggi Hijaz, termasuk dari kelompok pendukung keturunan 'Ali maupun Zubairi. Dia mengandalkan Bani Makhzum sebagai penengah dari kekosongan Bani Umayyah di kawasan tersebut sejak pengusiran mereka pada 682 pada masa Khalifah Yazid. Meski demikian, 'Abdul Malik tetap mewaspadai ambisi dari petinggi Hijaz dan mengawasi mereka secara saksama melalui berbagai gubernur Madinah. Orang pertama yang ditunjuk di posisi tersebut adalah Al-Hajjaj, yang juga dilantik sebagai Gubernur Yaman dan Yamamah dan memimpin rombongan haji pada 693 dan 694. Meskipun berhasil menjaga kedamaian Hijaz, pemerintahan Al-Hajjaj yang kejam dan keras menjadikan munculnya banyak keberatan dari penduduk, sangat mungkin menjadi alasan dia dipindahtugaskan oleh 'Abdul Malik. Beberapa tahun setelahnya, 'Abdul Malik menjadikan ayah mertuanya, Hisyam bin Isma'il dari Bani Makhzum sebagai gubernur dan terkenal akan perlakuan kerasnya terhadap masyarakat Madinah.