Meski Syria dan Mesir sudah berada dalam kendali Umayyah pada masa Marwan, beberapa kawasan masih mengakui kedaulatan 'Abdullah bin Zubair. Mengembalikan kedaulatan Umayyah atas seluruh wilayah kekhalifahan menjadi perhatian utama 'Abdul Malik.
Persekutuan Qais (kelompok suku Arab pendukung 'Abdullah bin Zubair) terhimpun kembali di bawah kepemimpinan Zufar bin Al-Harits dari Bani 'Amir dan melakukan perlawanan di kawasan Mesopotamia Hulu dari benteng Al-Qarqisiyah di dekat sungai Eufrat. Pada saat kenaikan takhta 'Abdul Malik, beberapa pos penting pemerintahan diduduki keluarganya. Saudaranya, Muhammad bin Marwan, diutus untuk menundukkan perlawanan Qais di Mesopotamia Hulu, sedangkan 'Abdul 'Aziz yang menjabat Gubernur Mesir menjaga perdamaian di Afrika Utara.
Demi menyatukan kembali kekhalifahan, 'Abdul Malik menghendaki untuk mengambil alih Iraq yang merupakan provinsi terkaya di dalam kekhalifahan, juga merupakan rumah bagi banyak suku Arab yang merupakan sumber kekuatan utama pasukan Umayyah. Di sisi lain, Mesir yang merupakan provinsi pemberi sumbangan terbesar pada perbendaharaan tidak begitu banyak memiliki masyarakat bangsa Arab. Kebutuhan akan pasukan menjadikan Umayyah berperan sebagai tulang punggung militer. Pasukan Syria sendiri terbagi antara kelompok Yamani dan Qais. Meski 6.000 pasukan Yamani dapat mengambil alih kendali Syria pada masa Marwan, jumlah tersebut terlalu sedikit untuk menyatukan seluruh kekhalifahan. Ibnu Ziyad yang merupakan tokoh kunci penegak kekuatan Marwani mulai berusaha memperbesar jumlah pasukan dengan melakukan rekrutmen pada suku-suku Arab secara luas, meski mereka berasal dari suku yang tergabung dalam persekutuan Qais. 'Abdul Malik kemudian memerintahkan Ibnu Ziyad untuk mengambil alih Iraq. Pada saat itu, kawasan tersebut terbagi antara pendukung keturunan 'Ali yang dipimpin Mukhtar Ats-Tsaqafi di Kufah dan pendukung 'Abdullah bin Zubair yang dipimpin oleh adiknya sendiri, Mush'ab bin Zubair di Bashrah. Perkembangan Ibnu Ziyad terhambat lantaran harus berhadapan dengan pasukan Qais di Mesopotamia Hulu, tetapi kemudian dia bertolak menuju Rasul-'Ain (kota di daerah Mesopotamia Hulu) dan mengalahkan pendukung keturunan 'Ali di Pertempuran 'Ainul-Wardah. Meski begitu, 60.000 pasukan Umayyah di bawah Ibnu Ziyad dikalahkan pasukan pendukung Ali dalam Perang Khazir yang terjadi pada Agustus 686. Kekalahan telak ini menjadikan 'Abdul Malik menahan diri untuk menundukkan Iraq selama lima tahun ke depan, yang pada masa itu, Mush'ab bin Zubair berhasil membunuh Mukhtar Ats-Tsaqafi dan menjadi penguasa tunggal Iraq.
'Abdul Malik kemudian mengalihkan perhatiannya untuk menguatkan Syria. Di perbatasan utara, Kekaisaran Romawi Timur melakukan penyerangan, menduduki Antiokhia dan mendorong Jarajimah (Mardaita), kelompok pribumi Kristen di Syria, untuk melancarkan serangan di kawasan sungai Orontes. Serangan balik Romawi ini, yang telah dimulai pada 678, menunjukkan tantangan pertama dari pihak yang terkalahkan pada penaklukan awal umat Muslim. Selain itu, pemberontakan umat Kristen ini menunjukkan pada 'Abdul Malik dan penerusnya bahwa mereka tidak bisa lagi berharap pada diamnya pihak Kristen di Syria yang sampai sebelum kejadian tersebut tidak melakukan perlawanan terhadap kekhalifahan. Untuk meredam ancaman Romawi, 'Abdul Malik mengadakan gencatan senjata sepuluh tahun dengan Kaisar Yustinianus II pada 689. 12.000 pasukan Jarajimah mundur ke wilayah Romawi dan 'Abdul Malik sendiri membayar upeti tahunan sejumlah 365.000 koin emas, 1.000 budak, dan 1.000 kuda perang pada Romawi. Perjanjian ini dianggap sebagai "perjanjian yang berat dan menghinakan" dan kemampuan 'Abdul Malik untuk membayar upeti tahunan ini dan sekaligus mendanai perangnya sendiri diduga berasal dari perbendaharaan yang dikumpulkan pendahulunya dan pendapatan dari Mesir.
Pada 689/690, 'Abdul Malik berusaha mengerahkan pasukan ke Iraq, tetapi dia dipaksa kembali ke Damaskus lantaran kerabatnya, Al-Asydaq melakukan pemberontakan. Al-Asydaq memandang bahwa naik takhtanya 'Abdul Malik menyalahi perjanjian di Jabiyah saat pengangkatan Marwan, sehingga dia menggunakan kesempatan untuk memberontak saat 'Abdul Malik tidak di ibu kota. 'Abdul Malik menghadapi Al-Asydaq dan memberinya jaminan keselamatan jika menyerahkan kembali Damaskus. Meski Al-Asydaq menyetujui perjanjian tersebut dan mundur, 'Abdul Malik tetap tidak mempercayainya dan Al-Asydaq kemudian dihukum mati.