Meski sudah disepakati gencatan senjata sepuluh tahun pada 689, perang dengan Romawi Timur kembali terjadi setelah 'Abdul Malik mengalahkan 'Abdullah bin Zubair. Pada masa sebelumnya, kekhalifahan selalu menggunakan mata uang Romawi. Namun pada tahun 691/692, Romawi menambahkan gambar Yesus ('Isa) pada koin, menyalahi larangan umat Muslim untuk menggambar para Nabi, sehingga kekhalifahan menghentikan penggunaan koin Romawi dan mulai mencetak mata uangnya sendiri. Hal ini menjadikan Kaisar Yustinianus II membatalkan perjanjian sepihak dan perang antara kedua negara kembali terjadi. Pihak Romawi dapat dikalahkan Umayyah pada Perang Sebastopolis sekitar 692 dan atas serangan terus-menerus antara 694–695 oleh saudara 'Abdul Malik, Muhammad, beserta pasukan Syria, kekhalifahan berhasil mencapai wilayah Anatolia dan Armenia, menjadi dasar bagi penaklukan setelahnya bagi penerus 'Abdul Malik. Kekalahan ini menjadi salah satu sebab jatuhnya Yustinianus II dan Wangsa Heraklius pada 695. Muhammad tetap menjadi gubernur di kawasan Mesopotamia Hulu dan Armenia dan panglima militer di kawasan Anatolia sampai tahun 710.
Di barat, 'Abdul 'Aziz mengirim pasukan Arab Fustat yang dipimpin Hasan bin Nu'man untuk mengambil alih selatan Ifriqiyah yang diduduki Romawi dan sekutu Berber mereka. Dari markasnya di Tripolitania, dia melancarkan serangan ke Kartago pada 697 dengan dukungan dari angkatan laut. Setelah berhasil menyingkirkan bala bantuan Romawi yang dikirim Kaisar Leontios dan mengalahkan pasukan Berber yang dipimpin Ratu Kahina (Dihya), Kartago berhasil diduduki pada 698. Kota garnisun Arab di Qayrawan diamankan dengan kuat sebagai landasan bagi penaklukan berikutnya. Sementara di pantai Ifriqiyah, kota pelabuhan Tunis dilengkapi gudang senjata atas perintah 'Abdul Malik yang berniat membangun armada Arab yang kuat. Hasan diberhentikan 'Abdul 'Aziz dan digantikan Musa bin Nusayr yang kemudian mengatur penaklukan Umayyah atas Arab Maghrib dan semenanjung Iberia.