Sepeninggal Al-Walid, Sulaiman bin 'Abdul Malik yang merupakan adik kandungnya dinobatkan sebagai khalifah dan memimpin kekhalifahan dari Yerusalem (Al-Quds). Pada masanya, para pejabat yang berkuasa pada masa Al-Walid dilucuti satu-persatu dari jabatan mereka. Al-Hajjaj sudah meninggal tatkala Sulaiman naik takhta, tapi kerabat dan sekutunya diberhentikan dan mendapat hukuman. Di sisi lain, lawan politik mereka menempati berbagai kedudukan penting pada masa Sulaiman. Salah satu di antaranya adalah 'Umar bin 'Abdul 'Aziz.
Sulaiman yang juga merupakan sepupu 'Umar sangat memberikan penghormatan padanya. Bersama seorang ulama tabi'in Raja' bin Haiwah, 'Umar menjadi penasihat utama Sulaiman. Dia mendampingi Sulaiman dalam memimpin rombongan haji pada 716 dan sampai kembalinya di Yerusalem. Tampaknya dia juga mendampingi Sulaiman di Dabiq saat kekhalifahan berperang melawan Kekaisaran Romawi. Pada awalnya, Sulaiman menunjuk salah seorang putranya, Ayyub, menjadi putra mahkota, tetapi Ayyub meninggal lebih dulu pada awal 717. Sulaiman yang saat itu sakit keras kemudian berencana menunjuk putranya yang lain, Dawud, sebagai putra mahkota, tetapi Raja' bin Haiwah tidak sepakat dengan alasan bahwa Dawud sedang berperang di Konstantinopel dan tidak ada kejelasan mengenai kembalinya. Raja' mengusulkan agar mengangkat 'Umar bin 'Abdul 'Aziz sebagai pewaris sebab 'Umar dikenal sebagai salah satu tokoh yang bijaksana, cakap, dan saleh pada masa itu. Sulaiman menyepakati usulan tersebut. Namun demi menghindari perselisihan di dalam tubuh Umayyah antara pihak 'Umar bin 'Abdul 'Aziz dengan saudara-saudara Sulaiman, Sulaiman menetapkan saudaranya, Yazid, sebagai wakil putra mahkota. Hal ini bermakna bahwa setelah 'Umar bin 'Abdul 'Aziz, Yazid yang akan menjadi khalifah. Raja' yang dipasrahi urusan ini segera mengumpulkan anggota Bani Umayyah di masjid dan meminta mereka bersumpah setia untuk menerima wasiat Sulaiman yang masih dirahasiakan. Setelah mereka menyatakan kepatuhan, barulah Raja' mengumumkan bahwa 'Umar bin 'Abdul 'Aziz yang akan menjadi khalifah sepeninggal Sulaiman. Saudara Sulaiman yang lain, Hisyam, menentang keputusan tersebut, tetapi kemudian diancam akan dijatuhi hukuman, sehingga Hisyam patuh. Saat berada di atas mimbar, 'Umar meminta agar Hisyam yang pertama kali memberikan sumpah setia (bai'at). Hisyam kemudian maju membai'atnya, diikuti hadirin yang lain.
Namun menurut sejarawan Reinhard Eisener, peran Raja' dalam masalah ini dipandang "dilebih-lebihkan". Hal ini lantaran penunjukkan 'Umar dipandang sudah sesuai tradisi. Ayah 'Umar sendiri, 'Abdul 'Aziz, sebenarnya adalah putra mahkota dari ayah Sulaiman, Khalifah 'Abdul Malik. Meski begitu, 'Abdul 'Aziz tidak mewarisi takhta lantaran meninggal lebih dulu dari 'Abdul Malik, sehingga setelah 'Abdul Malik mangkat, tampuk kekhalifahan dialihkan ke putra-putra 'Abdul Malik.
Sulaiman mangkat pada September 717 dan 'Umar bin 'Abdul 'Aziz didaulat sebagai khalifah tanpa penentangan berarti.