'Umar dibai'at sebagai khalifah pada hari Jum'at setelah shalat Jum'at. Berbeda saat masih menjadi gubernur, gaya hidup 'Umar menjadi sangat sederhana pada saat menjadi khalifah. Gajinya selama menjadi khalifah hanya 2 dirham perhari atau 60 dirham perbulan.
Segera setelah mendengar berita kematian Khalifah Sulaiman, 'Abdul 'Aziz yang merupakan putra Khalifah Al-Walid langsung bergegas menuju Damaskus beserta pasukannya, tanpa mengetahui pihak yang menggantikan Sulaiman. Sebagai catatan, Al-Walid pernah berusaha melepas posisi Sulaiman sebagai putra mahkota untuk diserahkan kepada 'Abdul 'Aziz, tetapi Al-Walid lebih dulu meninggal sebelum keinginannya diresmikan, sehingga Sulaiman yang pada akhirnya menjadi khalifah. 'Umar menyambut 'Abdul 'Aziz dengan tangan terbuka dan menyatakan siap untuk menyerahkan kekuasaan padanya jika itu kehendaknya. Mendengar jawabannya, 'Abdul 'Aziz membalas, "Tidak ada orang selainmu yang aku harapkan mengisi kekuasaan ini."
Administrasi Provinsi
Segera setelah menjadi khalifah, 'Umar merombak ulang administrasi provinsi-provinsi di kekhalifahan. Dia melakukan pemekaran atas provinsi di kawasan timur kekhalifahan yang dibentuk pada masa Khalifah 'Abdul Malik bin Marwan dan Al-Hajjaj bin Yusuf. Gubernur yang ditunjuk Sulaiman untuk provinsi besar ini, Yazid bin Muhallab, diberhentikan dan ditahan lantaran tidak menyetorkan harta rampasan perang dari penaklukan sebelumnya atas kawasan Thabaristan ke kas perbendaharaan negara. 'Umar kemudian menunjuk beberapa gubernur baru untuk beberapa provinsi. Perinciannya:
Kawasan timurKufah: 'Abdul Hamid bin 'Abdurrahman bin Zaid bin Khattab (masih anggota keluarga 'Umar bin Khattab)
Basrah: 'Adi bin Arthah al-Fazari
Khorasan: Al-Jarrah bin 'Abdullah
Sindh: 'Amr bin Muslim al-Bahili
Mesopotamia Hulu: 'Umar bin Hubairah
Kawasan baratAl-Andalusia (semenanjung Iberia): As-Samh bin Malik al-Khaulani
Ifriqiyah (Afrika Utara): Ismail bin 'Abdullah bin Abi al-Muhajir
Meski pejabat baru yang ditunjuk di kawasan timur ini dulunya pengikut Al-Hajjaj atau dari kelompok Qais, 'Umar menunjuk mereka atas dasar kecakapan, bukan lantaran mereka adalah lawan politik Khalifah Sulaiman. Pilihannya untuk gubernur Al-Andalus dan Ifriqiyah berangkat dari pandangan 'Umar tentang netralitas mereka atas persaingan antara kelompok Qais dan Yamani, juga keadilan mereka terhadap pihak-pihak yang tertindas. 'Umar tampak memilih orang cakap yang dapat dia kendalikan, menunjukkan niatnya untuk benar-benar melakukan pengawasan cermat atas tiap-tiap provinsi. Sejarawan Wellhausen mencatat bahwa 'Umar tidak membiarkan para gubernur mengatur wilayah mereka sendiri hanya karena sudah menyetorkan pendapatan daerah ke pusat, tetapi secara aktif mengawasi administrasi para gubernurnya.
Militer
Dalam urusan militer, 'Umar cenderung pasif bila dibandingkan pendahulunya, meskipun sejarawan Cobb mengaitkan sikap 'Umar dengan kekhawatiran akan menipisnya perbendaharaan negara. Wellhausen menegaskan bahwa 'Umar tidak menyukai perang penaklukan, mengetahui bahwa mereka digaji bukan untuk kepentingan Allah, tetapi karena rampasan perang.Segera setelah menjadi khalifah, dia memerintahkan agar pasukan Muslim yang dikomando oleh Maslamah bin 'Abdul-Malik segera ditarik dari pengepungan Konstantinopel dan mundur ke Malatya di kawasan Anatolia Timur/Armenia Barat. Terlepas dari penarikan tersebut, 'Umar terus melakukan serangan musim panas tahunan pada perbatasan Romawi, sebagai bagian dari kewajiban jihad. 'Umar tetap berada di Syria utara, sering kali tinggal di tanah miliknya di Khanasir, tempat dia membangun benteng.
Pada suatu waktu pada tahun 717, 'Umar mengirim pasukan ke Azerbaijan selatan di bawah kepemimpinan Ibnu Hatim bin Nu'man al-Bahili untuk menumpas sekelompok bangsa Turki yang melakukan perusakan di kawasan tersebut. Pada 718, dia mengerahkan berturut-turut pasukan Iraq dan Syria untuk menekan pemberontakan Khawarij di Iraq, meski sebagian sumber menyatakan bahwa gerakan perlawanan ini diredam dengan diplomasi. Di sepanjang perbatasan timur laut kekhalifahan, di Transoxiana, Islam sudah memiliki kedudukan mapan di beberapa kota, mencegah 'Umar untuk menarik pasukan Arab dari sana. Meski demikian, dia mencegah untuk melakukan perluasan wilayah lebih jauh ke timur. Pada masa kekuasaannya, pasukan Muslim yang berpusat di Al-Andalus menaklukkan kota Narbonne di kawasan Franka selatan.
Pembaharuan
'Umar bin 'Abdul 'Aziz merupakan seorang ulama dan dia sendiri dikelilingi ulama-ulama besar seperti Muhammad bin Ka'ab dan Maiumun bin Mihran. Dia menawarkan tunjangan kepada para guru dan mendorong pendidikan. Melalui teladan pribadinya, dia menanamkan kesalehan, ketabahan, etika bisnis, dan kejujuran moral di masyarakat. Pembaharuan yang dia lakukan termasuk memperketat larangan minum-minuman keras, melarang ketelanjangan publik, menghapus pemandian umum campur laki-laki dan perempuan, dan pemberian dispensasi zakat yang adil. Dia memerintahkan pengerjaan berbagai bangunan umum di Persia, Khorasan, dan Afrika Utara, seperti pembangunan kanal, jalan, karavanserai, dan klinik kesehatan. 'Umar juga melanjutkan program kesejahteraan dari beberapa khalifah Umayyah terakhir dan memperluasnya, termasuk program-program untuk anak yatim dan orang miskin.
'Umar juga dipuji lantaran memerintahkan pengumpulan resmi hadits yang pertama kali lantaran adanya kekhawatiran akan hilangnya sebagian hadits. Mereka yang diperintahkan 'Umar melaksanakan perintah tersebut antara lain Abu Bakar bin Muhammad bin Hazm dan Ibnu Syihab az-Zuhri.
Beberapa pembaharuan lain yang 'Umar lakukan:
Melarang pejabat negara untuk berbisnis
Pekerja tanpa bayaran dianggap ilegal
Tanah penggembalaan dan cagar alam yang diperuntukkan bagi keluarga para pejabat tinggi dibagikan secara merata pada orang miskin dan tujuan budidaya.
Mendesak semua pejabat untuk mendengarkan keluhan orang-orang dan pada setiap kesempatan, diumumkan bahwa jika ada yang melihat petugas yang memperlakukan masyarakat tidak sebagaimana mestinya, dia harus melaporkannya dan sang pelapor akan diberikan hadiah mulai dari 100 hingga 300 dirham.
Pada masa sebelumnya, Bani Umayyah terkenal akan permusuhannya terhadap ahlul bait (keluarga Nabi Muhammad) dan mengharuskan para khatib untuk melakukan celaan pada Khalifah 'Ali bin Abi Thalib pada khutbah shalat Jum'at. 'Umar bin 'Abdul 'Aziz kemudian memerintahkan agar kebiasaan itu dihapus. Tanah Fadak yang dikuasai Bani Umayyah sejak masa Khalifah Marwan bin al-Hakam juga dikembalikan kepada Bani Hasyim. Sebagai catatan, tanah Fadak adalah tanah milik Nabi Muhammad di kawasan Khaibar yang berdasar perintah Nabi, hasil dari pengelolaannya diberikan kepada kalangan Bani Hasyim yang membutuhkan.
Pajak
Di masa khalifah Umayyah sebelumnya, Muslim Arab memiliki hak istimewa terkait keuangan daripada Muslim non-Arab. Mualaf dari kalangan non-Arab tetap diwajibkan membayar pajak jizyah seperti saat mereka belum masuk Islam. 'Umar kemudian menghapuskan kebijakan ini dan membebaskan semua Muslim dari pembayaran jizyah, tanpa memandang asal-usul mereka. Meski begitu, 'Umar juga membuat penjagaan agar keuangan negara tidak runtuh saat terjadi gelombang mualaf yang berakibat menyusutnya penerimaan jizyah. Mualaf non-Arab tidak lagi membayar jizyah, tetapi tanah mereka menjadi tanah desa dan dikenakan kharaj atau cukai tanah.
Dakwah
Mengikuti teladan Nabi Muhammad, 'Umar mengirim utusan ke Tiongkok dan Tibet dan mengajak pemimpin mereka memeluk Islam. Di masa 'Umar bin 'Abdul 'Aziz inilah Islam berakar kuat dan diterima sebagian besar masyarakat Persia dan Mesir. Saat para pejabat mengeluhkan merosotnya pendapatan dari jizyah lantaran terjadinya gelombang mualaf, 'Umar membalas bahwa dia menerima tampuk kekhalifahan untuk mengajak orang-orang masuk Islam, bukan menjadi penagih pajak. Jumlah Muslim non-Arab yang semakin besar menjadikan pusat negara bergeser yang semula dari Madinah dan Damaskus menjadi Persia dan Mesir.[28]
'Umar juga mengajak raja-raja di India untuk memeluk Islam dan menjadi bawahan khalifah. Sebagai balasan, mereka tetap mempertahankan kedudukan mereka sebagai raja. Beberapa raja menerima tawaran tersebut dan mulai mengadopsi nama Arab.
Surat dari Raja Sriwijaya
Tercatat Raja Sriwijaya pernah dua kali mengirimkan surat kepada khalifah Bani Umayyah. Surat pertama dikirim kepada Mu'awiyah bin Abu Sufyan, dan yang kedua kepada 'Umar bin 'Abdul 'Aziz. Surat kedua didokumentasikan oleh Abd Rabbih (860-940) dalam karyanya Al-Iqdul Farid. Potongan surat tersebut berbunyi:
Dari Rajadiraja...; yang adalah keturunan seribu raja ... kepada Raja Arab yang tidak menyekutukan tuhan-tuhan yang lain dengan Tuhan. Saya telah mengirimkan kepada Anda hadiah, yang sebenarnya merupakan hadiah yang tak begitu banyak, tetapi sekadar tanda persahabatan; dan saya ingin Anda mengirimkan kepada saya seseorang yang dapat mengajarkan Islam kepada saya, dan menjelaskan kepada saya hukum-hukumnya.
Mangkat
Kebijakan pembaharuan yang dilakukan 'Umar bin 'Abdul 'Aziz mengusik para bangsawan Umayyah karena hak istimewa mereka dihilangkan sebagai bagian dari pembaharuan yang dilakukan 'Umar. Hal ini mendorong mereka menyuap seorang budak milik 'Umar bernama Alas dengan uang sejumlah 1.000 dinar emas dan kebebasan dirinya agar mau meracuni makanan 'Umar. 'Umar yang mengetahui tindakan budaknya kemudian mengambil uang 1.000 dinar tersebut dan dimasukkan ke baitul mal, sedangkan Alas diperintahkan pergi sebagai orang merdeka. Dalam perjalanannya pulang dari Damaskus ke Aleppo, atau saat berada di Khanasir, dia jatuh sakit. 'Umar mangkat antara tanggal 5 sampai 10 Februari 720 pada usia 37 tahun di Dayr Sim'an di Aleppo barat laut. 'Umar membeli sebidang tanah di desa dan menjadi tempat jenazahnya dikebumikan. Sisa-sisa makamnya masih terlihat, makamnya tidak diketahui secara pasti waktu pembuatannya.
Sumber-sumber sejarah Muslim utamanya sepakat akan kesalehan 'Umar bin 'Abdul 'Aziz dan dia dipandang sebagai seorang pemimpin Muslim teladan, menjadikannya kerap disejajarkan dengan empat khalifah rasyidah. Hal ini berseberangan dengan beberapa khalifah lain dari Bani Umayyah yang kerap dianggap sebagai perampas tak bertuhan dan zalim, sehingga mereka lebih dipandang sebagai seorang raja dan bukan khalifah sejati selayaknya 'Umar bin 'Abdul 'Aziz. Dalam pandangan sejarawan Hawting, penggambaran ini sebagian memang berangkat dari fakta-fakta sejarah serta sifat dan tindakan 'Umar, tetapi selain itu juga didasarkan atas "kebutuhan dan pandangan tradisi." Kennedy menyebut 'Umar sebagai "sosok paling membingungkan di antara penguasa Marwani". Menurut Hawting, sejarawan Jerman Julius Wellhausen menandai perubahan dalam studi Barat mengenai 'Umar yang awalnya dipandang sebagai "idealis yang tak praktis" beralih ke pandangan yang lebih modern sebagai "seorang saleh yang berusaha menyelesaikan masalah pada zamannya dengan jalan yang akan menyesuaikan kebutuhan dinastinya dan negara dengan tuntutan Islam."
Seorang ulama sunni Mughal Syah Waliullah Dehlawi pada abad ke-18 menyatakan, "Seorang mujaddid muncul di tiap akhir abad. Mujaddid pada abad pertama (hijriah) adalah imam ahlus-sunnah, 'Umar bin 'Abdul 'Aziz. Mujaddid abad kedua adalah imam ahlus-sunnah, Muhammad Idris Syafi'i (Imam Asy-Syafi'i). Mujaddid abad ketiga adalah imam ahlus-sunnah, Abu Hasan Asy'ari (Imam Asy'ari). Mujaddin abad keempat adalah Abu 'Abdullah Hakim Naisaburi.
Sepeninggal 'Umar bin 'Abdul 'Aziz, tampuk kekhalifahan diserahkan kepada sepupunya yang juga saudara seayah Khalifah Al-Walid dan Khalifah Sulaiman, Yazid bin 'Abdul-Malik.