Pada masa Abu Bakar menjabat sebagai khalifah, Umar merupakan salah satu penasihat kepalanya. Setelah meninggalnya Abu Bakar pada tahun 634, Umar ditunjuk untuk menggantikan Abu Bakar sebagai khalifah kedua dalam sejarah Islam.
Menjadi khalifah
Selama pemerintahan Umar, kekuasaan Islam tumbuh dengan sangat pesat. Islam mengambil alih Mesopotamia dan sebagian Persia dari tangan dinasti Sassanid dari Persia (yang mengakhiri masa Kekaisaran Sassanid serta mengambil alih Mesir, Palestina, Syria, Afrika Utara dan Armenia dari kekaisaran Romawi (Byzantium). Saat itu ada dua negara adi daya yaitu Persia dan Romawi. Namun keduanya telah ditaklukkan oleh kekhalifahan Islam dibawah pimpinan Umar.
Sejarah mencatat banyak pertempuran besar yang menjadi awal penaklukan ini. Pada pertempuran Yarmuk, yang terjadi di dekat Damaskus pada tahun 636, 20 ribu pasukan Islam mengalahkan pasukan Romawi yang mencapai 70 ribu dan mengakhiri kekuasaan Romawi di Asia Kecil bagian selatan. Pasukan Islam lainnya dalam jumlah kecil mendapatkan kemenangan atas pasukan Persia dalam jumlah yang lebih besar pada pertempuran Al-Qadisiyyah (thn 636), di dekat sungai Eufrat. Pada pertempuran itu, jenderal pasukan Islam yakni Sa`ad bin Abi Waqqas mengalahkan pasukan Sassanid dan berhasil membunuh jenderal Persia yang terkenal, Rustam Farrukhzad.
Pada tahun 637, setelah pengepungan yang lama terhadap Yerusalem, pasukan Islam akhirnya mengambil alih kota tersebut. Umar diberikan kunci untuk memasuki kota oleh pendeta Sophronius dan diundang untuk salat di dalam gereja (Church of the Holy Sepulchre). Umar memilih untuk salat di tempat lain agar tidak membahayakan gereja tersebut. 5 tahun kemudian, Masjid Umar didirikan di tempat ia salat.
Umar melakukan banyak reformasi secara administratif dan mengontrol dari dekat kebijakan publik, termasuk membangun sistem administrasi untuk daerah yang baru ditaklukkan. Ia juga memerintahkan diselenggarakannya sensus di seluruh wilayah kekuasaan Islam. Tahun 638, ia memerintahkan untuk memperluas dan merenovasi Masjidil Haram di Mekkah dan Masjid Nabawi di Medinah. Ia juga memulai proses kodifikasi hukum Islam.
Umar dikenal dari gaya hidupnya yang sederhana, alih-alih mengadopsi gaya hidup dan penampilan para penguasa di zaman itu, ia tetap hidup sangat sederhana.
Pada sekitar tahun ke 17 Hijriah, tahun ke-empat kekhalifahannya, Umar mengeluarkan keputusan bahwa penanggalan Islam hendaknya mulai dihitung saat peristiwa hijrah