Sayyidina Umar Bin Khattab mengambil alih Yerusalem (Al-Quds) dari tangan Romawi Timur pada masa kepemimpinannya sebagai Amirul Mukminin pada Tahun 637 M. Perang Yarmuk terjadi pada akhir tahun ke-13 Hijriyah bertepatan pada masa peralihan Khalifah Abu Bakar kepada Umar Bin Khattab radhiyallahu 'anhuma.
Inilah satu saltu perang terbesar pasukan muslim melawan Kerajaan Romawi Timur (Byzantium). Usai perang, pasukan muslim mendapat kemudahan menaklukkan seluruh kota-kota di negeri Syam. Amru bin Ash di bawah komando Abu Ubaidah Al-Jarrah radhiyallahu 'anhuma berhasil memblokade Al-Quds pada 17 Hijriyah. Kemudian Umar datang ke Palestina untuk bertemu langsung dengan salah satu pembesar Romawi, Sophronius.
Umar menandatangani perjanjian dengan Sofronius, di mana sang khalifah memberi jaminan bahwa penduduk Kristin dan tempat suci di Yerusalem akan dilindungi di bawah pemerintahan kaum Muslimin. Ada yang menarik dari sikap Umar kala itu. Ketika Beliau dipersilakan sholat di Gereja Makam Kudus (salah satu tempat suci umat Kristen), Umar menolak untuk sholat di dalam gereja sehingga kaum Muslim tidak meminta konversi gereja Makam Kudus menjadi masjid.
Sayyidina Umar memilih sholat di luar gereja, tempat di mana Masjid Umar berdiri hingga saat ini, yaitu berlawanan arah dengan pintu masuk Gereja Makam Kudus. Masjid Umar merupakan sebuah bangunan berstruktur kayu dengan bentuk persegi panjang yang dibangun di atas reruntuhan dan dapat menampung 3.000 jamaah.
Umar Bin Khattab dikenal sebagai pahlawan yang membebaskan Yerusalem (Al-Quds) dari cengkraman Kerajaan Romawi. Nama beliau tercatat dalam sejarah Islam.