'Umar lahir di Madinah pada tahun 682. Sebagian sumber menyatakan bahwa dia lahir di Mesir. Ayahnya adalah 'Abdul-'Aziz, putra Khalifah Marwan bin al-Hakam yang merupakan sepupu Khalifah 'Utsman bin 'Affan. Ibunya adalah Laila, cucu Khalifah 'Umar bin Khattab.
Menurut tradisi Sunni, keterkaitan silsilah antara 'Umar bin Abdul 'Aziz dengan 'Umar bin Khattab bermula pada suatu malam pada masa 'Umar bin Khattab. Saat sedang beronda malam, 'Umar bin Khattab mendengar percakapan antara seorang gadis dan ibunya dari keluarga pedagang susu. Sang gadis menolak mencampur susu dengan air sebagaimana yang diperintahkan ibunya lantaran terdapat larangan dari khalifah mengenai hal tersebut dan mengatakan bahwa Allah melihat perbuatan mereka meski 'Umar bin Khattab sendiri tidak mengetahui. Kagum akan kejujurannya, 'Umar memerintahkan salah seorang putranya, 'Ashim, untuk menikahi gadis tersebut. Dari pernikahan ini, lahirlah Laila, ibunda 'Umar bin 'Abdul 'Aziz.
'Umar lahir pada saat kekhalifahan dalam kepemimpinan Bani Sufyani, cabang Bani Umayyah yang merupakan keturunan Abu Sufyan bin Harb. Pada masa Khalifah Yazid, perasaan tidak suka dari penduduk Madinah terhadap Yazid meluas menjadi sentimen anti-Umayyah, sehingga semua anggota Bani Umayyah diusir dari Madinah.
Setelah masa kekhalifahan Mu'awiyah bin Yazid berakhir pada 684, kendali Umayyah atas kekhalifahan sempat runtuh dan banyak pihak berbalik mendukung 'Abdullah bin Zubair, khalifah pesaing Umayyah yang berpusat di Makkah. Umayyah kembali menguatkan pengaruhnya saat Marwan diangkat menjadi khalifah di Syria. Putra Marwan, 'Abdul-Malik, ditetapkan sebagai Gubernur Palestina dan putra mahkota, sedangkan putra Marwan yang lain, 'Abdul 'Aziz, ditetapkan sebagai Gubernur Mesir dan wakil putra mahkota. Setelah Marwan mangkat, 'Abdul Malik menjadi khalifah, sedangkan kedudukan 'Abdul 'Aziz naik menjadi putra mahkota sekaligus masih tetap mempertahankan kepemimpinannya atas Mesir sebagai gubernur.
'Umar bin 'Abdul 'Aziz menghabiskan sebagian masa kecilnya di wilayah kekuasaan ayahnya di Mesir, utamanya di kota Helwan. Meski begitu, dia menerima pendidikan di Madinah yang saat itu kepemimpinan kota tersebut sudah diambil alih kembali oleh pihak Umayyah pada 692. Menghabiskan masa mudanya di sana, 'Umar menjalin hubungan erat dengan orang-orang saleh dan perawi hadits.
Di penghujung usia, 'Abdul Malik ingin agar takhta kelak diwariskan kepada putranya, Al-Walid, dan bukan kepada 'Abdul 'Aziz. 'Abdul 'Aziz menolak menyerahkan kedudukannya sebagai putra mahkota, tetapi perselisihan dapat dihindari lantaran 'Abdul 'Aziz wafat lebih dulu dari 'Abdul Malik. 'Abdul Malik kemudian menobatkan Al-Walid sebagai putra mahkota. Selain itu, 'Abdul Malik memanggil 'Umar ke Damaskus dan menikahkannya dengan putrinya sendiri, Fatimah.