Al-Walid lahir pada tahun 668 pada masa kekuasaan Khalifah Mu'awiyah bin Abu Sufyan. Dia merupakan putra tertua dari ayahnya, 'Abdul Malik.
Pada masa kekhalifahan kakeknya, Marwan bin Al-Hakam, 'Abdul Malik ditetapkan sebagai putra mahkota dan saudara 'Abdul Malik, 'Abdul Aziz, ditetapkan sebagai putra mahkota kedua. Dengan demikian, saat 'Abdul Malik menjadi khalifah, 'Abdul 'Aziz berada di urutan pertama sebagai pewaris sepeninggal 'Abdul Malik. 'Abdul Malik berkeinginan agar takhta diwariskan kepada putranya, tetapi 'Abdul 'Aziz menolak menyerahkan statusnya. Namun perselisihan dapat dihindari lantaran 'Abdul 'Aziz meninggal pada Mei 705. Lima bulan kemudian, 'Abdul Malik mangkat. Al-Walid kemudian mewarisi tampuk kekhalifahan tanpa ada halangan.