Yazid lahir tahun 646 pada masa kekuasaan Khalifah 'Utsman bin 'Affan. Ayahnya adalah Muawiyah bin Abu Sufyan yang saat itu menjabat sebagai Gubernur Syria. Ibu Yazid, Maysun binti Bahdal, adalah seorang yang sangat terikat dengan kampung halamannya dan tidak nyaman dengan kehidupan istana, sehingga Mu'awiyah kemudian menceraikannya. Ada kemungkinan Maysun mengandung Yazid atau Yazid masih menyusui pada saat itu.
Masa kecil Yazid dihabiskan di kabilah ibunya, Bani Kalb, suku Arab yang mendiami kawasan Arab barat daya, Gurun Suriah, dan Dataran Tinggi Golan. Bani Kalb sendiri terkenal akan keahliannya dalam sastra dan syair Arab. Sebagian besar dari mereka merupakan penganut Kristen pada abad keenam dan Maysun sendiri adalah seorang Kristen Ortodoks Syria.
Masa Muawiyah
Pada masa kekuasaan ayahnya, Yazid beberapa kali memimpin peperangan melawan Kekaisaran Romawi Timur. Pada 670, dia turut serta dalam upaya penaklukan Konstantinopel. Yazid juga memimpin rombongan haji dalam beberapa kesempatan.
Pada 676, Muawiyah bin Abu Sufyan memutuskan untuk menetapkan Yazid sebagai pewaris tampuk kekhalifahan sepeninggalnya. Majelis musyawarah Damaskus menyepakatinya. Mu'awiyah kemudian memanggil tokoh-tokoh terkemuka di tiap provinsi ke Damaskus dan membujuk mereka menerima Yazid sebagai pewaris.