Kekhalifahan mengalami kemunduran militer pada masa Yazid. Pada 682, Yazid mengembalikan kedudukan 'Uqbah bin Nafi' sebagai gubernur Afrika Utara dan 'Uqbah berhasil memenangkan perang dengan Berber dan Romawi. 'Uqbah kemudian melanjutkan penaklukan di barat ke Tangier dan di timur ke Pegunungan Atlas. Dengan 300 pasukan berkuda, dia bertolak menuju Biskra dan dia disergap pasukan Berber di sana. 'Uqbah dan semua pasukannya gugur. Berber kemudian melancarkan serangan balik dan menyingkirkan kekuatan Muslim dari Afrika Utara. Kekhalifahan juga kehilangan pengaruh mereka di laut dengan Pulau Rodos dan Kreta.
Yazid juga tidak melanjutkan kebijakan ayahnya untuk menyerang Kekaisaran Romawi Timur dan lebih memusatkan perhatian untuk mengukuhkan wilayah perbatasan.