Sulaiman lahir di Madinah sekitar tahun 675 pada masa kekuasaan Khalifah Mu'awiyah bin Abu Sufyan. Sepeninggal Mu'awiyah bin Abu Sufyan mangkat pada 680, tampuk kekhalifahan diwariskan kepada putranya, Yazid bin Mu'awiyah. Penobatan Yazid ditentang banyak pihak dan gaya hidupnya juga dipandang tidak pantas untuk ukuran seorang pemimpin umat. Rasa ketidakpuasan terhadap Yazid melebar menjadi sentimen anti-Umayyah, sehingga seluruh anggota Bani Umayyah diusir dari kawasan Hijaz, di antaranya adalah Sulaiman sendiri bersama ayah dan kakeknya. Mereka kemudian mengungsi di Syria yang merupakan pusat kekuasaan Wangsa Umayyah.
Yazid mangkat pada 683 dan takhta diwariskan kepada putranya, Mu'awiyah bin Yazid. Namun Mu'awiyah tidak genap setahun berkuasa dan mangkat tanpa meninggalkan keturunan. Sebagian suku Arab dan tokoh di Syria kemudian menyatakan kesetiaan kepada 'Abdullah bin Zubair yang menjadi khalifah pesaing Umayyah dan berpusat di Makkah. Mereka disebut kelompok Qays. Sedangkan suku-suku Arab yang mendukung Umayyah, disebut kelompok Yamani, mengangkat Marwan bin Al-Hakam menjadi khalifah. Dalam masa kekuasaannya yang tidak genap setahun, Marwan berhasil mengembalikan kawasan Syria ke dalam kendali Umayyah. Khalifah 'Abdul Malik yang merupakan putra dan penerusnya berhasil mengalahkan 'Abdullah bin Zubair dan mengembalikan kekhalifahan ke dalam satu kepemimpinan.
Pada masa 'Abdul Malik, Sulaiman ditunjuk untuk menjadi Gubernur Palestina, jabatan 'Abdul Malik pada masa Khalifah Marwan. Pada tahun 701, Sulaiman memimpin rombongan haji. Sebelum 'Abdul Malik mangkat, dia menobatkan Al-Walid sebagai putra mahkota pertama dan Sulaiman sebagai putra mahkota kedua. Sepeninggal 'Abdul Malik, Al-Walid menjadi khalifah pada 705 dan secara hukum, Sulaiman naik menjadi putra mahkota pertama. Pada masa kekuasaan Al-Walid, Sulaiman tetap menjabat sebagai Gubernur Palestina. Sulaiman mengubah ibu kota provinsinya dari Al-Ludd ke Ramlah. Dia juga memerintahkan pembangunan Masjid Al-Abyan di Ramlah.
Kedudukan Sulaiman menjadikannya dekat dengan kelompok Yamani yang mendominasi provinsinya. Dia menjalin hubungan kuat dengan Raja' bin Haiwah, seorang ulama tabi'in yang mengawasi pembangunan Kubah Shakhrah di Yerusalem yang dibangun atas perintah 'Abdul Malik. Raja' kemudian menjadi guru dan pendamping Sulaiman. Sulaiman juga menjalin hubungan dekat dengan lawan politik Al-Hajjaj bin Yusuf yang merupakan orang kepercayaan Khalifah Al-Walid. Pada 708, Sulaiman memberikan suaka kepada Yazid bin Muhallab bersama keluarga besarnya. Yazid sendiri sebelumnya dipecat dari jabatannya sebagai Gubernur Khorasan oleh Al-Hajjaj dan kemudian ditahan, tetapi kabur dan bersembunyi dalam perlindungan Sulaiman. Saudara Sulaiman, Al-Walid, tidak berkenan dengan yang telah dilakukan adiknya tersebut. Sulaiman kemudian menawarkan diri untuk membayarkan denda yang dibebankan Al-Hajjaj pada Yazid dan mengirimkan denda tersebut kepada Al-Walid bersama dengan salah satu putra Sulaiman sendiri, Ayyub, dalam keadaan dirantai agar Yazid diberi pengampunan. Al-Walid mengabulkan permohonan adiknya meski mendapat penentangan dari Al-Hajjaj. Yazid kemudian menjadi orang kepercayaan Sulaiman dan mengajari Sulaiman cara berpakaian yang indah, membuatkan hidangan lezat padanya, dan memberinya hadiah-hadiah besar. Yazid tetap bersama Sulaiman selama sembilan bulan atau sampai kematian Al-Hajjaj pada 714.