Umar berwasiat kepada Sa'ad dan berkata, "Janganlah engkau merasa bangga dengan kedudukanmu sebagai keponakan Rasulullah dan sekaligus sebagai sahabatnya. Sesungguhnya Allah tidak akan menghapus kejelekan dengan kejelekan, tetapi Dia akan menghapus kejelekan dengan kebaikan.
Sesungguhnya tidak ada manfaatnya berbangga dengan keturunan (nasab) di sisi Allah kecuali dengan kepatuhan yang tulus kepada-Nya. Seluruh manusia baik yang berasal dari keturunan mulia maupun dari keturunan yang hina hakikatnya adalah sama dalam pandangan Allah. Mereka semua adalah Hamba Allah dan Allah Rabb mereka. Tingkat mereka akan berbeda-beda seuai dengan kemaafan yang diberikan Allah padanya dan sedikit banyaknya ketaatan mereka kepada Allah.
Lihatlah seluruh perkara yang telah diperbuat Rasulullah shallallahu 'alaihi wa sallam sejak dia diutus hingga berpisah dengan kita, kemudian ikuti jejaknya karena sesungguhnya itulah kebaikan yang hakiki. Inilah nasihatku padamu dan jika engkau menolaknya dan membencinya, maka amalanmu akan gugur sia-sia dan engkau akan menjadi orang-orang yang merugi."
Ketika melepas kepergiannya Umar berkata, "Engkau akan menghadapi suatu perkara yang sangat berat. Maka bersabarlah terhadap apapun yang menimpamu, maka akan terkumpul dalam dirimu rasa takut kepada Allah, dan ketahuilah sesungguhnya takut (khasyah) kepada Allah akan dapat segala yang dilarang-Nya. Sesungguhnya barangsiapa yang dapat selalu patuh dan tunduk kepada-Nya adalah orang-orang yang membenci dunia dan mencintai akhirat.
Sebaliknya orang-orang yang bermaksiat melanggar perintahnya adalah orang-orang yang mencintai dunia dan membenci akhirat. Sesungguhnya hati itu diciptakan Allah memiliki hakikat, ada yang bersifat rahasia dan ada yang bersifat terang-terangan.
Hakikat hati yang terang-terangan yaitu jika dia merasa bahwa orang yang memujinya dan menghinanya sama saja tidak dapat mempengaruhi dirinya dalam berbuat kebaikan. Adapun hakikat hati yang rahasia dapat diketahui dengan munculnya hikmah dari dalam hatinya melalui ungkapan lidahnya, dan kecintaan manusia terhadap dirinya.
Sesungguhnya jika Allah mencintai seseorang Allah akan menjadikan orang tersebut dicintai makhluk-Nya. Sebaliknya jika Allah membenci seorang hamba Dia akan menjadikan hamba tersebut dibenci oleh makhluk-Nya. Maka ukurlah di mana kedudukan dirimu di sisi Allah dengan kedudukanmu di sisi manusia."
Maka Sa'ad berangkat menuju Irak dengan membawa 4000 pasukan, 3000 orang dari penduduk Yaman, ada yang menyebutkan dia membawa 6000 pasukan, dan Umar mengiringinya dari Shirar hingga al-A'wash.