Berislamnya Umar lalu diikuti keluarganya, seperti Abdullah dan istrinya, Zainab binti Ma'zun, tokoh suku serta para pengikutnya. Sejak masuk Islam, Umar dikenal sangat dekat dengan Rasulullah. Sampai-sampai Nabi SAW melukiskan kedekatannya dengan berkata, "Jika saja Allah mengizinkan harus ada nabi lainnya setelah aku, dia tidak lain adalah Umar."
Karena keteladanan sikapnya itu pula, Nabi SAW memberi gelar Umar sebagai 'Al Faruq' yang berarti 'pembeda' atau 'pemisah'. Maksudnya, Allah telah memisahkan dalam dirinya antara yang hak dan yang batil.
Umar pula satu-satunya orang yang berani menyampaikan pikiran dan gagasan-gagasan di hadapan Nabi SAW, bahkan tak jarang kritik untuk kemaslahatan umat. Misalnya, dalam satu kesempatan bersama Rasul, Umar mengusulkan kepada Nabi agar memerintahkan istri-istrinya memakai hijab (tirai) dengan maksud agar mereka berbicara dengan tamu-tamunya dari belakang hijab.
Menurut Umar, karena yang berbicara dengan mereka tidaklah semua orang baik, ada pula yang jahat. Tak lama kemudian, turunlah ayat tentang hijab yang membenarkan pendapat Umar. Ketika menggantikan Abu Bakar Ash Shiddiq, Umar tak segan-segan menindak siapa pun yang melanggar hukum.
"Sekalipun aku ini keras, tapi sejak semua urusan diserahkan kepadaku, aku menjadi orang yang sangat lemah di hadapan yang hak," ujar Umar di depan rakyatnya. Soal keadilan yang keras ditegakkan Umar ini, ada kisah menarik.
Suatu ketika, putra Amru bin 'Ash (gubernur Mesir) berpacu kuda dengan penduduk setempat. Lalu mereka berselisih dalam menentukan pemenangnya. Putra Amru marah dan memukul orang Mesir tadi, seraya berkata, "Aku ini putra dua orang yang mulia."
Mendapat aniaya, orang Mesir tersebut mengadu kepada Umar. Dengan nada berang, Umar memanggil gubernur Amru dan anaknya. Umar lalu menyuruh orang Mesir memukul gubernur Amru, dengan demikian putranya tak akan lagi berani sewenang-wenang. "Sejak kapan kamu memperbudak manusia padahal mereka dilahirkan oleh ibu-ibu mereka dalam keadaan bebas merdeka," bentak Umar kepada Amru.