Diangkatnya Abu Bakar menjadi khalifah betul-betul dalam keadaan yang sangat krusial. Pada hari kedua pasca Rasullah wafat, kaum Anshar berkumpul di balai Bani Sa'idah (Tsaqifah Bani Sa'idah) dan menghendaki Sa'ad bin Ubadah sebagai khalifah (yang kebetulan dari Madinah dan kalangan Anshar sendiri). Mendengar hal itu, segera Umar bin Khattab bersama bersama Abu Bakar dan Abu Ubaidillah bin Jarrah menyusul perkumpulan orang-orang Anshar dan berhasil mengubah keadaan. Abu Bakar diberi kesempatan untuk berpidato menyampaikan bahwa orang yang berhak menjadi khalifah harus dari suku Quraisy. Hal ini berdasarkan beberapa sabda Nabi saw. Salah satunya adalah hadits berikut,
Yang Artinya: "Diriwayatkan dari Abu Hurairah ra, ia berkata, "Rasulullah saw bersabda, 'Manusia itu dalam urusan ini menjadi pengikut kaum Quraisy. Orang Muslim dari mereka mengikuti muslim Quraisy, demikian pula orang Kafir mereka mengikuti orang yang kafir dari kaum Quraisy." (HR Bukhari dan Muslim) Alasan suku Quraisy mendapatkan superioritas adalah karena pada era jahiliah, suku Quraisy merupakan pembesar-pembesar masyarakat Arab. Selian itu, mereka juga penduduk asli Tanah Haram (Makkah). Begitu mereka memeluk Islam dan Makkah ditaklukkan oleh Muslim, orang-orang mengikuti mereka dan berbondong-bondong masuk Islam. (Darul Ifta al-Mishriyah, juz 8, h. 180) Tentu, superioritas suku Quraisy ini tidak lagi relevan untuk konteks sekarang. Melanjutkan pidatonya, Abu Bakar menyampaikan agar Umar bin Khattab atau Abu Ubaidillah bin Jarrah yang diangkat sebagai khalifah. Namun usulannya tidak mendapat respons sama sekali. Orang-orang justru terkesan dengan apa yang baru saja Abu Bakar sampaikan. Saat itulah Umar bin Khattab bangun untuk membaiat Abu Bakar, tapi langkahnya didahului oleh seorang tokoh dari Khazraj bernama Basyir bin Sa'ad. Setelah itu, menyusul kemudian Umar, Abu Ubaidillah, dan seluruh orang-orang yang hadir di lokasi, termasuk tokoh suku Aus yang bernama Asid bin Khudair. Bai'at ini masih terbatas, mengingat hanya dihadiri oleh kaum Anshar dan beberapa dari kaum Muhajirin. Tidak ada ahlul bait yang terlibat dalam pembai'atan itu, termasuk juga sahabat-sahabat senior seperti Ali bin Abi Talib, Utsman bin Affan, Abdurrahman bin Auf, Zubair bin Awwam, Sa'ad bin Abi Waqqash, Thalhah bin Ubaidillah, dan lain-lain. Pada hari berikutnya, atau bertepatan dengan hari ketiga setelah kewafatan Rasulullah, dilaksakanlah bai'at secara terbuka di masjid. Semua orang berkumpul dan membai'at Abu Bakar. Laki-laki membai'at dengan menjabat tangan, sementara perempuan cukup dengan menggunakan isyarat ucapan.