كان أبو ذر أثناء إقامته بالمدينة يقوم على خدمة النبي، حتى إذا فرغ من خدمته، أوى إلى المسجد لينام. وجده النبي يومًا نائمًا في المسجد، فنكته برجله، فاستوى أبو ذر جالسًا، فقال النبي: «ألا أراك نائمًا؟»، قال أبو ذر: «فأين أنام، هل لي من بيت غيره؟»، فجلس النبي إليه، ثم قال: «كيف أنت إذا أخرجوك منه؟»، قال أبو ذر: «ألحق بالشام؛ فإن الشام أرض الهجرة، وأرض المحشر، وأرض الأنبياء، فأكون رجلاً من أهلها»، فقال النبي: «كيف أنت إذا أخرجوك من الشام؟»، قال: «أرجع إليه؛ فيكون بيتي ومنزلي»، قال النبي: «فكيف أنت إذا أخرجوك منه الثانية؟»، قال أبو ذر: «آخذ إذًا سيفي فأقاتل حتى أموت»، فكشّر النبي، وقال: «أدلك على خير من ذلك؟»، قال: «بلى، بأبي وأمي يا رسول الله»، فقال النبي: «تنقاد لهم حيث قادوك، حتى تلقاني وأنت على ذلك». ولما اتسعت رقعة دولة الإسلام في آخر حياة النبي سأل أبو ذر النبيَّ الإمارةَ، فأبى النبيُّ وقال: «إنك ضعيف، وإنها خزي وندامة، إلا من أخذها بحقها، وأدى الذي عليه فيها».