بعد وفاة النبي
شارك أبو ذر في الفتح الإسلامي للشام بعد وفاة النبي، وشهد فتح بيت المقدس مع عمر بن الخطاب، وبعد الفتح أقام في الشام، وتذكر بعض المصادر الشيعية أن عثمان هو الذي نفاه إلى الشام، وكان يُفتي الناس ويُعلّمهم أمور دينهم، ويأمرهم بالمعروف وينهاهم عن المنكر ولكن في حِدّة. تسببت حدته تلك في فساد العلاقة مع معاوية بن أبي سفيان والي الشام حين اختلفوا في آية ﴿يَا أَيُّهَا الَّذِينَ آمَنُوا إِنَّ كَثِيرًا مِنَ الْأَحْبَارِ وَالرُّهْبَانِ لَيَأْكُلُونَ أَمْوَالَ النَّاسِ بِالْبَاطِلِ وَيَصُدُّونَ عَنْ سَبِيلِ اللَّهِ وَالَّذِينَ يَكْنِزُونَ الذَّهَبَ وَالْفِضَّةَ وَلَا يُنْفِقُونَهَا فِي سَبِيلِ اللَّهِ فَبَشِّرْهُمْ بِعَذَابٍ أَلِيمٍ ٣٤﴾ [التوبة:34] فيمن نزلت، إذ قال معاوية: «نزلت في أهل الكتاب»، بينما قال أبو ذر: «نزلت فينا وفيهم»، فكتب معاوية يشكوه إلى الخليفة عثمان بن عفان بأنه أفسد عليه الشام، فطلبه عثمان؛ فخرج أبو ذر إلى المدينة. أقام أبو ذر في المدينة يدعو الناس بنفس المنهج الحاد، مما دعا الخليفة عثمان لمعاملته معاملة خاصة يغالبها الحذر. حتى إذا كان يوم كان فيه أبو ذر عند باب عثمان ليؤذن له، إذ مر به رجل من قريش، فقال: «يا أبا ذر، ما يجلسك هاهنا؟»، قال أبو ذر: «يأبى هؤلاء أن يأذنوا لنا»، فدخل الرجل فقال: «يا أمير المؤمنين، ما بال أبي ذر على الباب؟». فأذن له، فجاء حتى جلس، فإذا عثمان يسأل كعب الأحبار في ميراث يُقسّم: «أرأيت المال إذا أدي زكاته، هل يخشى على صاحبه فيه تبعة؟»، فقال كعب: «لا»، فقام أبو ذر فضربه بعصا، ثم قال: «يا ابن اليهودية، تزعم أن ليس عليه حق في ماله، إذا آتى زكاته، والله يقول: ﴿وَالَّذِينَ تَبَوَّءُوا الدَّارَ وَالْإِيمَانَ مِنْ قَبْلِهِمْ يُحِبُّونَ مَنْ هَاجَرَ إِلَيْهِمْ وَلَا يَجِدُونَ فِي صُدُورِهِمْ حَاجَةً مِمَّا أُوتُوا وَيُؤْثِرُونَ عَلَى أَنْفُسِهِمْ وَلَوْ كَانَ بِهِمْ خَصَاصَةٌ وَمَنْ يُوقَ شُحَّ نَفْسِهِ فَأُولَئِكَ هُمُ الْمُفْلِحُونَ ٩﴾ [الحشر:9]. ويقول: ﴿وَيُطْعِمُونَ الطَّعَامَ عَلَى حُبِّهِ مِسْكِينًا وَيَتِيمًا وَأَسِيرًا ٨﴾ [الإنسان:8]»، وجعل يذكر نحو ذلك من القرآن، فقال عثمان للقرشي: «إنما نكره أن نأذن لأبي ذر من أجل ما ترى». لم يستطع أبو ذر أن يتأقلم مع ذلك، وروى البخاري في صحيحه أنه ذكر ذلك لعثمان فقال عثمان: «إن شئت تنحَّيتَ، فكنتَ قريبًا»، فخرج أبو ذر للإقامة في الربذة. بينما ذكر ابن هشام أن عثمان نفاه إلى الربذة.