شهد أبو ذر فتح بيت المقدس مع عمر بن الخطاب، وأقام في الشام. تسببت حدَّته في فساد العلاقة مع والي الشامِ معاوية بن أبي سفيان، فكتب معاوية يشكوه إلى عثمان بن عفان بأنه أفسد عليه الشام، فطلبه عثمان؛ فخرج أبو ذر إلى المدينة. وفي المدينة حدثت خلافات، فخرج إلى الرَّبْذَة، وتوفي فيها سنة 31 هـ أو 32 هـ، وصلى عليه عبد الله بن مسعود، وألحده بنفسه.