ووردت روايتان حول قصة إسلامه، الأولى أنه بلغه مبعثُ النبيّ، فقال لأخيه أُنَيْس: «اركب إلى هذا الوادي، فاعلم لي علم هذا الرجل الذي يزعم أنه نبي يأتيه الخبر من السماء، واسمع من قوله ثم ائتني»، فانطلق أنيس وسمع قوله، ثم رجع إلى أبي ذر، فقال له: «رأيته يأمر بمكارم الأخلاق، ويقول كلامًا ما هو بالشعر»، فقال أبو ذر: «ما شفيتني مما أردت»، فتزوّد أبو ذر، وقدم مكة، والتمس النبي وهو لا يعرفه، وكره أن يسأل عنه حتى أدركه بعض الليل، فاضطجع فرآه علي بن أبي طالب فعرف أنه غريب، فلما رآه تبعه، واستضافه ثلاثة أيام، ثم سأله عن سبب قدومه، قال أبو ذر: «إن أعطيتني عهدًا وميثاقًا أن ترشدني فعلت»، ففعل علي فأخبره، فقال: «إنه حقّ، وإنه رسول الله ﷺ، فإذا أصبحت فاتبعني، فإني إن رأيت شيئًا أخافه عليك قمت كأني أريق الماء، فإن مضيت فاتبعني حتى تدخل مدخلي»، ففعل، وانطلق يلحق به حتى دخل على النبي، وسمع من قوله، فأسلم لوقته، ثم أمره النبي قائلاً: «ارجع إلى قومك فأخبرهم حتى يأتيك أمري»، فقال أبو ذر: «والذي نفسي بيده لأصرخن بها بين ظهرانيهم»، فخرج حتى أتى المسجدَ فنادى بأعلى صوته: «أشهد أن لا إله إلا الله وأن محمدًا عبده ورسوله»، فقام القوم إليه فأوسعوه ضربًا حتى أضجعوه، وأتى العباس بن عبد المطلب، فأكبَّ عليه ليمنع عنه، وقال: «ويلكم، ألستم تعلمون أنه من غِفار! وأنه من طريق تجارتكم إلى الشام؟»، فأنقذه منهم. أمّا الرواية الثانية فقد رواها مسلم في «صحيحه» عن عبد الله بن الصامت عن أبي ذر.