لمّا قدم رسول الله صلی الله عليه وآله وسلم المدينة، قال عمار: ما لرسول الله صلی الله عليه وآله وسلم بُد أن نجعل له مكاناً إذا استظل من قائلته ليستظل فيه ويصلي فيه، فجمع حجارة فبنى مسجد قباء، فهو أوّل مسجد بني في الإسلام وكان ذلك على يد عمّار.

انحاز عمار إلى جانب علي بن أبي طالب في حربه مع معاوية بن أبي سفيان حينما نشبت الفتنة بين المسلمين والتي قتل فيها الخليفة عثمان بن عفان، فشهد موقعة الجمل، وموقعة صفين، فكان يقاتل وهو شيخ طاعن في السن عمره 93 عامًا.
وقد قُتل عمار بن ياسر في موقعة صفين في صفر سنة 37هـ، وهو يقاتل في صفوف جيش علي بن أبي طالب.

بعد وفاة النبي، شارك عمار في “حروب الردة” في عهد الخليفة أبو بكر الصديق، واستبسل “يوم اليمامة” لما اشتدّ القتال، وقد قطعت أذنه يومئذ، فكانت تتذبذب، وهو يقاتل أشد القتال. وفي عهد الخليفة عمر بن الخطاب، أرسله عمر واليًا على الكوفة بالعراق.

بعد أن استقر المسلمون بعد الهجرة في يثرب، وأخذ عمار مكانة عالية بين المسلمين، وكان الرسول (ص) يحبه حبًا عظيمًا، وقد قال عنه صلى الله عليه وسلم: “إن عمّارا مُلِىء إيمانًا إلى مُشاشه تحت عظامه”.
وحينما وقع خلاف عابر بين خالد بن الوليد وعمّار قال الرسول: “من عادى عمّارا عاداه الله، ومن أبغض عمّارا أبغضه الله”، فسارع خالد إلى عمار معتذرًا وطامعا بالصفح، وقال النبي (ص): “اشتاقت الجنّةِ إلى ثلاثة: إلى علي، وعمّار وبلال”. وقد شهد عمار مع النبي (ص) كل غزواته وبيعة الرضوان.

أمام شدة التعذيب التي تعرض لها عمار وأهله، قيل أن عمار هاجر إلى الحبشة، وهو أمر مُختلف فيه. إلا أن المؤكد أنه هاجر إلى يثرب (المدينة المنورة). وقد رُوي أن النبي (ص) لما هاجر إلي يثرب، قدمها وقت الضحى، فقال عمار: “ما لرسول الله (ص) بُد من أن نجعل له مكانًا إذا استظل من قائلته ليستظل فيه، ويصلي فيه”، فجمع عمار حجارة، فبنى مسجد قباء، فكان أول مسجد بُني، وكان بذلك عمار أول من اتخذ مسجدًا يُصلّي فيه.