أمام شدة التعذيب التي تعرض لها عمار وأهله، قيل أن عمار هاجر إلى الحبشة، وهو أمر مُختلف فيه. إلا أن المؤكد أنه هاجر إلى يثرب (المدينة المنورة). وقد رُوي أن النبي (ص) لما هاجر إلي يثرب، قدمها وقت الضحى، فقال عمار: “ما لرسول الله (ص) بُد من أن نجعل له مكانًا إذا استظل من قائلته ليستظل فيه، ويصلي فيه”، فجمع عمار حجارة، فبنى مسجد قباء، فكان أول مسجد بُني، وكان بذلك عمار أول من اتخذ مسجدًا يُصلّي فيه.