بعد وفاة النبي محمد، شارك أبو موسى في الفتح الإسلامي للشام، وشهد وفاة أبو عبيدة بن الجراح، وخطبة عمر بن الخطاب بالجابية.
وفي سنة 17 هـ، عزل عمر بن الخطاب المغيرة بن شعبة عن البصرة، وولى أبا موسى، وكتب إليه عمر بالمسير إلى الأهواز، فافتتحها عنوة، وقيل صُلحًا، وافتتح أصبهان سنة 23 هـ