استعمله أبو بكر قائدًا عسكريًا في حروب الردة، ثم وجَّهه لفتح فلسطين على رأس ستة أو سبعة آلاف مقاتل. فبدأ المناوشات في فلسطين، والتقى تحت قيادة خالد بن الوليد في معركة أجنادين، وشارك في معركة فحل وحصار دمشق، وكان على رأس الميمنة في معركة اليرموك. ثم فتح سبسطية ونابلس، واللد ونواحيها ويبنى وعمواس وبيت جبرين، ثم هبط جنوبًا ففتح رفح، وعسقلان، وكان قد فتح غزة في عهد أبي بكر، وحاصر قيسارية، وبدأ حصار بيت المقدس ثم انضم إليه أبو عبيدة بن الجراح، فأصبح تحت قيادة أبي عبيدة. ولما أُصيب أبو عبيدة في طاعون عمواس استخلفه على الشام.