هاجر أبو عبيدة من مكة إلى المدينة المنورة، فنزل على كلثوم بن الهدم الأوسي، وبعد وصول النبي محمد إلى دار الهجرة، آخى بين المهاجرين والأنصار، وقد روى مسلم في الصحيح عن أنس بن مالك: أن رسول الله ﷺ آخى بين أبي عبيدة بن الجراح وبين أبي طلحة (زيد بن سهل بن الأسود الخزرجي). ونقل ابن سعد في الطبقات «أن رسول الله ﷺ آخى بين أبي عبيدة بن الجراح وسالم مولى أبي حُذيفة». وقيل «أن رسول الله ﷺ آخى بين أبي عبيدة وبين سعد بن معاذ».