وكان ليسار أبناء ثلاثة، تزوج أحدهم، المسمى إسحاق، ابنة مولى يسمى صبيح، فأنجبت له محمدًا صاحب المغازي فيما بعد، وقد ترعرع ابن إسحاق في المدينة المنورة وأدرك بعض الصحابة المعمرين أمثال: أنس بن مالك، أم سعد بنت سعد الأنصارية. وكان والده إسحاق وعمه موسى وعبد الرحمن من المحدثين المعروفين. كما كان له أخوة من رواة الحديث هما عمر وأبو بكر.