لقد كانت المدينة المنورة في عصر مالك مهداً للعلم، إذ كان بها عدد من التابعين، وقد لازم مالك ابن هرمز ملازمة لم يخلطه فيها بغيره، ثم اتجه إلى الأخذ من غيره من العلماء مع مجالسة شيخه الأول، فوجد في نافع مولى ابن عمر بغيته، فجالسه مع مجالسة ابن هرمز وأخذ عنه علماً كثيراً، قال الإمام مالك: «كنت آتي نافعاً نصف النهار، وما تظلني الشجرة من الشمس أتحيَّن خروجه، فإذا خرج أدعه ساعة، كأني لم أره، ثم أتعرض له فأسلم عليه وأدعه، حتى إذا دخل أقول له: «كيف قال ابن عمر في كذا وكذا؟»، فيجيبني، ثم أحبس عنه، وكان فيه حدة».