نشأ في عائلة ملحوظة من القضاة ورجال الدين فلقي رفاعة عناية من أبيه، فحفظ القرآن الكريم، وبعد وفاة والده رجع إلى موطنه طهطا، ووجد من أخواله اهتماماً كبيراً حيث كانت زاخرة بالشيوخ والعلماء فحفظ على أيديهم المتون التي كانت متداولة في هذا العصر، وقرأ عليهم شيئًا من الفقه والنحو. التحق رفاعة وهو في السادسة عشرة من عمره بالأزهر في عام 1817 وشملت دراسته في الأزهر الحديث والفقه والتفسير والنحو والصرف، وغير ذلك. خدم بعدها إمامًا في الجيش النظامي الجديد عام 1824.