أنشأ أحمد بن طولون قصره في موقع ميدان القلعة الحالي وقد اندثر تماماً، وقد بدأ في بنائه في (شعبان 256 هـ/ يوليو 870 ) ويُحكى من ضخامته أنه كان له أربعون باباً، كان القصر بمثابة نواة لمدينة القطائع، وقد حول ابن طولون السهل الواقع بين القصر والجبل إلى ميدان كبير يضرب فيه بالصوالجة، وكان للقصر عدة أبواب منها باب الميدان الكبير وكان منه دخول الجيش وخروجه، وباب الخاصة، وباب الجبل الذي يلى جبل المقطم، وباب الحرم، وباب الدرمون وباب دغناج وسميا كذلك نسبة إلى حاجبين بهذين الاسمين كانا يجلسان أمامهما، وباب الساج لأنه كان مصنوعًا من خشب الساج، وباب الصلاة الذي يخرج منه ابن طولون للصلاة وكان على الشارع الأعظم وكان يعرف أيضًا بباب السباع.