وقد استدام ابن عمر على سياسة الحياد تلك، فكان لا يأتي أمير على المدينة وقت الفتن إلا وصلّى خلفه، وأدّى إليه زكاة ماله، سوى الحجاج بن يوسف الثقفي الذي ترك ابن عمر الصلاة خلفه لما رآه يؤخر الصلاة. ولما استقر الأمر لمعاوية، دسّ عمرو بن العاص ليعلم ما في نفس ابن عمر من أمر الخلافة، فقال عمرو: «يا أبا عبد الرحمن ما يمنعك أن تخرج فنبايعك، وأنت صاحب رسول الله ﷺ وابن أمير المؤمنين، وأنت أحق الناس بهذا الأمر؟»، فقال ابن عمر: «لو لم يبق إلا ثلاثة أعلاج بهُجر، لم يكن لي فيها حاجة». فعلم أن لا مطمع له في الخلافة، فقال عمرو: «هل لك أن تبايع لمن قد كاد الناس أن يجتمعوا عليه، ويُكتب لك من الأرضين ومن الأموال ما لا تحتاج أنت ولا ولدك إلى ما بعده؟»، فغضب ابن عمر، وقال: «أُفٍّ لك. اخرج من عندي. ثم لا تدخل عليّ. ويحك! إن ديني ليس بديناركم ولا درهمكم وإني أرجو أن أخرج من الدنيا ويدي بيضاء نقية». وقد ذكر الزُهري أن معاوية تعرّض لابن عمر يومًا في خطبة، فقال: «ومن كان أحق بهذا الأمر مني؟»، فتهيّأ ابن عمر للرد بقوله: «أحق به من ضربك وأباك على الكفر». إلا أنه تراجع خشية أن يُظن به حرصه على الخلافة. كما ذكر نافع مولى ابن عمر أن معاوية قدم إلى المدينة المنورة يومًا، وحلف على منبر المسجد النبوي ليقتلنّ ابن عمر، فتجمّع له الناس، فتراجع.