لما ولي عمر بن عبد العزيز الخلافة، عمد إلى جميع الولاة والحكام الظالمين فعزلهم عن مناصبهم، ومنهم خالد بن الريان صاحب حرس سليمان بن عبد الملك الذي كان يضرب كل عنق أمره سليمان بضربها، وعين محله عمرو بن مهاجر الأنصاري، فقال عمر بن عبد العزيز: «يا خالد، ضع هذا السيف عنك، اللهم إني قد وضعت لك خالد بن الريان، اللهم لا ترفعه أبداً»، ثم قال لعمرو بن مهاجر: «والله إنك لتعلم يا عمرو إنه ما بيني وبينك قرابة إلا قربة الإسلام، ولكني سمعتك تكثر تلاوة القرآن، ورأيتك تصلي في موضع تظن ألا يراك أحد، فرأيتك حسن الصلاة، خذ هذا السيف قد وليتك حرسي».