قيل أنه مات بسبب السل. وتوفي عمر بن عبد العزيز يوم الجمعة لعشر ليال بقين من رجب سنة 101هـ على أصح الروايات، واستمر معه المرض عشرين يوماً، وتوفي بدير سمعان من أرض معرة النعمان بالشام، بعد خلافة استمرت سنتين وخمسة أشهر وأربعة أيام، وتوفي وهو ابن تسع وثلاثين سنة وخمسة أشهر، وعلى أصح الروايات كان عمره لما توفي أربعين سنة.

لما ولي عمر بن عبد العزيز الخلافة، عمد إلى جميع الولاة والحكام الظالمين فعزلهم عن مناصبهم، ومنهم خالد بن الريان صاحب حرس سليمان بن عبد الملك الذي كان يضرب كل عنق أمره سليمان بضربها، وعين محله عمرو بن مهاجر الأنصاري، فقال عمر بن عبد العزيز: «يا خالد، ضع هذا السيف عنك، اللهم إني قد وضعت لك خالد بن الريان، اللهم لا ترفعه أبداً»، ثم قال لعمرو بن مهاجر: «والله إنك لتعلم يا عمرو إنه ما بيني وبينك قرابة إلا قربة الإسلام، ولكني سمعتك تكثر تلاوة القرآن، ورأيتك تصلي في موضع تظن ألا يراك أحد، فرأيتك حسن الصلاة، خذ هذا السيف قد وليتك حرسي».

كان عمر قد بدأ بنفسه في رد المظالم، فقد ثنّى ذلك بأهل بيته وبني عمومته من الأمويين، فقد رأى أن الأمويين أدخلوا الكثير من مظاهر السلطان التي لم تكن موجودة على عهد النبي محمد صلى الله عليه وسلم أو خلفائه الراشدين، فأنفقوا الكثير من المال من أجل الظهور بمظاهر العظمة والأبهة أمام رعيتهم، وفوجيء بتلك الثياب الجديدة وقارورات العطر والدهن التي أصبحت له بحجة أن الخليفة الراحل لم يصبها، فهي من حقه بصفته الخليفة الجديد، فأمر مولاه مزاحماً فور تقديم هذه الزينة له ببيعها، وضم ثمنها إلى بيت مال المسلمين

بدأ عمر بن عبد العزيز برد المظالم بنفسه، روى ابن سعد: لما رد عمر بن عبد العزيز المظالم قال: «إنه لينبغي أن لا أبدأ بأول من نفسي»، فنظر إلى ما في يديه من أرض أو متاع، فخرج منه حتى نظر إلى فص خاتم، فقال: «هذا مما كان الوليد بن عبد الملك أعطانيه مما جاءه من أرض المغرب»، فخرج منه. وقد بلغ به حرصه على التثبت أنه نزع حلي سيفه من الفضة، وحلاه بالحديد، قال عبد العزيز بن عمر: «كان سيف أبي محلى بفضة فنزعها وحلاه حديداً».

عندما ولي عمر بن عبد العزيز الخلافة كان من أول أعماله إيقاف التوسع في المناطق النائية في أطراف الدولة، ومحاولة سحب القوات الإسلامية من مناطق القتال، وأول أعماله في هذا المضمار كان في القوات التي عُني الخليفة سليمان بحشدها وإنفاذها بقيادة أخيه مسلمة لفتح القسطنطينية، وظلت تحاصرها مدة سنتين لاقت فيها مصاعب كثيرة دون أن تفلح في تحقيق هدفها، فلما ولي عمر بن عبد العزيز الخلافة، كتب بقفل مسلمة بن عبد الملك من القسطنطينية، وقد كان سليمان أغزاه إياها برّاً وبحراً، فاشتد عليهم المقام وجاعوا حتى أكلوا الدواب من الجهد والجوع، حتى يتنح الرجل عن دابته فتقطع بالسوق، ولجّ سليمان في أمرهم، فكان ذلك يغم عمر، فلما ولي رأى أنه لا يسعه فيها بينه وبين الله عز وجل شيء من أمور المسلمين ثم يؤخر فعله ساعة، فذلك الذي حمله على تعجيل الكتاب، وقد وجه عمر بن عبد العزيز إلى مسلمة وهو بأرض الروم يأمره بالقفول منها بمن معه من المسلمين، فوجه إليهم خيلاً عتاقاً وطعاماً كثيراً وحث الناس على معونتهم، فكان الذي وجه إليه الخيل العتاق فيما قيل خمسمائة رأس.