من شيوخ عمر بن عبد العزيز الذين تأثر بهم: عبيد الله بن عبد الله بن عتبة بن مسعود، فقد كان عمر يجله كثيراً، ونهل من علمه وتأدب بأدبه وتردد عليه حتى وهو أمير المدينة، ولقد عبّر عمر عن إعجابه بشيخه وكثرة التردد إلى مجلسه فقال: «لَمجلسٌ من الأعمى عبيد الله بن عبد الله بن عتبة بن مسعود أحب إليّ من ألف دينار». وكان يقول في أيام خلافته لمعرفته بما عند شيخه من علم غزير: «لو كان عبيد الله حياً ما صدرت إلا عن رأيه، ولوددت أن لي بيوم واحد من عبيد الله كذا وكذا». وكان عبيد الله مفتي المدينة في زمانه، وأحد الفقهاء السبعة، قال عنه الزهري: «كان عبيد الله بن عبد الله بحراً من بحور العلم».