كان عمر بن الخطاب يُجل أبيًّا، ويتأدب معه، ويتحاكم إليه. وقد روى عن عمر بن الخطاب قوله: «أقضانا علي، وأقرؤنا أبي، وإنا لندع من قراءة أبي، وهو يقول: «لا أدع شيئًا سمعته من رسول الله ﷺ، وقد قال الله تعالى: ﴿مَا نَنْسَخْ مِنْ آيَةٍ أَوْ نُنْسِهَا نَأْتِ بِخَيْرٍ مِنْهَا أَوْ مِثْلِهَا أَلَمْ تَعْلَمْ أَنَّ اللَّهَ عَلَى كُلِّ شَيْءٍ قَدِيرٌ ١٠٦﴾ [البقرة:106]»». كما رُوي أنه طلب رجل حاجة إلى عمر، وإلى جنبه رجل أبيض الثياب والشعر، فقال الشيخ: «إن الدنيا فيها بلاغنا، وزادنا إلى الآخرة، وفيها أعمالنا التي نجزى بها في الآخرة». فسأل الرجل: «من هذا يا أمير المؤمنين؟»، قال: «هذا سيد المسلمين أبي بن كعب». وحين خطب عمر بالجابية، قال: «من أراد أن يسأل عن القرآن فليأت أبي بن كعب، ومن أراد أن يسأل عن الفرائض فليأت زيدًا، ومن أراد أن يسأل عن الفقه فليأت معاذًا، ومن أراد أن يسأل عن المال فليأتني؛ فإن الله جعلني خازنًا وقاسمًا». ورُوي أن أبيًا بن كعب قال لعمر بن الخطاب: «مالك لا تستعملني؟»، قال: «أكره أن يدنس دينك».