وعندما تولّى سليمان الخلافة، عزل موسى وأولاده، وقتل ابنه عبد العزيز بن موسى الذي شارك في فتح الأندلس. أمَّا طارق بن زياد فقد انقطعت أخباره إثر وصوله إلى الشام، واضطربت أقوال المؤرخين في نهايته، غير أن الراجح أنه لم يولَّ عملا بعد ذلك، ويبدو أنَّه آثر أن يعيش بعيدًا عن الأضواء، ويُمضي أيَّامه في العبادة والزهد بعيدًا عن مسرح الشهرة وضجيج السياسة، وقد توفي سنة 720م.