بقي حسن في مصر حوالي ثلاث سنوات ما بين القاهرة والإسكندرية، ثم قيل بأنه اختلف مع أمير الجيوش بدر الدين الجمالي، فسجنه ثم طرده من مصر على متن مركب للأفرنج إلى شمال أفريقيا، لكن المركب غرق في الطريق فنجى حسن فنقلوه إلى سوريا ثم تركها ورحل إلى بغداد ومنها عاد إلى أصفهان فوصلها 29 ذو الحجة 473 هـ / 10 يونية 1081.