Ibnu Khaldun menceritakan, menjelang wafatnya Abdul Malik bin Marwan, Al Hajjaj bin Yusuf mendesak agar kekuasaan selanjutnya diserahkan kepada anaknya Al Walid bin Abdul Malik dan selanjutnya diserahkan kepada adiknya Sulaiman bin Abdul Malik, tidak seperti wasiat ayahnya Marwan bin Al Hakam. Al Hajjaj bin Yusuf berpendapat bahwa permasalahan bukan pada Abdul Aziz bin Marwan akan tetapi pada anaknya, Umar bin Abdul Aziz, yang juga merupakan cicit dari Umar bin Al Khathab RA, dari jalur ibunya, Lailah binti ‘Ashim bin Umar bin Al Khathab.
Al Hajjaj bin Yusuf khawatir jika kepemimpinan Bani Umayyah berada ditangan Umar bin Abdul Aziz yang dikenal lemah lembut akan menjadi celah kembalinya ancaman Khawarij dan Syiah. Karena tekanan ini, Abdul Aziz bin Marwan bersedia memberikan posisinya kepada keponakannya, Al Walid bin Abdul Malik, mengingat pengaruh Al Hajjaj bin Yusuf sangat besar khususnya di tengah Jaisy Bani Umayyah. Sebagai gubernur di Mesir, Abdul Aziz bin Marwan sangat dekat dengan penduduk Mesir dan merenovasi Masjid Amr bin Ash yang renovasinya dapat dilihat sampai saat ini.
