Comprenant que la ville occupait une position stratégique, Akbar décida de faire d'Agra sa capitale en 1558. Le fort étant en ruines, il le fit reconstruire afin d'en faire un palais résidentiel pour son fils Jahângîr. La construction, qui employa près de 4 000 personnes, s'étendit sur huit années pour s'achever en 1573. Le monument, originellement en briques, fut reconstruit avec du grès rouge venant du Rajasthan.