昂热城堡耸立在曼恩河畔的岩石上，由于它的战略防御位置，曾是罗马人居住的地点之一。 在9世纪，堡垒属于强大的安茹伯爵，在12世纪归属金雀花王朝的英格兰国王。1204年，该地区被腓力二世征服，他的孙子路易九世（圣王路易）在13世纪初兴建了庞大的城堡。 昂热城堡周长600米，占地25,000平方米，周围有17个巨大的塔楼，每一个塔曾经有40米高，但后来为使用大炮而降低了高度。只有磨坊塔保留了原来的高度。

1352年，约翰二世将这座城堡给了他的儿子那不勒斯的路易一世。路易娶了富有的布列塔尼公爵夏尔·德·布卢瓦的女儿，改建城堡，在1373年委托布鲁日画家 hennequin 和巴黎的挂毯织工尼古拉巴塔耶完成了著名的启示录挂毯。 那不勒斯的路易二世（路易一世的儿子）和阿拉贡的约朗德增建了圣吉纳维夫小堂（1405年至1412年）和皇家公寓。小堂供奉的是圣王路易收购的真十字架碎片。 15世纪初，法国王太子得到圣女贞德的帮助，从巴黎逃到昂热城堡，后来登基成为查理七世。

1562年，凯瑟琳·德·美第奇将城堡恢复为强大的堡垒，但她的儿子亨利三世降低了塔的高度，用城堡的石头兴建街道和村庄。但是面对来自胡格诺派的威胁，国王还是在城堡的阳台上安装了火炮，维持城堡的防御能力。在18世纪末，它厚厚的墙壁经受住了旺代起义军的大规模炮轰，显示作为一个军事堡垒的价值。 一所军事学院在城堡成立，以训练年轻军官战略。在滑铁卢战役中击败拿破仑一世的阿瑟·韦尔斯利，第一代威灵顿公爵，也是受训于昂热军事学院。 在第二次世界大战期间，纳粹的弹药储存场在城堡内爆炸，这座城堡严重受损今天，城堡由昂热市拥有，改为博物馆，拥有世界上最大最古老的中世纪挂毯收藏，其中14世纪的“启示录挂毯”为其无价的宝藏之一。

在这座城堡里，藏着一座美轮美奂的居所以页岩和石灰岩为主建起的城堡，让人感觉到严峻、朴实无华，但它的内部却有着另一番景象。 经过吊桥，走入城堡，就可看到安茹公爵的别墅，哥特后期的建筑和花园令人心旷神怡。果园、菜园、药用植物园、片片花圃让你流连忘返。