安度晚年高龄辞世
战后的美国经济呈现出了繁荣景象,麦迪逊的威望也提高了许多。在第二届总统任期结束以后,麦迪逊将职务交卸给他亲手指定并在竞选中获胜的詹姆斯·门罗,便于1817年在友善的气氛中步出白宫,离职隐退了。麦迪逊活到85岁高龄,比他在立宪大会上的所有同事都长寿。他亲眼看到了火车和轮船的出现。在1831年,麦迪逊成了最后一位健在的开国元勋。他不仅是最后一个活着的宪法签署人,而且是当时出席大陆会议和1776年弗吉尼亚立宪会议的惟一幸存者。他说:“我比其他同时代的人活得都长”,“我要记住,我已活得这么久,人们早该忘记我了。”当时,美国的国土已延伸到密西西比河,成为拥有25个州的大国。1826年,当他的前任、也是他的密友杰斐逊去世以后,麦迪逊继承其教育事业担任了弗吉尼亚大学的校长。一直到他生命的最后一刻,他始终保持着对宪法工作的浓厚兴趣,但却没有靠它再捞政治资本的愿望。1829年他担任了弗吉尼亚大会的联合主席,修改50多年前他参与制定的州宪法。麦迪逊又回到弗吉尼亚奥林奇县蒙特彼利埃庄园,这个生他养他的种植园。麦迪逊在他舒适的庄园安详的和他的妻子去度过余生,除了担任弗吉尼亚大学校长外,不再担任其他职务。1836年6月26日,麦迪逊在蒙特彼利埃去世。他病重时,一位朋友劝他躺在床上不要讲话。他幽默地说:“我在床上说话最舒服。”临终前,为了让他活到《独立宣言》发表60周年纪念日,朋友们建议他服用一种兴奋剂以延长寿命,但他拒绝了。结果,在7月4日独立纪念日前几天他与世长辞了。麦迪逊死后,他的夫人将他在制宪大会上的记录售与政府。这份珍贵的资料当时并不为人所知,在这个资料的引言中他写道:不论人们是否认为缔造《联邦宪法》的建筑师们都称职,不论他们所缔造的大厦前途命运如何,我总觉得自己有责任表明自己坚定不移的信念,因为我有机会亲自倾听和领会大会中集体和个人的各种观点,因而形成了以下的信念。我深信:1787年制宪会议的与会者担负着伟大而艰巨的任务,以无比纯正的动机、彻底的献身精神和高度的责任感,全心全意投入会议工作,以实现人民所寄托的伟大目标,即设计并提出一套完善的宪法体系,补充原有宪法的不足之处,以保证国家人民永恒的自由、幸福。这样的大会是史无前例的。这段话,我们也可看做是对麦迪逊的最好赞颂。人们通常所不知道的情况是,麦迪逊的两个副总统都死于任上,而且,麦迪逊曾亲自指挥一个炮兵连作战。麦迪逊死后不久,一份他写的《对我的国家的忠告》公之于世,他写道:我发自肺腑的忠告和我心灵深处的信念,就是要珍惜和维护美利坚合众国,并使其永存。