1787年3月1日，在独立战争接近尾声时，美国各州批准了邦联条款，成立了邦联政府，取代了大陆会议行使权力。邦联政府的权力有限，各州仍保留着自己的“主权、自由和独立”。因此，在解决战后初期国内各种经济困难和政治动荡时，邦联政府显得力不从心。于是，建立一个更强有力、更加集权的政府的要求提出来了。这就需要一个新的宪法。
1787年3月28日，富兰克林当选制宪会议的代表。5月14日，制宪会议在费城召开，在三四个月的会期中，富兰克林每天11点到会。会上的一名乔治亚州的代表后来写下了对会议期间的富兰克林的印象，“富兰克林博士是十分著名的当今最伟大的哲学家。……但是，……他不是演说家，看来也不专心致志于政治。然而，他却是个不同凡响的人。他讲故事讲得那么动听，是我从来没有听过的。他82岁了，脑力却十分活跃，足以和一个25岁的年轻人相媲美”。
富兰克林在制宪会议中的作用主要是和解，不是引导代表们走向哪一特定的方向，而是设法使代表们保持一致。他自己最喜爱的政治理想——院制议会、复式行政机构、公务员无薪制——没有一项被会议采纳。
每当他发言，他总预先把发言内容写在纸上，请人替他念，因为他不能长时间地站着。他在制宪会议上的这些发言稿都得到保存。
6月2日，他动议行政官员无薪，得到亚历山大·汉密尔顿的附议，但没有被采纳。麦迪逊回忆道：“它受到十分尊重的对待，但与其说是由于相信它的有用性和可行性，还不如说是由于动议的提出者。”
6月9日，一些较小的州提出应享有和较大的州同样的投票权，引起了激烈的争论。11日（星期一），富兰克林提出书面的协调意见：
“我有幸看到，直到这一提案——代表比例问题——引起争论以前，会议一直是在冷静和克制中进行着。在这种场合，如果出现了任何反面意见，我希望它不会再次出现；因为我们被派到这里来是为了相互协商而不是争执，是宣布一种既定的看法，做出决不更改的决议，而不是来受启发或被说服。”
事情暂时平息了。
在大州和小州的争执中，富兰克林和华盛顿都没有参与。他们更多的是从资产阶级国家的整体利益来考虑问题。但在一般代表心目中，本州的利益仍然占居重要地位。较小的州相信如果不具有平等的代表权，他们的利益就只能任较大的州摆布。在各州中，马萨诸塞州、宾夕法尼亚州和弗吉尼亚州（加上其28万黑人）共有人口万，其他10个小州才共有164.1万人。较大的州则认为，如果只有3.7万人的特拉华州和拥有42万人的弗吉尼亚州享有同样的代表席位，那是绝对不公平的。
在制宪会议的开头两个星期中，较大的州在一些小州的支持下，得以通过在国家议会的两院中均以人口决定代表席位的提案。小州代表则马上表示不满，坚持他们在邦联制下所享有的同等权力。双方争执不下，会议气氛紧张。
6月28日，自由主义思想家富兰克林动议在开会前先向上帝祈祷。代表们惊愕之余，没有采纳，但这一提议本身和富兰克林的虔诚祈求上帝帮助的发言，却缓和了会场的气氛。那一天，一些小州的代表扬言，如果没有平等代表席位，就散会。但在他发言后，人们的头脑冷静下来，会议开始了。
两天后，富兰克林提议妥协，他呼吁持不同意见的双方，各自做些让步以达到立场的拉近。
7月2日，富兰克林被选入一个大委员会。在这个委员会中，一州只有一名代表，任务是在大、小州的议员议席问题上寻找出妥协的办法。
第二天，大委员会开会了。富兰克林先倡行在两院都实行比例代表制，讨论的结果是较小的州不同意。最后，在富兰克林动议的基础上，委员会达成了共识。7月5日委员会向制宪会议报告了这一妥协方案。他们的建议是：
1.在国家立法机构的第一个部分（众议院），应有各州的代表，每4万名居民中产生1名代表；
2.一切关于筹款或分摊钱款的议案必须从第一部分产生，第二部分不得加以修改或补充；
3.在立法机构的第二部分（参议院）各州享有同等数量的议席。
这一妥协方案在制宪会议上以5（康涅狄格、纽泽西、特拉华、弗吉尼亚和北卡罗莱纳）比4（宾夕法尼亚、马里兰、南卡罗来纳和乔治亚）被采纳。马萨诸塞州代表分为几派，无法参加表决。
这是惯于寻求妥协方案的富兰克林平生所作的最重大的协调之一，它直接关系到美国宪法能否在它最被需要的时期问世。
7月13日，一名来费城访问的马萨诸塞州生物学家马纳塞·卡特勒被人引见去拜望富兰克林。下午，富兰克林在他自己的家里。来访者见到了富兰克林，发现他是“一位矮而胖的老人，身着一套教友会教徒的服装，秃顶，有短短的白头发”，没有戴帽子，同几个男人、两三位夫人坐在他家花园的一株桑树下，其中有一位是他的女儿。见到来人，“富兰克林从椅子上站了起来，握住我的手，表示见到我很高兴，并请我在他身边坐下。他的嗓音低沉，但他的表情开朗、坦率，令人愉快。”他读了来人的介绍信，又握了卡特勒的手，并把他介绍给在场的人。
那里的男人都是制宪会议的代表，在富兰克林的花园里坐着谈话，一直到天黑，萨拉·贝奇把茶端到树下来。在卡特勒看来，那些代表们都很喜欢富兰克林。他还提到富兰克林在给那些人讲一个关于两个头的蛇的故事。
天黑以后，富兰克林把人们领进了他的书房，卡特勒认为那是美国最大、也是最好的“私人图书馆”。
卡特勒还参观了他的一些“古董”：一架玻璃机器，展示着人体内动脉和静脉中的血液循环，富兰克林发明的用来复写信件的滚筒印刷机；还有他的长长的人工胳臂和手可以从高高的书架上取书或放书的自动取书器；他的巨大的有扶臂的摇椅；一把大扇子在它的上方，那是他用来扇凉、赶苍蝇的。在他的壁炉架上，有一大堆的奖章、胸像和一些蜡像、石膏像……
他和卡特勒谈哲学特别是自然哲学、哲学史，一直谈到22点。富兰克林知识的广博、风度、举止都给卡特勒留下了极深的印象。
制宪会议开了两个多月，有人认为行政被列为第二位是贬低了它。发言不多的富兰克林在7月26日指出，“这样的观点与共和的原则是背道而驰的。在自由的政府里，治理者是仆人，人民居于其上，是主人。”
8月9日，他又对外国人任公职发表了看法。他认为外国人在美国任公职不需要居住14年之久，像制宪会议上提出来的那样。因为一些外国人在美国曾服务得很出色，而一些土著人却加入了反对祖国的行列。
10月，他又发言反对任公职者的财产资格，因为诚实并不是和财富相伴而来的，能力也不是财富的产物。
9月17日，星期一，是最后签署宪法的日子。在秘书准备好文件后，富兰克林便起身发言，也就是请人读他的发言稿：
“我承认，这一宪法中的几个部分我目前还不赞同，但我不能肯定我永远不会赞同；因为，活了这么久，我经历过许多事，那是关于在得到更好的信息或经过更充分的考虑后改变看法的事实，即使是在重大的问题上也是如此。往往我以为是正确的，但却发现是另外一回事。所以，我年纪越大，就越怀疑自己的判断力，而注意他人的判断。……”
“以这样的观点，先生，我同意这个宪法，连同它的一切缺陷，……总之，先生，我不仅表达了一个愿望，希望制宪会议的每一位成员（他可以对它还有反对意见）和我一道，在此时此刻……在这一文件上署名，以表明我们的一致。”
然后，富兰克林动议签署宪法。
在最后一刻，华盛顿提出了把4万名居民产生一名议员改成3万，获得一致通过。于是，秘书当下就把这一数字改了过来。
对富兰克林的动议，制宪会议表决通过签署宪法。对当时的情景，麦迪逊写道：
“在最后的一些代表签名的时候，富兰克林博士注视着主席的椅子。那椅背上碰巧漆着一轮太阳，他向几位走近他的代表评价着说，那漆匠发现难以用他的手艺区分开一轮旭日和一轮落日。他说：‘我经历了太多太多的这些议程和我对发布的这些文件的希望和担忧的变迁，看着主席身后的太阳，我不能辨别它是升起还是落下。但是现在我终于有幸知道那是一轮旭日，而不是残阳’。”
富兰克林终于有信心将美国的这部宪法比喻为东升的旭日了，他参与了将这轮红日托出海面。这是他的老迈之躯为他所热爱的祖国做出的最后一大贡献。
次日上午11点，宾州代表出现在州议会会场上，富兰克林向议长发布了联邦宪法签署了的消息。联邦宪法在宾州获得批准。
9月21日，宾州立法会议开会。12月12日，批准了宪法。13日，这一批文正式在法院公布，宾州政府的所有官员列队从州政厅出来，然后又走回去，完成了庆祝典礼。
富兰克林9月17日关于宪法的经典演讲，冲破了制宪会议的保密禁令，迅速传开并印成文字，在以后的数月里它被重印五十余版。1788年6月21日，联邦宪法获得9个州批准，从而使宪法生效。7月4日，为了庆祝美国独立日，费城举行了一个声势浩大的庆祝会。这时富兰克林已病得不轻，无法亲自参加庆祝会。
1787年10月31日，富兰克林以全票当选为宾夕法尼亚州第三任州长。不久，他病倒了。1788年1月3日至5月12日，他一次都未能参加州行政会的会议。在他任职的最后几个月里，宾夕法尼亚州的一些行政事务他都是在家中主持处理的。就连1788年9月16日联邦宪法已获得11个州批准的消息，他也是在家中得知的。1788年10月31日，富兰克林第三次当选宾州州长，但10月刚过，他就病倒了。
1788年10月，托马斯·密弗林当选州长，继任了富兰克林连任了3年的职位。富兰克林最终离开了他服务了六十余年的政治生活。
