朱元璋称帝后，李善长被封为大礼使，定追封祖、父及册立后妃、太子、诸王等事宜。置东宫官属，李善长兼太子少师，授银青荣禄大夫、上柱国，录军国重事，余仍旧。没多久他又建议设置六部官制，议官民丧服及朝贺东宫仪式。监修《元史》，主编《祖训录》、《大明集礼》等书，制定朝臣大小服色俸赐、天下神衹名号、封建藩国及功臣爵赏，慰问体恤国初先锋、十大元帅、都尉、指挥、阵亡无后者之父母妻子，禁淫祀。
洪武三年（1370年），徐达、李文忠率军返回京城，大封功臣。当时，将军们功劳大的平定了中原，功劳小的也夺取了闽越州郡，李善长在南京留守，“雍容无所见绩”，朱元璋体会到这一点，说李善长虽无汗马功劳，但和我一起共事了很长时间，又在后勤供应上贡献很大，晋封韩国公，授开国辅运推诚守正文臣，特进光禄大夫、左柱国、太师、中书左丞相、参军国事，岁禄4000石，子孙世世勿绝，赐铁券，免二死，子免一死。当时虽然大将军徐达军功累累，地位仍在李善长之下。
李善长外表宽和但内心对人很苛刻，晋封大国，却受爵不让；参议李饮冰、杨希圣，稍侵其权，便论罪奏明皇上要免其官职，和他交情好的中书都事李彬犯法，刘伯温铁面无私，按法律例令办事，李善长“恶人先告状”，以致刘伯温被迫告老退职。朱元璋借淮西力量做了皇帝后，淮西诸将和幕府僚属都成了开国功臣，所以在明朝初年，淮人地位很突出。特别是李善长骄横专擅，既富且贵，凭借自己的权势，颐指气使，凌驾于百官之上，使朱元璋对淮人集团和他越来越不满。张昶、杨宪、汪广洋、胡惟庸先后获罪被杀，碍于李善长过去的功劳，朱元璋一直对他较宽容。一天，朱元璋在和陶凯论斋戒当至诚的时候，向李善长暗示最好还是早些退位：“人之一心，极艰检点，心为身之主，若一事不合理，则百事皆废，所以常自检点，凡事必求至当。今每遇斋戒，必思齐整心志，对越神明。”李善长听了向皇帝磕头称是。洪武四年（1371年）1月，李善长以疾致仕，皇帝赐临濠地若干顷，置守冢150户，给佃户1000余家，仪仗士20家，与魏国公徐达等同。洪武五年，皇帝命他督建临濠宫殿。洪武七年（1374年），朱元璋提拔他弟弟李存义为太仆丞，存义的两个儿子李伸、李佑担任府州官员。又在洪武九年（1376年）将大女儿临安公主下嫁给他儿子李琪，拜为驸马都尉。
李善长在开国册封时位居六公之首，又为中书省左丞相，统领中书省日常事务。虽然李善长已辞官多年，但他仍然是淮西勋贵的顶梁柱，朝中大臣有什么疑难之事，也喜欢找李善长商量之后再作决定，比起徐达来，李善长对朝廷的威胁更大。
事实上，在成功除掉徐达的同时，朱元璋一直思考着如何除掉李善长。只是朱元璋明白，和徐达比起来，李善长这棵老树的根更深、枝更茂，要想搬倒他，还需费一番工夫，仔细计划。
洪武十八年，就在徐达死去的这一年，忽然有人报告朱元璋，说李善长的弟弟李存义父子曾经和胡惟庸相互勾结，准备谋反。
朱元璋听到这件事后不禁喜出望外，认为扳倒李善长的机会来了，他决定亲自提审李存义父子。
“说说看吧，你们是准备怎么谋反的？”朱元璋对李存义说道。
“皇上，该说的我都已经说过了。”原来在此之前刑部已经审过了李存义。
“这事李善长知道吗？”朱元璋继续问道。
“皇上，这事家兄完全不知情，还望皇上明察。”李存义答道。
朱元璋岂肯就此罢手，他明白如果真有这样的事情，他们不会不征求李善长的意见。“老实交代或许还有一条生路，要不然大刑之下，你也会什么都交代的。”
李存义已经领教过刑部大刑的厉害，知道自己熬不过去。想想还不如现在就招了，说不定皇上开恩还真能免自己一死。
“皇上英明，家兄的确知道此事。”李存义说道。
“说说到底是怎么回事吧。”朱元璋不紧不慢地说道。
“胡惟庸想造反，因为我和他是儿女亲家，就让我去说服家兄。家兄听说后很是吃惊，说谋反可是灭九族的勾当，坚决不同意。过了一段时间，胡惟庸又派家兄的一个老朋友杨文裕去劝说，说事成之后定当封家兄为九千岁，与胡惟庸共同治理国家。家兄仍是不肯，但言语间颇有些动摇。”李存义说道。
“那后来呢？”朱元璋生气地问道。他待李善长不薄，不敢想李善长真起反心。
“后来胡惟庸看劝不动家兄，便亲自登门来求。家兄仍是不许。后来家兄提起此事曾对我说：‘老了，等我死后，就随便你们折腾吧，反正我也看不到了。’”李存义继续说道。
“李善长好大的胆子，立马让他来见我。”朱元璋愤怒地命令道。
等把李善长带到，他已是吓得迈不开步子。刚一见到皇上，便瘫倒在地：“皇上，那都是臣一时糊涂才会听了胡惟庸那小人之言。请皇上恕罪。”
朱元璋虽是气愤，但脑子很清醒。他明白，仅靠李存义的这几句供词是扳不倒李善长的。况且如今徐达刚死，如果再杀李善长，只怕会引起老臣们的猜疑。现在不如把他放回去，等掌握了足够的证据再杀他不迟。
“我知道你李善长对我是忠心一片，李相国怎么会和胡惟庸这种小人狼狈为奸呢！这次的事情我就不再追究了，你还回你的杭州好好养老去吧。”朱元璋笑笑说道。
李善长如今早已习惯了安稳的日子，把握不了朝中的形势，更揣摩不到皇上的心思，只以为皇上念其功高，不会拿自己开刀。听皇上不治自己的罪，于是连忙俯身谢过皇上，便又高高兴兴地回杭州去了。
朱元璋的“不治罪”果然麻痹了李善长。他回到杭州后丝毫没有收敛。洪武二十三年（1390年），77岁的李善长扩修宅院，因卫匠不够，竟向信国公汤和借兵勇三百。
汤和一向为人小心谨慎，早早便辞官回了凤阳老家。徐达的死使汤和已隐约感到了山雨欲来，所以行事更加小心。他给李善长回信说，自己已经没有了军职，身边只有几个随从，并没有多余的兵勇借给他。
回完信后，汤和心里仍是不踏实。他明白现在皇上要是想杀人，那只需要他说一句话，有没有罪倒不重要。所以自己一定不能让皇上抓到任何把柄，要让皇上知道自己已是一个胆小怕事、安分守己的小民。于是连夜写了份奏折，把情况向皇上汇报了一遍。
皇上看完汤和的奏折，哈哈大笑，对太子朱标说道：“你看看，我们当年英勇无比的汤大帅，现在竟然变得婆婆妈妈，这点小事还向我呈个折子。不过，如果我们的开国功臣都像汤帅一样安安稳稳地过日子该多好，那样我就放心多了。”朱元璋很高兴汤和已经变成了温顺的百姓，同时也对李善长的大兴土木深恶痛绝。
不久，李善长小妾的哥哥丁斌因仗着李善长的势力胡作非为，以致伤了别人性命，获罪入狱。不知危险即将来临的李善长在小妾的怂恿下，向官府施压，命他们放了丁斌。恰好此事又被盯着李善长的锦衣卫报告给了朱元璋。
朱元璋听说此事，万分愤怒，骂道：“好你个李善长，你凭什么让我的官员放人？如不杀你，天理何存！”于是命人把丁斌押解进京，朱元璋准备亲自审理他。
丁斌在朱元璋的暗示下，招出李善长与胡惟庸往来密切，并密谋造反。随后，在暗示下，李善长的几个家仆也纷纷告发李善长和胡惟庸的阴谋，并说李善长向汤和借兵三百是想试探汤和的态度如何，看有没有可能拉拢汤和共举大事。一时间，诸文武纷纷参奏李善长。
朱元璋眼看时机成熟，于是下旨把李善长打入大牢，听候处置。
太子朱标求情道：“父皇，自古以来治天下者无不以德治国。请问父皇如今你杀罚如此重，今后还有谁肯出来做官呢？李相国为我大明开国第一贤才，如果你杀了他，只怕会令天下士子们心寒啊！”
“标儿，你怎么不明白呢？我杀了这么多人，无非是想交给你一个安稳的大明王朝。你性格软弱，这满朝的功勋们你如何驾驭得了？”如今我把他们都给你除掉，我才放心把朱家的基业交给你啊。朱元璋不是不知道杀罚太重群臣思变，只是面对这么一个仁弱的太子，他也没有更好的选择。
这日早朝，御史进言道：“皇上，昨夜臣夜观天象，发现西南有流星陨落。据史书记载，这预示着有大臣即将获罪身亡。”
朱元璋立即起身道：“看来连天都难容下李善长。”群臣立即附和。
于是在洪武二十三年，朱元璋下旨，说李善长身为皇亲国戚，明知胡惟庸想谋反，竟然不举报，真乃罪大恶极，大逆不道，命将其兄弟二人两家共七十余人全部处死。
走在刑场的路上，77岁的李善长终于明白过来，皇上无论如何是不会放过自己的，他会找出各种理由置自己于死地。可惜，这些道理李善长在锦衣玉食的生活中是不能体会到的。同时，李善长也不禁佩服起朱元璋来。他心想如果自己当了皇帝，也难以容下一个像自己这样的李善长的存在。
李善长虽被小心翼翼地处死，但它引起的余震仍远远超出了朱元璋的想象。太子的话没错，李善长的死震动了满朝的士子。一年后有人替李善长上书喊冤，其意大致为：李善长对皇上忠心耿耿，出生入死帮皇上得了天下，论功应排在首位。况且李善长又是皇亲国戚，说他谋反，证据不足，说他要辅佐胡惟庸，则大错特错。李善长贵为开国第一功臣，即使助胡惟庸得了天下，胡惟庸又能给他什么呢？说流星陨落要杀大臣以应天象，则更不可取。臣害怕天下人听说此事，说李善长立下如此功劳却落得如此下场，以致人心离散。现在李善长已经死了，说这些也没什么意义，只盼皇上您能引以为戒，以鉴将来。
