朱元璋在占领应天后，算是有了自己的根据地，也基本上解决了粮食问题，但军事形势极为严峻：元将定定在东边据守镇江；青衣军张明鉴据扬州；张士诚占据平江、常州，后来又占据了浙江西部的一些地区；元将八恩尔不花驻守徽州，石抹宜孙驻处州，石抹宜生驻婺州，而衢州又有宋伯颜不花防守；天完徐寿辉则攻占了池州。
这几天，将士们的家眷陆续从和州来到应天，人人欣喜，为应天的气派和江南的富庶惊叹不已。在人人欢欣的时候，只有朱元璋夜不能寐，心事重重。
有次，众人议事，朱元璋论及当前的形势，认为对自己不利，颇显忧虑。
李善长说：“张士诚、徐寿辉虽强，江左、浙右又为各郡所并，元兵各方驻守，看似应天处于劣势，但事情总是有其两面性，劣势的背面往往是优势。”
徐达、汤和却颇不以为然，在他们看来，这些文臣多是磨嘴皮子，又不能上战场，还能把劣势说成优势。
而冯国用听此，颇受启发：“处在劲敌之中，其实倒是一种自我保护。东面是张士诚、北面是小明王、西面又是徐寿辉，张士诚、徐寿辉虽是敌人，但这样的形势却割断了元兵主力进攻应天的路途，他们和小明王一起成为应天的三大护卫啊。”
朱元璋脸上稍稍舒展开来：“说得好啊，我们就是要用好这个优势，看清这个劣势，从小处发展。”
这几日，朱元璋站在地图面前，东观西望，南察北看，仔细分析了此时的军事形势和各个势力范围的情态，觉得眼下要巩固应天，只有东边的镇江是个缺口，若镇江落在张士诚的手中，那张士诚的势力可以直接进攻应天，而南边是宁国需要收归，否则宁国被徐寿辉吞并，那在背部受敌窥视，也很危险。要巩固应天，守护应天，这是两个必须攻下的据点。
连冯国用都不得不叹服朱元璋的军事才能以及他敏锐的观察力。
几经讨论，朱元璋采用了冯国用先取下游镇江的建议。取镇江是朱元璋刚刚安顿在应天不久所做的第一次征地之战，且镇江又是如此重要，所以出兵前，朱元璋以为此仗只可胜不可败，不然的话可能引起张士诚的出击，把局面弄得更糟。
朱元璋还想到一个问题，他虽然相信自己的将士身经百战，勇猛威武，攻城略地已非难事，但是将士们的家眷刚刚从和州来，安定在应天，恐怕他们现在无心打仗，还沉浸在家人相聚的温馨中。朱元璋想用一招苦肉计，而这个“割肉”的人，只能是自己最亲近的兄弟，至于这个人选，他已经想好了，那就是徐达。
这天，朱元璋找来徐达，对他说道：“现在的情形只有你最适合带兵出击镇江了，你是老将，在军中有威信，你若舍得家眷，其他人自然也就无话可讲。”
徐达说：“说实话，这个时候出兵，兵士们的士气还真的很难鼓舞啊。”
朱元璋笑道：“我倒是有个计策，让他们在出兵前个个遵守军纪。不过，就是需要你的帮忙，演一段苦肉计才行，不知你愿不愿意？”
徐达不解道：“我能演啥苦肉计，只要能整顿军队，安定人心，有什么不乐意的。我们都是出生入死这么多年的兄弟了，你就快说吧，别卖关子了。”
于是，朱元璋就将自己的计策讲给了徐达，徐达点头答应了。
到了出兵的日子，将士们都整理好武器战马，依依不舍地离别妻子，却不见统领徐达下令出发。将士们正着急间，忽然听说徐达犯了大错，正在应天府受审，可能处以死刑，众人慌忙去看怎么回事。
原来是徐达在攻下集庆清点城内物资的时候，把一个很普通的玉坠藏下未交，打算送给夫人做个纪念。
而徐达的夫人和马秀英在闲话中说到此事，并给马秀英看了那块玉坠，并非名贵物品，徐达夫人也不过是感慨徐达对她的一番情意。而马秀英听了，心中有些不平。朱元璋都做了大元帅了，也没给自己送过礼物，哪怕是再平凡不过的物件，同时，马秀英多了个心眼，前段时间朱元璋得到一个如花似玉、会些武功的女子郭宁莲，她怀疑朱元璋把东西都送给郭宁莲了，就向朱元璋抱怨起来，这才引发徐达私藏物品的公案来。而这一段看似真实的内幕，是由朱元璋和马夫人杜撰出来的，但又符合生活常理，所以，将士们都信以为真了。
应天府内，坐着马秀英、郭宁莲、徐达的夫人，还有被捆绑了的徐达，李善长、汤和等人，下面又围观了许多等待出发的将士。
朱元璋坐在大元帅的位子上，表情严肃，神情痛苦，沉痛道：“徐达，你跟随我这么多年，我一直把你当亲兄弟看待，你怎么能犯这种错误呢？可知道我们刚进城就约法三章了，如今别怪大哥不庇护你，军法处置！否则难以面对众多的将士。”徐达的夫人立即啜泣道：“求元帅饶他一命，小女子愿代徐达去死，这都是因我而起的。”
朱元璋并不理他，马夫人上前道：“不过一块小玉坠，且不是什么名贵物品，用得着上军法吗？”
朱元璋立即大怒道：“你们这些妇人，统统退下，什么是军法？军法就是要严格执行，以明纪律，玉坠虽小，事情却大。我们一再强调不可私自藏物，百姓的归还百姓，我们不是强盗，我们是为百姓打仗，守护百姓的。拿百姓的东西算什么，这和强盗又有什么区别！”
朱元璋立即转过身去，仿佛不忍看徐达，大声喝道：“拉下去，军法处置！”
众人惊呆了，士兵也不敢动徐达，徐达表情绝望地望了望大家，似乎真是要永别了。只见徐达夫人当即目瞪口呆，晕了过去。
李善长和汤和此时站了出来，千说万劝。再三求情，好说歹说，朱元璋才松了口，让徐达以功赎罪，给徐达松了绑。当着众人的面，徐达立下诺言，此城不攻下不归。而朱元璋也借机对在场的将士道：“此次出兵，关系重大，若要留下徐将军的性命，你等且要卖力攻城。攻城事小，占城事大，你等切不可擅自抢掠财物，切忌烧房杀人，一旦违反军令，不可将功折罪。”
经历这样一个波折，徐达所带的将士们勇猛杀敌，军纪严明。
镇江元守将定定见义军攻势如此猛烈，率兵力拒，但敌不过徐达一万精兵，战死镇江。而徐达攻破镇江时，严整军纪，再三强调不许扰民，将士们每到一城都被如此要求，且出发前经历了徐达险些丧命的事情，都遵守军令，善待百姓。刚刚经历战争的镇江，竟然像是未曾经过战争，百姓安安静静，照常生活，原来徐达已经在城内四处张贴告示，告慰居民义军的军纪，请百姓不必惊慌，说他们是来保护人民的。镇江的百姓，早就听说朱元璋的军队进驻应天的时候，不杀不伤百姓，不抢不夺百姓物资，纪律严明，如今亲身经历，感慨万千，军民相处和谐。
而徐达由于攻打镇江而升任统军元帅。他在安抚地方百姓、督促他们进行农业耕作的同时，仍然攻下了金坛、丹阳等地，巩固了这个位居最东边的前沿阵地，以防张士诚的西侵。
朱元璋觉得镇江离应天如此近，安顿了镇江也就为守卫应天作了铺垫，亲往镇江安民。到了镇江后，朱元璋先拜谒孔夫子庙，以显示自己尊儒爱民，行仁义，同时在镇江召集军民，宣告爱民、护民的思想，且重用镇江的儒士，让这些读书人劝告当地百姓拥护士兵，勤恳务农，发展经济。朱元璋亲行镇江，不仅稳定了军心，更重要的是稳定了百姓的心，徐达因为此次立下大功而被免除军法。
同年7月，朱元璋在应天自称吴国公，设立了自己的行政机构及军事管理机构江南行枢密院，任命徐达为同佥枢密院事。徐达身为江南行枢密院同佥、镇江统军之帅，在抵御了张士诚的多次进攻后，乘胜进围常州。
但是，常州守敌死守城池，不肯出降，加上城内兵粮充足，徐达等攻打不下。朱元璋为示公允，即依军法降了徐达及其属下一级官职，并写信责备徐达说：“虐降致叛，劳师无功，此吾所以责将军，其勉思以补前过。否则必罚无赦！”徐达由于久攻常州不得不但要受到朱元璋的指责，而且还要应付张士诚军的一次次反扑。但徐达沉着指挥部队作战，并没因受这些困扰而有所贻误，使张军的企图难以得逞。同时，在城外三十里外驻扎的常遇春、廖永安、胡大海等率部前来增援，内外呼应，张军大败，生擒敌将张德。残敌溃逃奔入城内。见常州危急，张士诚便派了手下悍将吕珍夜间潜入城内，加强防守能力。徐达督军轮番猛攻，吕珍眼看士气低落，支撑不了，便弃常州而逃。到至正十七年（1357年）3月，终于胜利地打完了长达半年之久的常州攻坚战。朱元璋在常州设立长春枢密院，由徐达担任佥枢密院事，汤和担任枢密院同佥，统兵镇守该城。
接着，徐达乘胜进攻宁国，俘获十万余降兵，战马二千匹，然后又出师宜兴、常熟、江阴马驮沙（今江苏靖江）等地，朱元璋尽据了宜兴的靖江一线地区。
经过两年多的征战，朱元璋已经逐渐稳固了以应天为中心的江南政权，大体控制了今江苏、安徽南部和浙江西北部地区。
