洪武帝在浙西驻扎6年，借助覆船山为中心的秘密明教总舵，奉行徽州谋士朱升提出的“高筑墙，广积粮，缓称王”的策略，迅速秘密扩张自己的实力，这三条战略是洪武帝发展初期的指导思想。
洪武帝在和州驻守几个月后，粮食供应成了问题。与和州相对，紧靠长江南岸的太平、芜湖是盛产稻米的地方，但是没有船只。这时恰好两支红巾军的巢湖水军前来归附，洪武帝亲自处理合并事宜。七月间，巢湖水军千余只战舰突破元军封锁抵达和州。洪武帝的步马军登上巢湖水军的船只，从和州东渡长江。到达对岸的采石，常遇春率军冲杀，攻克采石，获得大量粮食。将士想把粮食和战利品运回和州慢慢享用。见此，洪武帝果断地命人砍断船缆，任船顺流而下，断绝退路。将士们见无路可退，一鼓作气，在洪武帝率领下攻克太平。进入太平，洪武帝重申军纪，严禁掳掠，有个别兵士犯禁，立即处死，因此，洪武帝的军队受到当地百姓的拥护。洪武帝于是置太平兴国翼元帅府，自己做元帅，任命李善长为帅府都事。这样，洪武帝便开始了稳固根据地的工作。
至正十六年（1356年）三月，张士诚在长江三角洲地带发起攻势，进攻江南元军。乘此机会，洪武帝亲自统率水陆大军，第三次进攻集庆。在第三天，攻破城外的陈兆先军营，其部三万六千人归降洪武帝。但是，洪武帝看出降军心存疑虑，军心不定。于是洪武帝就从降军中挑选了五百名勇士当亲军，在夜里守卫，而自己身边，只留有亲兵统领冯国用一人。
第二天，降军知道此事，都十分感动，疑虑全消，甘愿跟随洪武帝打天下。于是，战争进行得十分顺利，不到十天，洪武帝便攻下集庆。洪武帝进城后，下令安抚百姓，改集庆为应天府。小明王韩林儿获报后，升洪武帝为枢密院同佥，不久又升为江南等处行中书省平章。洪武帝在应天则设天兴建康翼大元帅府，以廖小安为统军元帅，李善长为左右司郎中。
次年，耿炳文克长兴，徐达克常州，而洪武帝亲自率众攻取宁国。随后赵继祖克江阴、徐达克常熟。胡大海克徽州、常遇春克池州，缪大亨克扬州。至正十九年（1359年），洪武帝陆续攻占浙东余下各地，常遇春克衢州、胡大海克处州，至此洪武帝部控制江左、浙右各地，向西与陈友谅部相邻。
此时，尽管洪武帝拥有十万兵力，但是占有的地盘仍然很少，而且四面受敌。东面和南面是元军，东南是张士诚，西面是徐寿辉，虽然同是反元武装，但是张、徐二人同小明王却相互敌视。不过，北面小明王、刘福通率领的红巾军主力，大大牵制了元军，而且，张士诚、徐寿辉的力量还不足以兼并洪武帝。这样一来，洪武帝暂时面临着一个很好的发展机会。
至正二十年（1360年），刘基被洪武帝请至应天（今南京），委任洪武帝为洪武帝的谋臣，刘基针对当时形势，向洪武帝提出避免两线作战、各个击破建策，被采纳。
完成了高筑墙部署后，洪武帝便着手实行广积粮。在初期，军粮的解决主要是靠强征，即征收“寨粮”。但是长此以往，军队就会成为纯粹的破坏力量，失去民心。为了解决粮食问题，洪武帝除了动员百姓进行生产外，决定推行屯田法，大力开展军队屯田，任命元帅康茂才为都水营用使，负责兴修水利，又分派诸将在各地开垦种田。几年工夫，到处兴屯，府库充盈，军粮充足。在1360年，洪武帝下令不再征收“寨粮”，以减轻农民负担。为了积粮，洪武帝明令禁酒，但是其手下大将胡大海的儿子胡三舍与别人违法犯禁，私自酿酒获利，洪武帝知道后，下令杀了胡三舍，有人进谏说胡大海此时正在攻打绍兴，希望洪武帝可以看在胡大海的面子上放了胡三舍。洪武帝大怒，坚决严明军纪，于是自己动手将胡三舍杀掉。
</div>