1930年夏学成回国，先后任中共中央军事委员会参谋长、长江局军委书记兼参谋长、中央军委委员，协助中央军委书记周恩来处理军委日常工作，举办短期军事训练班，并负责讲授暴动方略、游击战、运动战等课程。
1932年1月前往中央苏区首府瑞金，任中央军事政治学校校长兼政治委员。10月任中国工农红军总参谋长，协助朱德、周恩来在前方指挥作战，取得第四次反“围剿”作战的胜利。期间，撰写《现在游击队要解答的问题》、《到敌人后方开展游击战争的几个教训》等，并翻译多篇苏军教材和理论文章，促进了红军干部军事素质的提高。
1934年在第五次反“围剿”中，因反对共产国际派来的军事顾问李德在作战指挥上的教条主义和专横作风而被撤销总参谋长职务，降任第5军团参谋长。
1946年2月，邓小平、刘伯承、薄一波等合影
长征初期，协助军团长董振堂执行后卫任务，掩护中央机关通过国民党军四道封锁线。1934年底复任红军总参谋长，兼中央纵队司令员。
1935年1月指挥先遣部队突破乌江，智取遵义，甩开了敌军主力，使伤亡大半、疲惫不堪的中央红军获得了一次难得的短期休整。遵义会议上，他坚决拥护毛泽东的主张。会后，协助毛泽东等组织指挥了四渡赤水、二进遵义等战役，使部队跳出了敌军包围圈，直插云南北部，并亲率干部团抢占皎平渡，保障全军渡过天险金沙江。5月兼任红军先遣队司令，同政治委员聂荣臻率部进入大凉山，与彝族首领小叶丹歃血为盟，使全军顺利通过彝族聚居区。继而指挥所部在安顺场强渡大渡河，打开红军北上的通路。红一、红四方面军会合后，坚决执行中共中央关于北上抗日的方针，在逆境中和朱德一起同张国焘的分裂活动进行了斗争，被张国焘撤销总参谋长职务，降为红四方面军红军大学校长。
1936年10月红军三大主力会师后，任前敌总指挥部参谋长、红军总参谋长、援西军司令员等职。
抗日烽火
抗日战争爆发后，任八路军第129师师长，和政治委员邓小平一起，率部奋战在太行山上。面对不可一世的日本侵略军，他经常用“勇是男儿头上的桂冠”、“无角绵羊受欺压，有蛰的黄蜂不可侮”等话语来激发将士们的对敌斗争信心。他指挥部队先后进行了夜袭阳明堡、设伏七亘村以及长生口、神头岭、响堂铺、晋东南反“九路围攻”、冀南反十一路“扫荡”、百团大战中的正太榆辽等一系列著名战役战斗，给侵华日军以沉重打击，创建了晋冀鲁豫抗日根据地。他坚决执行中共中央、中央军委的战略方针，积极组织正规军、游击队和民兵相结合的游击集团，并组建大量武装工作队，实行“敌进我进”，向敌占区、交通线广泛出击，粉碎了日伪军的频繁“蚕食”和残酷“扫荡”。与此同时，他率部多次反击国民党顽固派对根据地的进犯，牢牢把紧太行山这道华北抗日根据地的“南大门”，使“平辽半壁山”得以免遭敌寇的蹂躏涂炭。
刘伯承
1942年，他与邓小平领导根据地军民实行生产自给，减租减息，精兵简政，度过了抗日战争最为艰苦的岁月。1943年9月赴延安参加整风运动。1945年6月当选为第七届中央委员。
日本投降后就任晋冀鲁豫军区司令员，于1945年9—11月率部发起上党战役和邯郸战役，歼北犯的国民党军近6万人，并争取其第十一战区副司令长官兼新编第8军军长高树勋率部起义，有力地配合了中共在重庆与国民党的谈判，打破了蒋介石北进的战略企图，为实现党中央“向北发展，向南防御”的方针作出重要贡献。
解放战争
内战全面爆发后，兼任晋冀鲁豫野战军司令员，与邓小平指挥所部以大踏步的运动战，于1946年8月—1947年5月先后取得陇海、定陶、巨野、鄄城、滑县、巨金鱼、豫皖边、豫北等一系列战役的胜利，歼敌数十万，解放大片地区，挫败国民党军的战略进攻，有力配合了其他战场的作战。
和邓小平在一起
1947年6月30日，根据中共中央、毛泽东关于“大举出击，经略中原”的战略决策，与邓小平率领晋冀鲁豫野战军主力12万人在300里正面上一举突破国民党军“黄河防线”，发起鲁西南战役。他采取“攻其一点，吸其来援，啃其一边，各个击破”战法，指挥部队经过28天连续作战，取得歼敌4个整编师6万余人的重大胜利，揭开了人民解放军战略进攻的序幕。8月，刘邓大军分三路挥师南下，开始了千里跃进大别山、直捣国民党统治腹心的壮举。途经汝河时，在前有阻敌、后有追兵的紧急关头，提出“狭路相逢勇者胜”的响亮口号，并和邓小平亲临前卫团指挥作战，终于杀开一条血路。随后，在远离根据地、无后方作战的困难条件下，粉碎敌人33个旅对大别山的重点进攻。继而与出击陇海线的华东野战军外线兵团、挺进豫西的陈谢集团密切协同，在江淮河汉之间大量歼灭敌人，逐步在鄂豫皖边地区完成战略展开，实现了中央和毛泽东设想的最好前途——站稳脚跟，创建巩固的根据地。经过10个多月的艰苦作战，歼敌30余万人，解放县城100余座，开辟并扩大了中原解放区，形成三路大军互为犄角、机动歼敌、逐鹿中原的大好局面，迫使国民党军陷于被动防御地位，对扭转全国战局起了决定性的作用。毛泽东把以刘邓大军挺进大别山为起点的战略进攻称作中国革命“历史的转折点”。
1948年5月起任中原军区、中原野战军、第二野战军司令员。11月，根据中央军委决定，与邓小平、陈毅、粟裕、谭震林组成总前委，统一指挥中原、华东两大野战军进行淮海战役，同徐淮地区的国民党军主力进行战略决战。