日军的报复“扫荡”给抗日根据地留下了极凄惨的景象，太行山区的富庶之乡沁源县，“房屋全部烧光，被杀死者七千人，数十万群众无衣无食无房子”，根据地“许许多多的村庄成了废墟”。
国民党乘八路军根据地之危，于1940年11月停发了八路军的薪饷和武器弹药供应。1941年1月，国民党发动第二次反共高潮，制造了震惊中外的皖南事变。一度缓和的国共矛盾又处于破裂边缘，加剧了八路军在敌后所处的严峻形势：经济上，完全孤悬敌后；军事上，日军的压迫变本加厉。在115师344旅等部奉中央和总部之命南下开辟华中根据地后，八路军在抗击日寇之际，还要用一部分主力来准备应付蒋介石对延安下毒手。
彭德怀经历了苏区的艰难创业和撤离、转移，备尝长征中无根据地作战之苦，对敌后抗日根据地的建设倾注了极大的心力。在百团大战的紧张战斗中，彭德怀在中共北方局高干会议上，就巩固抗日根据地问题做过长篇报告。他根据中央的方针，总结根据地三年工作的经验教训，对如何坚持抗日民族统一战线、建立三三制政权和加强财政经济建设提出了一系列适合敌后条件的具体政策措施。抗日根据地依靠自力更生，在敌人的封锁下支持抗战，扶助被敌人摧残地区的民众重建家园。敌后200余县的农村陆续进行了村民普选，把毛泽东提出的三三制政权，建立到社会的最基层。
形势的发展使彭德怀对毛泽东的游击战争战略有了更深刻的领悟，在敌后军事建设上，从过去偏重于对主力军的扩军整训，进而致力于加强地方武装和群众游击武装的建设。
1941年2月22日，彭德怀向各战略区发出关于军区工作的指示，要求把八路军的基干兵团与军区组织系统分开，建立起军区独立的组织机构与系统，在军区领导下加倍发展地方武装和组织各种群众性的抗日武装队伍，以便在任何情况下(即使主力转移)保卫根据地。3月28日，彭德怀在北方局干校发表关于《抗日根据地的武装斗争》的重要演说，根据毛泽东人民战争的思想、红军十年斗争和八路军三年抗战的经验，提出建立正规军、地方军、民兵三结合的武装体制，对三者各自的性质、任务、作用和相互关系作了明确的规定。彭德怀的这一方案，使敌后抗日武装的几个方面在毛泽东抗日游击战略的思想指导下，成为一个有机结合的整体，得到毛泽东、朱德的赞同。同年11月7日，中共中央军委发出《关于抗日根据地军事建设的指示》，这一武装体制，遂成为抗日战争以后解放战争到中华人民共和国武装体制的雏形。