1937年7月抗日战争爆发后，叶剑英与周恩来、朱德一起去南京参加轉介石召开的国防会议，随后出任国民革命军第八路军参谋长。1937年12月至1941年，叶剑英先后任中共中央长江局委员、南方局常委，在国民党统治区广泛联络国民党上层人士，多次参与同国民党谈判，进行抗日民族统一战线工作。其间，他于1939年2月协助国民党创办南岳游击干部训练班，任副教育长；1940年3月，参加蒋介石在重庆召开的全国参谋长会议，发表了《对日作战和反磨擦问题》的讲话，以准确的事实宣传八路军的抗日业绩，驳斥国民党的反共言论，留下“叶公舌战群儒”的佳话。1941年1月皖南事变后，叶剑英于2月3日从重庆返回延安。
叶剑英回到延安后，最初住在王家坪防空洞口临时搭建的平房中，后移住到参谋部前院正面的3孔石窑里。左起第一孔为办公室，第二孔为会客室，第三孔为寝室，靠窗的拐窑，堆放杂物。1943年，位于脑畔山腰的这座房子建成后，叶剑英就搬到这里居住，旁边的小房住工作人员，山下的窑洞仍保留。
1941年2月14日，根据中共中央的决定，叶剑英出任中共中央军事委员会参谋长兼十八集团军参谋长，协助毛泽东、朱德指挥对日作战。11月，兼任中央教育委员会委员和军事学院副院长。1944年，叶剑英多次接见中外记者、西北参观团和美军观察组，介绍敌后各抗日根据地的作战情况和战绩。1945年6月，在党的第七次全国代表大会上，叶剑英当选为中央委员。
抗日战争胜利后，叶剑英于1945年12月作为中共代表团成员到重庆出席政治协商会议，并参与同国民党政府进行停止军事冲突的谈判。1946年1月，停战令发布后，叶剑英赴北平任军事调处执行部中共代表，与国民党代表、美国代表一起调处国共军事冲突，监督双方执行停战协议。1947年2月，叶剑英从北平撤回延安。3月，又撤离延安。清涧枣林沟会议后，与杨尚昆等率领向晋西北转移的中央和军委机关东渡黄河，并于月底到达山西省临县三交镇双塔村。4月11日，中共中央决定成立后方委员会，叶剑英为书记。
新中国成立后，叶剑英曾三次回到延安。1959年3月11日至15日，12年后叶帅故地重游，感慨万千！他勉励延安人民“要永远保持光荣的革命传统，勇往直前”。他还写了首《重游延安》的诗：
一别延安十二年，延安已改旧时颜；
王家坪上杨家岭，鸿爪从头细细看。
旧时窑洞旧时台，犹剩胡匪劫后灰；
陕北健儿真卓绝，最艰难处显奇才。
乡亲呼我最情真，枣子南瓜宴故人；
话到今年社里事，大家创业要先行。
1962年春，他又一次回到延安，看望三年困难中的延安人民。在杨家岭，他指着毛泽东办公桌上的小油灯给随行人员说：“毛主席点着这盏油灯，写了好多文章，就在这里指挥了抗日战争的胜利。我们新中国能有今天，基础就是在延安打下的，你们一定不要忘记延安。”
1966年秋，“文革”的风暴已经掀起。69岁高龄的叶剑英再次回到延安。他不顾坡陡路滑，爬上山腰，仔细察看了这3间平房，并详细回忆了室内的陈设情况。
