另一方面鹿钟麟连接蒋介石4道密电，要鹿必须撤销冀中、冀南两公署。
鹿钟麟觉得两面为难，无心考虑如何通过会谈促进团结抗日，带了省政府、省党部许多大员，为自己壮声势，共数十骑之众，向下庄而来。
八路军方面，彭德怀只带了四五名随从。6月7日，彭独自出席会谈。
鹿钟麟虽人多势众，并无准备，谈了几句，便不作声。这时鹿钟麟省政府的一个年轻秘书忽然站起来，把鹿身边几个顽固分子平时骂八路军的话，什么不听指挥、游而不击、保存实力、篡政夺权等，和盘端出。彭德怀不动声色，等对方讲完，徐徐立起身来，左手撑住桌沿，右手握着个卷起的笔记本，并不用准备，把上述说法，一一加以驳斥，痛快淋漓。对共产党八路军的政策主张，河北抗战前途，作了详细阐述，最后提出八大纲领。共讲4个小时，给到会人上了一堂大课。鹿方众人坐立不安，无人出来答话。
散会后，彭德怀笑着问申伯纯：“在会上出来讲话那个年轻人叫什么名字，他倒可以当共产党呢!”
鹿钟麟见八路军提出了八大纲领，令随来诸人也草就一个纲领，送到彭德怀那里。彭看后，去会见鹿钟麟，问道：鹿先生和我不惮路途辛劳，来下庄见面，原为坚持河北抗战，为何纲领中没有抗日内容?鹿无言对答。彭又问，鹿先生素称为三民主义信徒，为何纲领中不提开放民主?鹿嘿嘿，无言以答。
由于有蒋介石的密令，鹿钟麟坚持要撤销两主任公署，彭德怀则坚决维护冀中、冀南抗日根据地，会谈无结果。彭德怀得悉了冯玉祥、程潜给鹿钟麟长电的内容，临别前，恳切劝告鹿钟麟说：“河北问题鹿先生固有失当，但朱德总司令和我素知问题不在先生，而在张荫梧和你身边那几个腐朽官僚，必须将他们撤掉，团结合作方有希望”。鹿对一直想取代他的张荫梧，早已头疼，当即同意。鹿感于彭德怀的坦诚争取，也直告彭德怀他的难处：他自己手下的人好办，可张荫梧是得经过蒋介石才能处理的。果然，以后张荫梧不但未能撤掉，反而猖狂愈甚。
下庄会谈后，鹿钟麟幕僚中比较倾向进步、坚持抗日的年轻人，对鹿失望，不断离去。鹿钟麟本人也有所收敛。
国民党当局以河北省政府的合法名义向八路军“收复失地”的计划，实际宣告破产，便依靠河北民军张荫梧、侯如庸、王子耀等部不断向八路军发动武装袭击，由政治摩擦转向军事摩擦。