针对一般国民党将领的封建统御，彭德怀忠告他们：要了解、巩固、团结部队，须从实行合理统御，自觉纪律，禁止打骂，及与士兵同艰苦做起；要解释、说服、规劝、感动、以身作则去统御部下，而避免威吓、打骂、欺骗和无理由的服从，要使士兵知道为什么要守纪律，并自觉地去遵守。
针对国民党将领对八路军官兵、军民关系的钦羡，彭德怀说：“士兵与长官要风雨同舟，尤其是长官与士兵间的生活距离应尽量缩小……与士卒同艰苦，是团结部队的重要条件之一。”“对待民众有几件基本的事，就是实行买卖公平，说话和气，借物要还，损物赔偿，离开驻扎地时，实行纪律检查。我们只要做到这几项，就可以获得民众的好感与帮助，军民也就可以慢慢团结一致了”。
彭德怀所谈内容对八路军来说，是熟悉不过的道理，理所当然的做法，对于国民党将领来说，虽然折服，但认真实行起来，却不容易。
彭德怀的报告特别感动了早年追随孙中山，在西安事变中又积极支持张(学良)杨(虎城)义举的武士敏。他积极抗日，但部队旧习气很重，军民关系不好，使他十分苦恼。饭后，彭德怀到各处看望，武士敏向彭德怀倾吐心曲，长谈竟夕，相见恨晚。以后，他对人说：“当了几十年的兵，真正懂得为国报效，是在小东岭会议上听到了彭副总司令的教诲之后。从此，我才懂得怎样做一个真正的军人。”此后，武士敏学习八路军的经验，与八路军亲密合作，在中条山坚持抗日，直至1941年5月在对日作战中壮烈殉国。
小东岭会议经过热烈讨论，通过了彭德怀所作的作战纲领报告，划定了各军师活动和建立根据地的地区，协同打通了与后方的交通线。会后应友军的要求，八路军总部由左权主持为友军举办了游击训练班、政治工作讲习班等，朱德、彭德怀、左权都亲自给训练班讲授课程。
小东岭会议是山西战场上抗日民族统一战线规模最大的一次高级军事会议，也是以中国共产党的战略思想为指导的一次会议。这次会议为以后粉碎日军对晋东南的九路围攻奠定了基础。
且说日军在2月间分路扑向晋西南，本想再次凭借其机械化火力，以疾风暴雨式的进攻，把我军逼过黄河，或压入黄河急转弯处的三角地带，一举而歼灭之。不料中国军队在朱、彭指挥下，稳稳转入了敌后，利用太行天险，建立起新的抗战支点。3月8日，日军攻到风陵渡，还没发现我军主力，方感恐慌：“有力的中国军退入山西省内的山地，会同原来盘踞该地的共军，扰乱我占领地区，其威势已不容轻视”。
小东岭会议刚结束，129师在涉县东阳关下响堂铺对日军打了一个漂亮的伏击战。在缴获的物品中发现了一份重要文件，内称：“共军猖獗，4月上旬，将由潞安(长治)以北400华里内施以痛剿”。
4月4日，日军果然调集108师团全部及109师团、16师团、20师团各一部共3万余兵力，北从正太路之昔阳、平定，西从同蒲线上之临汾、榆次、太谷，东从河北之元氏、赞皇、涉县，南从屯留、长治出动，分九路大举围攻晋东南，企图歼灭我军主力于辽县、榆社、武乡地区。