杨献珍的讲话在很多了解情况又具责任感的干部中深受欢迎，引起强烈的反响。及至庐山风云一变，便有人将杨的讲话收集起来，报告给了中共中央。于是，杨献珍遭到批判。善于整人的康生又马上把杨献珍和彭德怀连在一起，制造出“山上一个，山下一个；山上彭德怀，山下杨献珍；一文一武，互相配合”的说法来。早在庐山上批彭、黄(克诚)、张(闻天)、周(小舟)时，就有“彭德怀和张闻天是一文一武”、“结盟向党进攻”之说。这时又出了“一文”，便成了“二文一武”了。杨献珍既被列入彭德怀一伙，自然不能再过问彭德怀的学习，也不能再去吴家花园。现有人著文说杨献珍经常去吴家花园和彭德怀独自交往谈心，实难置信。
彭德怀在吴家花园怀馨堂闭门读书，研究哲学，似乎超然物外，实则，园外一浪高过一浪的继续“跃进”热潮，搅得他越来越心神难宁。
在连续多日对《人民日报》上的虚夸报道和言论无法忍耐之后，一天，他在列宁的《唯物主义与经验批判主义》一书中分析唯心主义的段落旁，写下了几句感想：“人们如果把认识加以片面夸大，认为只要有主观意识就可以创造出奇迹来--人有多大胆，地有多大产，这就不能不在具体事物中滑进唯心主义泥坑里。”
一直到1960年4月，媒体大唱赞歌，从农村大办人民公社到城市大办人民公社，大兴共产主义风格，公共食堂万岁……
1960年4月6日下午，彭德怀在怀馨堂正屋书房内，照例从一摞报纸中首先打开《人民日报》。
第8版几个大字跃入眼帘：“食堂之乐乐无穷”。这是中共湖南省平江县县委书记某某写的一篇通讯，描绘了平江一个大队食堂的情形。他仔细读下去：“春风徐徐，送来了阵阵歌声：阳春三月唱食堂，唱得心里乐洋洋。食堂之红赛杜鹃，我们住在天堂中……”他继续往下读去：“食堂门前，社员用雄健的笔姿写着这样两则对联：一幅是‘食堂巧煮千家饭公社温暖万人心’(按：这是以后贴遍全国的一幅名对)……”
彭德怀把报纸一推，重重吐了一口气，闭上了眼睛。他知道被砸了自家锅灶的农民，生活会是什么样子：老弱病残一日两餐，走坡过田到食堂就食；没有残羹余米，无法养猪鸡；秸壳、枝叶没用场，大食堂却要砍了成材的树木去烧火……
在庐山会议期间，平江县委书记因为农村办公共食堂给社员生活造成种种困难，曾宣布解散全县食堂；现在，平江县又出了一个县委书记，把食堂描绘得如天堂一般。自然，前一位书记已经成了和他一样的“右倾机会主义分子”。
面对着大半版夸耀食堂的文章、诗歌，他心中不禁颤抖，气得站起身来，预感着一场更大的灾难正在袭来。