对彭德怀来说，毛泽东的讲话当然更是晴天霹雳、闷头一棒。这次打击是那样沉重，来得又如此突然，几乎使这位以沉着坚定著称的大军统帅丧失自制。他以极大的耐力压制着内心的痛苦，听完了毛泽东的长篇讲话，激动地走出会场。下了礼堂门外的台阶走出不远，彭德怀猛一回头，看到毛泽东夹在人群中正朝他这边走来。被一种难以克制的委屈与埋怨情绪推动着，彭德怀迎过去，走到毛泽东身边说：“主席，7月14日的信是我写给你作参考的，为什么把它印发了?”
毛泽东怔了一下。在这种场合竟有人用质问的口气来对他讲话(至少他自己认为)，这是过去很少有过的。但他情绪上的惊愕也只是暂短的一瞬，接着眉头微微一皱，冷着脸从容回答说：
“你也没有讲不要我印发吧?”
毛泽东的回答，使彭德怀这个不善辞令的“老总”一时语塞，头都要爆炸了。有一种说不出的苦辣滋味直冲心头。他感到毛泽东的这个回答是不严肃、不负责任的。他没想到他一向敬重的毛主席会作出这样的回答。如果倒退二三十年，在彭德怀血气方刚之时，他一定会同毛泽东大吵起来，甚至骂娘。现在他毕竟成熟多了。他本来还有话要说，还是强咽下去了。正在这时，周恩来派人通知彭德怀去开会，彭德怀忍住一腔怒火，转身向总理住所走去。
中午，彭德怀回到自己住的176号，和黄克诚一起用餐。
两个人相对无言，没说一句话。黄克诚只吃了几口饭，把碗一推，站起来走了。彭德怀更吃不下，在餐桌前坐了片刻，也放下碗筷离席而去。回到自己的住室，彭德怀坐在写字台前，点燃一支香烟，吸两口，熄灭；接着，又点上一支，又熄灭，丢进烟灰缸……
桌上堆着一摞文件，他拿过一份，信手翻两页，看不下去，又把它丢在桌上。
整一个下午，他恍恍惚惚，不知道是怎样度过的。痛苦，烦躁，受到不公正对待后的委屈和忿忿不平的情绪在他心中骚动。毛泽东上午那一顿尖刻的、带有嘲讽意味的批评，很多问题他实在想不通啊！从彭德怀亲笔写下的《庐山笔记》中知道，受到毛泽东突如其来的批评之后，好多天他脑子里反复想的是这样一些问题：
--我7月14日的信上，开头就写了“1958年‘大跃进’的成绩是肯定无疑的”，并且列举了许多具体事实和数字来说明“大跃进”的伟大成绩。我是在肯定成绩的前提下，提出应该总结经验教训和对今后工作建议的。“意见书”在这里对庐山会议表示了克服困难、纠正缺点错误的充分信心，没有丝毫悲观失望情绪，这又有什么不对，这有什么右倾机会主义的动摇(性)呢?
--正因为我真心拥护总路线、“大跃进”、人民公社，我才在7月14日的信里指出了我们工作中的一些缺点和问题。例如：由于比例失调而引起各方面的紧张和作风上的不够实事求是、浮夸作风。明知农业技术落后，生产力很低，还从各方面抽走农业劳动力，使农业生产更落后，工农业并举的方针实际上成了空话。工业建设遍地开花，更增加了农业战线上许多困难，扩大了工农业的比例失调，许多轻工业原料直接依赖农业的发展，由于农业落后，使不少轻工业企业处于半停产状态，不仅农村和城市主副食品紧张，日用百货也有许多脱销，也就造成市场紧张，到1959年上半年愈见严重，这难道不叫比例失调又叫做什么呢?由于比例失调引起的各方面的紧张，难道不会影响动员广大群众继续跃进吗?难道不是关键所在吗?人为的错误难道不应该使同志们忧虑吗?“意见书”指出：我们对社会主义建设还不熟悉，没有完整的经验，这难道不合乎事实吗?这怎么就成了反对总路线、“大跃进”、人民公社呢?我信中列举的那些具体工作和作风上的缺点和问题是不是事实呢?