彭德怀的故居是一座白灰土墙、青瓦屋顶的庄稼宅院，有8间住屋，一间堂屋，厨房、天井、牛栏、猪圈俱全。这是1928年他任湘军团长时，二弟彭金华去团驻地南县，由团文书从彭德怀积攒的薪饷中取出400元，给金华带回家盖成的。彭德怀真正的故居是几间破旧的茅屋，早已不蔽风雨。就靠这400元，彭家还清了欠债，拆掉了破屋，在旧址上盖了新房。经历33年的风雨，彭德怀这是第二次在这里住宿。第一次是1958年12月，他第一次还乡调查之时。
尽管保密，乌石的群众早就在盼望着彭德怀了。5月间，彭德怀在给弟媳龙国英的信中就谈到他渴望秋后能还乡一行。10月底，群众看到有人在修补从黄荆坪到乌石的破损道路桥梁，就私下议论起来：“莫不是彭德怀要回来了哩?”有的猜，这次他怕是下放回家生产了罢?有的又传说，是到湖南来当省长，还有的说，彭德怀已经复职了。众说纷纭。
11月3日近午时分，在彭家围子堂屋前地坪上等待着的，本来只有彭家的人和乌石大队的干部。但彭德怀的车一到乌石，消息不胫而走，一会儿，堂屋里、地坪上就站满了人。彭德怀一下车，大家先注意到，元帅没有穿军装，而穿着一套青布中山服，戴的是青布帽。人们不知道元帅穿的还是3年前的衣服，那青色是从绿色染过来的。
彭德怀往堂屋里走，男女老幼围上前来，叫彭元帅的，叫彭部长的，叫伯伯、舅舅、阿公的。彭德怀满面笑容和大家一一打招呼。
彭德怀进屋拿烟，有人细声议论，大概是好烟啰，猜猜什么牌。待彭德怀走出来递给大家抽，原来是一包湖南“建湘”牌的烟。没有人失望，都高高兴兴地接烟抽起来。
从午到晚，来到彭家围子的就有100多人。
此后，彭家围子每天从一清早就有人来访，直到晚上。先是近处的、本公社的，然后附近公社的也来了。紧接着，方圆百里湘乡、株州等邻近各县的人络绎前来。又过几天，远至长沙也有人闻讯而至。离彭家围子2里地的石潭镇上住满了人。
从11月3日下午至15日，彭德怀除在大队内活动两天外，其余时间都只能留在家中接待来访的群众。据金石当时的统计，来访者累计约2000人次。
许多人长途跋涉饿着肚子；有的人久坐交谈，舍不得走；有的人冒雨而来，脚下泥泞，身上透湿。彭德怀就留他们在家中吃饭，十几天下来，留饭300多人次。彭德怀出了钱，但出不起粮票，公社只给补贴了200多斤。
地方上没有料到罢了官的彭德怀还具有这样大的吸引力，连忙派人四处阻挡，让还在途中的来访者回去。
近2000人次的来访，除亲戚、故旧、邻里、本社社员、基层干部，还有县区的干部、工人、学生、教师。有的人见面问：“你老人家平反了么?”“你回来住多久呵?”“你还走不走呀?”人们都知道彭德怀那年回家后为老百姓说了话，所以“犯了错误”，对他表示真诚的感谢和同情。
最动情的是1958年曾经无所顾忌地向他反映了大跃进中的许多问题--虚夸假报、干部打人骂人、食堂吃不饱饭、老人院和托儿所老幼受折磨等的那些儿时伙伴。胡家冲的胡四老倌走到里屋，眼泪汪汪，拽着彭德怀的青布棉袄说：“都怪我们前年不该和你说那些话，把你给连累了，我害了你了，对不住你咯!”彭德怀安慰他当年在乌石峰打柴时最要好的伙伴胡月恒说：“你们讲真话冇(音“卯”，湖南话“没有”的意思)得错!只要群众生活好，我犯错误不要紧。”
一天晚饭后，来了许多小学生要看彭元帅，彭家围子堂屋被围得水泄不通。彭德怀出来向孩子们笑着打招呼，抬手说：“彭德怀老了，脸上皮都打皱了，不好看，莫看了!”