桃宝峪位于阳湾西北侧（现延安市宝塔区南泥湾镇桃宝峪村），这里曾是八路军总部直属炮兵团（后改为延安炮兵学校）屯垦时的驻地。“红楼”就修建在此。因南泥湾一带山大沟深，树木繁茂，水源充足，夏天凉爽宜人，中央管理局为给中央领导特别是被人们尊称为“五老”的董必武、林伯渠、吴玉章、谢觉哉、徐特立等找一个夏日避暑的地方，便选中了桃宝峪。在此用红砖建起了一座二层小洋楼。这在当时来说，算得上是豪华的宾馆或招待所了。因墙体由红砖砌成，人们习惯称其为“红楼”。
“红楼”是由延安美坚木工厂厂长张协和设计，中直管理局主持施工，359旅等部队和机关负责施工。1943年3月筹备开工，9月建成。修建由359旅与炮团负责，有烧砖的，有伐木的，有搞基础的分工协作，保质保量。“红楼”形式别致、光线充足，除客房外，还有供集体活动的俱乐部、舞厅等。
“红楼”建成后，每逢盛夏，中直管理局便安排年老体弱的领导同志来此消夏休养。
1942年7月10日至8月上旬，朱总司令邀请徐特立、谢觉哉、吴玉章、续范亭等诸老来桃宝峪休养。他们一行除5位革命老人外，还有其他20多位同志。
诸老在休息两日之后，便开始进行视察和游览。一连几天，他们参观了农场、马场、造纸厂，还去了南泥湾南边10公里的风云庄，观赏了南泥湾的秀美景色。
休养时，诸位老人诗兴大发，朱总司令、吴玉章及续范亭均赋有诗篇。朱总司令的《游南泥湾》诗刊载于1942年8月26日的《解放日报》。吴玉章《和朱总司令游南泥湾》的诗未曾发表，写好后觉得“不仅辞句未工，而且近乎拖沓”。1958年，《红旗飘飘》编辑部向他索诗，他才拿来发表在该刊第七卷上。
摘录如下：
朱总司令诗文（五言古诗）
游南泥湾
吴玉章诗文（五言古诗）
和朱总司令游南泥湾
续范亭诗文
南泥湾今昔
1944年9月，谢觉哉在此曾写《桃宝峪休养所》一诗：
诗中的洋房就是指“红楼”。
朱总司令不仅带“五老”来这里居住过，而且从最初考察边区各地资源到359旅开进南泥湾后，多次来南泥湾进行视察。
1939年2月，毛泽东在陕甘宁边区干部生产动员大会上强调指出，要通过“自己动手”来克服经济困难。为了响应中央及毛主席的号召，朱德从抗日前线回到延安后，就奔赴各地考察边区资源。1941年春节刚过，朱总司令到南泥湾进行考察。当他发现荒草覆盖的是黑油油的土地时，激动地说：“南泥湾是个好地方！”适合大规模垦荒造田。朱德将考察情况向毛主席作了汇报，同时提出了军垦屯田的想法，并提议由王震率359的旅屯垦南泥湾。提议得到了毛主席的赞同。
谢觉哉
朱德、贺龙察看战士们的伙食
359旅开进南泥湾后，1941年5月朱总司令在王震旅长的陪同下，来到南泥湾，广泛听取干部、战士对开垦南泥湾的意见。在接见团以上干部时，他讲述了屯田政策的重大意义，并勉励大家一定要做群众的模范，一定要把生产运动搞起来。他说：“敌人来了，就去打仗；敌人不来，就搞生产，用我们的双手，做到生产自给，丰衣足食。”6月20日，他致函718团团长陈宗尧、代政委熊晃，并转717团团长陈外欧、政委晏福生，表扬了这两个团在生产中取得的成绩。要求他们在开荒结束时，抓紧时机，大力发展畜牧业、运输业和手工业，做好商业工作，时刻不要忘记人民的利益，以共产主义精神来发展生产事业。7月，朱总司令再次来到南泥湾。他说：“蒋介石把胡宗南的兵力部署在陕甘宁边区周围，枪口对着我们。不仅不给我们发经费，还对我们实行经济封锁，企图把我们困死、饿死在边区。我们红军、八路军从来没有向困难低头。去年我们一面防守，一面生产。今年更要大开荒，大规模搞农业生产。要求你们今年粮食自给自足，明年耕二余一，向边区政府交公粮。我们自己动手，丰衣足食。”然后他又来到718团，看了部队种的谷子、玉米和蔬菜，又看了他们养的猪、鸡和新挖的窑洞。在吃饭时，他吃着战士们种的新鲜蔬菜，连声说好。他说：“屯田政策初见成效，你们也有了经验，部队生活也有了改善。我最喜欢的是你们干部带头劳动，无论开荒锄草、背粮、施肥，干部以身作则，艰苦奋斗，这是好作风啊！希望你们各级干部都要再接再厉，和打仗一样，干部冲在前面，不怕流血牺牲，就能取得胜利。”
1942年2月（农历正月），朱总司令又—次来到南泥湾718团。他说：“这次来，一是慰问大家，给大家拜年；二是要了解你们新年后的生产打算。”当总司令听到该团开荒种地面积比去年多一倍时，非常高兴。因当时正是农历春节，718团在驻地召开春节军民联欢会，由部队自编自演节目，驻地群众也参与演出。总司令看了演出后高兴地说：“我们的部队不仅生产成绩好，文化生活也活跃起来了。大家要继续努力，争取更大丰收；还要进一步搞好拥政爱民活动，感谢地方政府和群众的大力支持。”他要求部队在农闲时间开展大练兵活动，生产不忘打仗，以适应形势发展的需要。
1942年4月，正值春暖花开的季节，朱总司令、贺龙师长在王震旅长的陪同下再次来到南泥湾视察。他们检阅了717团，并给干部作了报告。这时，359旅广大官兵经过一年的奋战，已取得很大成绩。他们不仅开荒种地，解决了吃饭问题，而且新打窑洞，新修房子；同时开展了手工业、运输业、商业等服务业，为以后的生产打好了基础，使南泥湾的面貌焕然一新。朱总司令称赞南泥湾是“陕北好江南”。
为了总结和推广359旅的生产经验，1942年12月12日，《解放日报》专门发表了《积极推行“南泥湾政策”》的社论，指出：“朱总司令从前方回来后，竭力提倡陕甘宁边区军队进行工业、农业、运输业各方面的生产工作，以减轻人民的负担，改善部队生活，密切军民关系，帮助边区建设。……经过披荆斩棘，耕耘种植，今天的南泥湾，已成了陕北好江南。”
1943年11月26日，陕甘宁边区政府在延安召开劳动英雄及模范生产工作者代表大会，同时举行边区生产展览会。12月16日，朱总司令在大会闭幕式上的讲话中指出：“军队是武装的工农，可是很久以来，这些工农参加军队后就不从事生产了。我们八路军打破了这个传统。八路军是工农自己的军队，他们过去是工农，到军队后还是工农，一样参加生产，这是惊人的创造。”
作为“五老”之一的林伯渠于1943年2月17日离开延安，计划用5天时间，与垦区驻军联合举行关于建设农业、文化、教育等各种座谈会，并深入连队访问，慰劳战士。在慰劳期间就在这里居住过。
林伯渠
359旅进驻南泥湾后，不仅开展了轰轰烈烈的大生产，而且与当地群众关系处得极为融洽。驻守在金盆湾旅部的359旅717团，帮助当地老百姓锄草、耕地、背粮食，使老百姓安心生产。战士们半年来去外地背了650石米，来回一次将近200里路，替群众节省了3250个驴工、1625个人工（一个驴驮4斗米，走两天，以一个人赶两头驴计算），背米时还自帯柴、菜，路上自己烧水做饭，什么都不要老百姓操心。其他各团也一样，都在拥政爱民运动中取得过不凡成绩。
林伯渠主席知道这一情况后，专门组织了一个“延安团”去慰问359旅。该团由延安党政民各机关代表：中央办公厅、西北局、边区政府、延属地委和专署、群众团体等单位组成。以西北局杨清为团长，成员有延属地委书记张邦英，专员曹力如，边区政府教育厅正、副厅长柳湜、霍子乐，总工会主任高长久，妇联主任白茜，青救会主席李瑞山，延安县长刘秉温，安塞县县长邵清华等25人。
当林伯渠要到南泥湾劳军的消息传出后，南泥湾垦区政府立即以金盆湾为中心，展开规模宏大的拥军和拥政爱民运动。当地党政军联合组成了宣传队，深入各乡及连队进行宣传，举办各种形式的拥军活动。
林伯渠主席率领的延安拥军慰劳团，与延属分区地委、专署所组织的拥军慰劳团同车前往，他们带着数面锦旗及大批猪、羊、酒、馒头、鸡、书籍和现金等慰劳品。
离开延安的第二天，也就是18日，上午林伯渠阅兵并参观了717团营舍，召开劳军大会。当林伯渠从团部门前广场上的炮列前经过时，战士们齐声高呼：“欢迎革命家林主席！”“党政军民团结万岁！”邱创成政委宣布慰劳大会开始，林伯渠即以洪亮动人的声音发表演说。
他说这次慰劳团带来的慰劳品虽然有限，但是他对有优良传统的八路军战士的敬爱，是崇高而无穷的。接着林主席高度赞扬了部队把荒凉的山野建设成美丽的军营，改变了自然面貌的艰苦奋斗精神。他指出：“八路军是无敌的军队，他能打垮侵略者，他又能征服自然。希望明年来时，能看见你们更多的生产成绩。”慰劳团长杨清讲话后，该团成员高长久献给炮团一面“御敌屯田，军民一体”的锦旗，政治部主任致词后大会闭幕。
贺龙在南泥湾与战士们一起会餐
下午，林伯渠一行骑马赶赴359旅旅部金盆湾。当日早晨得知林伯渠要来金盆湾，几十里以外的军民纷纷赶来，欢迎林主席及慰劳团。欢迎者列队于公路两旁，当林伯渠一行到达时，雄壮的号声响起，军队立正敬礼，群众夹道欢迎。来到南泥湾后，林伯渠一行沿路视察，高大的牌楼，红绿的标语，新兴的村庄，繁荣的市面，新开的稻田，还有山野与森林，林伯渠看到这种新气象，十分高兴。张邦英说：“3年前我来此地，还是一片荒山，人烟稀少，可是这里现在变成了陕北的好江南，我们边区的人民和八路军真是了不起。”
黄昏时分，林伯渠等便到达金盆湾。王震旅长领队欢迎，南泥湾垦区政府李世俊区长率领群众手制小旗以各种形式向林主席敬礼，愈显壮观。
朱德、贺龙在南泥湾视察
19日上午，林伯渠一行前往垦区政府视察，详细询问了这里的军民关系状况。他们从军民群众口中得知，军民之间关系相处融洽，并无任何隔阂，林伯渠感到很满意。下午，金盆湾举行拥政爱民大会，红旗随风飘扬，各色小旗、标语、宣传画，衬托着大会场极为庄重和热烈的气氛，5000军民汇成一片广阔的人海。大会开始前，附近40里的群众仍络绎不绝地进入会场。拥政爱民大会在军乐声中隆重开幕。首先由王震旅长致词，他热情地表示欢迎老革命家、边区政府主席巡视军队、指示工作任务，并号召大家拥护政府、爱护人民；王震旅长还说：“这次大会是本旅今年的生产动员大会。”王震讲完后，林伯渠走向台前讲话。他说：“今天的大会和同志们高超的技术表演，使我很兴奋。这次我们带来的慰劳品很少，然而我们带来了延安及边区人民对自己的军队无限的爱护热忱和关心。”林伯渠高度评价了359旅屯垦南泥湾的功绩，他说：“你们是八路军最优秀的—部分，你们是广大群众的军队，人民创造了它，它又为人民的利益坚决奋斗。你们是有战斗力有创造性的军队，八路军的创造精神在你们身上光辉地表现了出来。你们是艰苦耐劳的军队，是生产的模范，你们已把生产知识和斗争知识结合起来，因此你们是无敌的军队。”林伯渠还表示：我们已督促专署、县、区各级政府，认真检查过去的拥军工作，我们要真正做到军政民铁一般的团结。”最后，他希望部队还要加紧生产自给，努力学习文化，迎接胜利的到来。
2月20日至22日，林伯渠一行还对南泥湾其他地方进行了视察，要求驻军生产能够自给十分之八，各地要经常进行拥军工作。23日，林伯渠离开南泥湾返回延安。临别时他给全体驻军一封留别信，他写到：“在这里，我们看到了荒地变成了良田，梢林开辟为公路，新窑新屋一排排建立起来，木工厂、纸厂、榨油厂、鞋厂已在工作。南泥湾、金盆湾的自然面貌已在改观，移民日益增加，军民生活向丰衣足食之途迈进，这种生气勃勃的繁荣现象，是你们坚决执行党中央、毛主席、朱总司令发展生产、开辟南泥湾政策的结果。”信后注称：“伯渠这次率慰劳团视察慰问完毕，即日返延，希望你们在党中央、西北局、边府、留守兵团司令部领导下，以及王旅长、张政委直接领导下，更加团结一致，努力生产，加紧学习。”
林伯渠南泥湾慰劳战士
回到延安后，林伯渠接受记者采访时说，他对该地驻军艰苦奋斗、克服困难之精神，均深予赞扬。林主席认为，去年生产自给达82%，依据今年之劳动条件，明年产的食粮即可全部自给。今年计划垦殖3万亩耕地，只需劳动两个月时间，即可完成。并特别指出：该部在生产方式上，能集中劳动，在一定的时间，每连抽出若干劳动力，专事农业生产，而更多的时间则用以训练和学习。他说：“像这样忠于保卫边区，而又竭力设法减轻农民负担的军队，真正是我们边区人民的军队。”最后林伯渠主席号召各级政府干部及农民，必须广泛地在各种问题上，切实开展经常性的拥军工作。
1943年秋，毛泽东、任弼时、彭德怀视察南泥湾359旅生产情况时，由延安乘汽车先到桃宝峪，在“红楼”稍歇，然后骑马去阳湾等地。
1947年3月，胡宗南军队占领延安后，“红楼”遭到破坏，新中国成立后重新整修。“红楼”现由延安革命纪念地管理局负责维修管理，被列为国家级重点文物保护单位。