1944年11月，罗斯福总统的私人代表赫尔利到访中国，此后美国与中共关系开始趋冷。1945年4月，美国总统罗斯福逝世，杜鲁门继任总统，美国对华政策急剧转变。1946年，马歇尔来华，明确表示援蒋反共，并撤换了对中共友好的美军观察组成员，使美军观察组在延安的军事调研失去了动力。不久，蒋介石撕毁协定，挑起内战。1947年3月，美军观察组撤离延安。
1944年9月，美英两国参谋长联席会议在加拿大魁北克作出了放弃原先准备以中国大陆作为反攻日本的基地，而将反攻基地转移到太平洋前沿岛屿的决定后，中国战场的重要性在罗斯福的眼中大大降低了。
10月，罗斯福召回了因执行敦促蒋介石联共抗日政策而与蒋介石关系恶化的史迪威，任命魏德迈为驻华美军司令；继而于11月又更换了美国驻华大使，任命赫尔利担当此职。此后，美国对华政策的重心即由支援中国抗战转向巩固蒋介石的统治地位，抗日已被置于次要地位，中共在美国对华政策和罗斯福心中的地位急剧下降。此后，中共方面虽然作了种种努力，包括了1945年1月9日毛泽东向美军观察组代理组长克劳姆少校提出他和周恩来一起或单独前往华盛顿面见罗斯福，但所有的努力均未成功。
1978年5月19日，叶剑英委员长，聂荣臻、邓颖超副委员长，政协副主席康克清同志与美军驻延安观察组成员访华团合影
2月15日，原本打算与中共进行军事合作的魏德迈在重庆举行的一个记者招待会上公布了有他签名的一份文件。文件说，在华的美国军事人员奉命支持中国中央政府（即蒋介石政权），美国军事人员将不给中国战场内任何个人、任何行动、任何组织以任何支持。这显然是完全否定了美军观察组在报告中所提出的意见和建议。对此，美军观察组成员除了感到疑惑外，仍坚持他们自己的观点。
在晋察冀抗日根据地作了4个月调查访问的美军观察组成员卢登回到重庆后，与探亲返回重庆的谢伟思一起撰写了《美国远东政策的军事弱点》备忘录，建议美国对中共实行类似盟国对南斯拉夫铁托领导的部队所奉行的政策，即承认中共及其领导的抗日武装的应有地位，以便在中国得到团结一致的盟友。2月19日，魏德迈与赫尔利一起离开重庆回国述职。谢伟思、卢登等一批美国外交官于2月25日在一起商议后，撰写了《中国的局势》报告，从重庆发给美国国务院。该报告指出，从美国对日作战这一军事上的利益考虑，和愿意并且能够与日军作战的共产党军队合作是必需的或可取的，实行这样一种政策将受到绝大多数中国人民的欢迎，并将提高美国的威信。
《中国的局势》报告寄到华盛顿后，在美国政府内部引起了轩然大波。然而，这丝毫未能改变美国政府的态度。4月2日，赫尔利在美国国务院记者招待会上公开发表声明，大肆攻击和诬蔑中国共产党，宣称美国只同蒋介石合作，不同共产党合作。这表明美国的对华政策已经完全转向扶蒋反共。这样，美国就关上了与中共合作与进一步发展友好关系的大门，把自己与日益没落的蒋介石政权绑在了一起，而这正是被美军观察组认为是最不可取的一种对华政策。
此后，美军观察组虽仍留驻延安，也一直与中共方面保持着较好的工作关系，但观察组的地位已被降低到只负责搜集日常敌情和气象报告而已。实际上在大多数时间里，他们已无太多的事可做了。
美军观察组在延安的调研是有意义的，但却未被当时的美国政府所采用，而它作为开后中美关系大门的尝试，却长留在人们的记忆中。1972年中、美建交前后，不少当年的美军观察组成员再次来到中国，来到延安，寻找曾经的记忆。
使团中的成员是选自各个不同部门的专家，他们比在通常的传统军事组织内更能发挥影响力。这一使团有4个指挥官，另有两个“接替”的人，一个是在使团的建立者被另外任命后的接替者，另一个是“最后走的一个人”。
第一个指挥官，也是人们心目中与“迪克西使团”联系最紧密的人——戴维·D·包瑞德上校。1944年春，包瑞德驻在广西桂林，是美国Z军总部内军事情报局的工作人员。Z军准备与国民党政府合作，正如Y军与国民党合作在缅甸抗日一样。包瑞德从1924年就来到中国执行军事任务。他说一口流利的汉语，对中国文化和中国人民非常推崇。他被认为是一个“中国通”。1944年3月25日，他被告知“迪克西使团”将建立起来，而他将是其中一员。1944年12月前，包瑞德一直是“迪克西使团”的指挥官，之后他又被另外任命。他的自由主义政治思想使得他与中国共产党人更近地发展友好关系。
1991年9月18日，王震、黄华、邹家华、岳枫等人在北京人民大会堂会见美军驻延安观察组第二次访华成员
邹家华和友联会会长黄华会见美军驻延安观察组成员第二次访华
美军驻延安观察组成员回延安访问
1991年9月，黄华、苏菲、乔治·中村、惠特塞夫人合影
莫里斯·I·德·帕斯上校被任命为包瑞德的继任者。共产党人认为德·帕斯与蒋介石的秘密警察头子戴笠关系密切。他们希望他离开，于是1945年2月，德·帕斯被任命到中国南部的一个基地。威尔伯·J·彼得金少校（后来升为中校）于3月4日接任。彼得金来自美国中西部，在政治上是保守主义者。他执教过新闻学、数学和高中乐队。他作为预备役军官，于1941年被召入伍。1943年9月，他被派到中国靠近桂林的一个地方，向中国的年轻军官传授战术，并教他们如何使用美国装备。彼得金通过3个翻译传授这些，因为没有一种中国方言能被中国所有的南方人听懂。当日军攻陷桂林后，他为自己在重庆的军事情报局（G-2）中找了一份工作。参与G-2计划和训练。当时包瑞德正在重庆组建延安观察组，他见到彼得金并请他担任“迪克西使团”的执行官。彼得金在使团工作到1945年7月，之后他回到美国并退役。
彼得金的继任者是伊万·D·伊顿上校，一位资深军官。伊顿上校在1941年6月希特勒进攻苏联后，作为美国武官在莫斯科工作。当哈利·霍普金斯到莫斯科时，伊顿预言斯大林只能坚持90天。于是他建议美国不要全力对苏联进行援助。伊顿的错误预言导致他被召回华盛顿，在五角大楼任职，直到中缅印战区分裂，阿尔伯特·C·魏德迈接替史迪威成为中国战区指挥官。魏德迈要求伊顿调到他的总部，作为共产主义专家。伊顿6月来到重庆，于7月接任“迪克西使团”团长，一直到次年4月被派往上海。他的继任者是美籍华人杨照辉上尉（后升为少校）。与坚定反共产主义的伊顿不同，杨照辉站在爱国的立场上，对共产党人采取了客观态度，与其轻松相处。杨照辉于1945年11月至1946年4月任使团执行官，1946年4月至11月任使团团长。他离开后，詹姆斯·巴特勒继任。巴特勒的继任者约翰·赛尔斯上校最终结束了使团的使命。
叶剑英委员长及聂荣臻副委员长亲切会见保罗·多姆克团长和夫人
安娜·路易斯·斯特朗重返延安，在杨家岭参观