很快地，他从各地的经验中找到了答案：
冀中区报告说，有的侦察员依靠群众的掩护，可以在敌人警戒森严的保定城内一住就是好几天。
386旅旅长陈赓告诉他，该旅有一个连，在太谷敌占区活动了很久，从刺探情报到破坏交通等，搞了很多名堂。
冀南有一批干部到北方局来学习，彭德怀问他们：“敌人封锁那么严，你们是怎么跑来的?”干部回答：“是从‘维持村’过来的，在那些村子里，还可以召开抗日会哩!”
晋察冀军区报告说，1941年夏，军区曾组织过一种宣传队，在武装队的掩护下，深入敌占优势的地方开展政治攻势，名为武装宣传队，取得了很好的效果……
1942年1月，彭德怀向各军区、军分区提出组织武装工作队到敌占区活动的建议。2月，北方局和八路军野战政治部联合下达了关于组织武装工作队的指示，规定每个军分区(旅)要组织一个到两个30人至50人的武装工作队，队长和政委由政治上强、又懂得军事、相当于地委或县委书记的干部担任，另配以知识分子及懂日文日语的干部。工作队经过训练，越过敌人的封锁线，进入敌占区或敌人的格子网内，发动群众起来开展政治的、军事的、经济的、文化的全面的对敌斗争。
武装工作队使敌占区的群众抗日活动有了政治核心和武装支持。这年春天，冀南区部分根据地被敌摧毁控制，但同时，在武工队的支持下，这部分地区有一部分村庄的抗日政权，仍然公开存在。彭德怀对这一情况十分兴奋，总结武工队的经验，给武工队制定了更成熟的方案。对武工队员的要求、数量，工作队的性质、任务到活动方法，应掌握的政策、纪律等都有明确的规定。最重要的是，武工队由一般的宣传抗日、调查敌情、保护民众、打击汉奸，进而至担负起在被敌人蚕食变质的地区，再度恢复抗日政权，建立隐蔽根据地的任务。
根据彭德怀亲自拟定的方案，八路军各部派出的大批武工队，组织精干、纪律严明、政治强、觉悟高，又熟谙军事，每个队员既是战斗员，又是宣传员、组织员，能打仗又能独立做政治工作。他们潜越封锁线，进入格子网，三五人一个小组，分合自如，出没无常，敌人找不到他们，他们却和老百姓经常见面，和群众一起创造出许多方法来与敌人进行明的、暗的、文的、武的各种斗争。如利用机会与日本士兵直接通话--上夜课；突袭占领敌之会场，宣传盟军和我军的胜利；访问伪军属，通过伪属给伪军伪组织人员发“回心抗日证”，记“善恶录”等，促使其少做坏事，争取进步；对破坏抗日的分子则发出警告。在八路军和群众的秘密帮助和争取下，伪军伪组织中的两面分子实行“身在曹营心在汉”，采取许多办法来对付敌人。如敌人要“自卫队”(伪军)放哨，两面分子就盘假不盘真，放走抗日分子，却故意与特务汉奸为难；敌人命伪军去“扫荡”，烧民众房屋，两面分子不得已，就实行烧杂(猪羊圈、牛房等)不烧正(人居所)；敌人到游击区去清乡，两面分子就把那里的抗日干部弄到据点内去隐蔽；伪情报机构中的两面分子，则向敌人报假不报真，或“借刀杀人”，以假情报打击死心塌地的汉奸。为保护民众，有时抗日游击队的秘密小组在敌岗楼附近四处打枪，叫各村伪情报点一致报告：八路军大部队来了!吓得敌人不敢外出骚扰，群众减少损失，抗日组织则可乘机活动。
在敌人据点内，武工队站住了脚，甚至可以夜间开群众会。有的地方创造了“无人大会”形式--夜间选村内中心地点登高讲话，群众不出门，在自己院子里听。对知识分子则由武工队秘密拜访，个别交谈，告以形势，晓以大义。经过一段时间，就在敌占区、格子网里组织起民众的抗日自卫团体，名称各异，有的叫“反资敌联防线”、“哄鬼大同盟”、“保家民团”等等。由一村到数村，由数村到数十村，互相联合，互相声援，齐心对敌，神出鬼没，妙计百出，搅得敌人惊恐不安，说：“皇军大大的来，八路军小小的有；皇军小小的来，八路军大大的有。”