工人运动的发展和马克思列宁主义的传播，表明建立共产党的阶级基础和思想基础已经具备。在五四运动的推动下，共产主义知识分子投身到工人群众中去做宣传组织工作，以他们为桥梁，马克思主义与中国工人运动逐步结合起来，从而产生了中国共产党。
五四运动后，共产主义知识分子开始到工人群众中传播马克思主义。在李大钊的推动下，1920年年初，北京的一些共产主义知识分子到人力车工人居住区进行调查，邓中夏等组织的北京大学平民教育讲演团到长辛店向铁路工人作革命宣传，开始同工人建立了联系。随着马克思主义在中国的广泛传播及其同中国工人运动的日益结合，建立新型的工人阶级政党的问题便提到了议事日程。1920年6月，中国共产党上海发起组开始筹建，8月正式成立，主要成员有陈独秀、李达、李汉俊、陈望道、沈雁冰茅盾等十多人，陈独秀为书记，并于9月把《新青年》改组为党的机关刊物，11月，上海组又创办出版了半公开的刊物《共产党》月刊，以李达为主编。上海共产党组织和各地共产主义者取得联系，帮助与推动了其他地区党的早期组织的建立，从而成为创建全国统一的无产阶级政党的活动中心。
1920年10月，李大钊、邓中夏、罗章龙、刘仁静、张国焘等在北京建立共产党小组；1920年9月，董必武、陈潭秋、包惠僧等建立武汉共产党小组；毛泽东、何叔衡等于10月到12月间在湖南建立了党的早期组织；1920年12月左右，王尽美、邓恩铭等在济南建立了党的早期组织；1921年陈独秀在广州，帮助谭平山、陈公博等人建立了广东共产党小组；此外，在留法助工俭学学生中，1921年三四月间正式成立了旅欧共产党巴黎小组，主要成员有张申府、刘清扬、周恩来、赵世炎等；在日本东京，施存统、周佛海等也组建了共产党组织。
各地包括海外建立的共产党组织，并无统一的名称，当时，有的叫“共产党”，有的叫“共产党支部”，有的叫“共产党小组”，但在性质上都属于共产主义组织。当时，南方的建党活动主要由陈独秀负责指导，北方由李大钊负责指导。因此，在党的创建史上有“南陈北李”之说。各地共产主义组织建立后，为更好地促进马克思主义同工人运动的结合，加强与工人群众的联系，对工人阶级灌输马克思主义，宣传革命道理，深入开展工人运动，进行了以下活动：第一，创办通俗刊物，向工人进行马克思主义和革命理论的宣传和教育。各地出版了《劳动界》上海、《劳动音》北京、《劳动音》广州等。第二，开办夜校、学社。1920年9月，上海创办了外国语学社，北京小组在长辛店举办了“长辛店劳动补习学校”，上海党组织在沪西小沙渡举办了劳动补习学校，长辛店和小沙渡成为中国共产党领导中国工人运动的两个起点。第三，帮助工人建立工会，发动斗争。1920年11月21日，上海小组组织了上海机器工人联合会，此后又组织了印刷工人联合会。北京小组于1921年五一劳动节，组织成立了长辛店工人俱乐部。这些组织推动了工人运动的初步发展。各地共产主义小组成立以后，有计划、有组织地研究和传播马克思主义，到工人中去开展宣传、组织工作，进一步促进马克思主义同中国工人运动的结合，为创建中国共产党做了思想上、组织上的准备。
在创建早期共产党组织的活动中，各个共产主义小组的成员就建党问题展开了激烈的讨论，李大钊、毛泽东、蔡和森、周恩来等，以马克思主义作指导，尤其结合中国的国情，重视列宁关于建立无产阶级政党的思想和原则，主张建立一个统一的、有组织有纪律的、民主集中制的党。这一思想对后来共产党的产生及其组织建设产生了重大影响。各地共产主义组织的出现及其一系列活动表明，建立全国性的统一的中国共产党的条件基本具备了。
各地党的早期组织相继建立，在上海党组织的联络和推动下，加快了建立党的全国统一组织的步伐，同时，共产国际代表的到来也成为中国共产党全国代表大会召开的契机。1921年6月，共产国际代表马林、尼克尔斯基来到中国，前往上海与主持上海党的工作的李达、李汉俊建立工作联系，认为建党的条件已成熟，建议尽早召开共产党的全国代表大会，宣告共产党的成立。
经过筹备，1921年7月23日各地共产主义小组代表聚集在上海，举行了中国共产党第一次全国代表大会。各地推举参加会议的代表共13人，即李达、李汉俊上海、张国焘、刘仁静北京、毛泽东、何叔衡湖南、董必武、陈潭秋湖北、王尽美、邓恩铭山东、陈公博广东、周佛海日本。包惠僧受陈独秀派遣也参加了大会，他们代表着全国的50多名党员。陈独秀、李大钊均因工作繁忙未到会，这次大会在法租界秘密举行，由于租界巡捕的搜查，最后一次会议转移到浙江嘉兴南湖的一艘游船上进行，大会的中心任务是讨论正式成立中国共产党的问题。
中国共产党第一次全国代表大会通过的党纲，确定以实现社会主义、共产主义为党的根本目的。这表明中国共产党同一切资产阶级及其他非无产阶级政党有着根本的区别。中国先进分子经过长时期的探求比较，才终于找到马克思主义这个唯一正确的革命理论，认识到只有社会主义、共产主义才能救中国，这是对中国革命认识上的一次具有重大意义的飞跃。另一方面，党纲也反映了刚刚诞生的中国共产党，此时还不可能认识中国的国情，还不懂得中国是一个遭受外国帝国主义压迫的半殖民地半封建的国家，只有经过民主革命才能进行社会主义革命，因而未能制定党在民主革命阶段的纲领。
大会选举陈独秀、张国焘、李达组成党的领导机构局。陈独秀为书记，张国焘、李达分管组织和宣传工作，党的第一次全国代表大会宣告了中国共产党的成立。
中国共产党第一次全国代表大会的召开和中国共产党的成立，成为中国历史上具有划时代的、伟大的历史事件。从鸦片战争到中国共产党成立前的80年来，中国人民为了反帝反封建，曾前仆后继，不屈不挠，进行了无数次英勇的可歌可泣的反抗和斗争，但终因没有先进的阶级和政党的领导，无一例外地遭受挫折和失败。“自从有了中国共产党，中国革命的面目就焕然一新了。”《毛泽东选集》第卷，北京：人民出版社，1991年，第1357页。