马林、尼科尔斯基这两名国际代表到达上海后，马上与李达、李汉俊取得了联系。在得知上海、北京、长沙、武汉和广州、济南等地，都已经先后建立、或正在建立党的早期组织这一情况后，他们认为在中国成立全国统一的共产党组织的条件已经成熟，建议及早召开党的全国代表大会来促成这个伟大的事业。

国际代表的建议让正在酝酿建党的李达、李汉俊等人兴奋不已，当即，李达就与当时正在广州的陈独秀、北京的李大钊联系商议，确定在上海召开中国共产党的全国代表大会。后来，李达在他的《中国共产党的发起和第一次、第二次代表大会经过的回忆》中回忆这段经历，他写到：“六月初旬，马林（荷兰人）和尼可洛夫（俄人）由第三国际派到上海来，和我们接谈了以后，他们建议我们应当及早召开全国代表大会，宣告党的成立。于是由我发信给各地党小组，各派代表二人到上海开会，大会决定于七月一日开幕。”据说，马林还带来了开会经费，每一位参会代表寄发给路费100元，会议结束回去时再每人发给50元。每个地区派两名代表，不考虑每个地区党员人数的多寡，即上海、北京、长沙、武汉、济南、广州、日本共7个共产主义小组。因为法国路途遥远，信件往返及代表赶来已经来不及了，所以就没有给法国共产主义小组寄发邀请信。信及汇款由“二李”（李达、李汉俊）分别寄出。

一石击起千层浪，来自上海的邀请引起各地党组织的热烈响应，各地纷纷召集成员开会，讨论选派代表的大事。

北京的党组织接到上海的通知时，几个骨干成员正在北京西城为考大学的青年办一个文化补习学校。他们就在这个学校开了一个选举代表的会。当时，李大钊任北京大学图书馆主任，1921年的暑假，他正忙于主持北大教师索薪工作（原索薪会主席为马叙伦，马因病改由李大钊代理，这次索薪罢教长达十个月之久），无法分身南来。于是，北京党组织就推选张国焘和刘仁静为代表，出席党的全国代表大会。刘后来在《一大琐忆》中回忆了当时北京党组织产生代表的经过。他说：“1921年夏天，我们在北京西城为考大学的青年办一个文化补习学校，由邓中夏教国文，张国焘教数理，我教英文。有一天，我们接到上海通知，要我们派两个代表赴沪参加建党会议，于是我们就在这个学校开了一个选举代表的会。”选举时，“我依稀记得，那天李大钊没有出席。当时出席的人都同意派代表赴上海开会，但并没有谁想到是去出席一个重大历史意义的会议，也没有谁想争当这个代表”。“由于对一大的意义认识不足,一般习惯于在组织活动中不惊动李大钊，因而没有选举他是并不奇怪的。”“实际情况是：首先大家一致选张国焘当代表。在选第二个代表时,曾经提出过邓中夏和罗章龙，然而他们十分谦让，以工作忙不克分身为由谢辞，这样最后才确定我当代表”。“总之，选代表的那次会是认真的，气氛也是好的。”张国焘因受命参与“一大”的筹备工作，在代表产生后，即刻动身去了上海；刘仁静则在7月7日左右才达到上海的。