邓小平乘船到香港后，立即与党的南方局取得联系。当时党中央的南方局设立在香港，负责广西、广东两省的工作。因为香港和上海一样，是租借地，因此便于我党的工作掩护。
南方局的书记是贺昌，聂荣臻任中共广东省委军委书记。贺昌和夫人黄木兰（定慧）、聂荣臻与夫人张瑞华两对夫妇住在香港跑马地的凤凰台附近。邓小平一到香港，便与他们取得了联系。据黄定慧回忆：“那时我们夫妇和荣臻、瑞华住在一起，小平同志到香港后住在一个旅馆，他到我们住的那里来过一次，主要是与贺昌同志和聂荣臻同志一起谈广西的工作。他还在我们那里吃了晚饭，菜是我和瑞华烧的。”为了保持和中央的联络，党中央还派了特科的龚饮冰与邓小平一道前往广西，并带着电报密码，负责机要工作。
与此同时，我党还陆续派了几十名军政干部，利用各种渠道和关系，进入俞作柏的省政府和李明瑞的军队中去工作。他们或是由人介绍，或是改换姓名，都未公开使用共产党员的身份。他们之中有张云逸、陈豪人、龚鹤村（楚）、徐开先、李谦、冯达飞、叶季壮、李干辉、佘惠、李朴、沈静斋、许卓、许进、何世昌、宛旦平、袁任远、袁振武（也烈）、史遽然等。
大约在9月间，邓小平和龚饮冰到达南宁。到达南宁后，邓小平首先和广西特委书记雷经天取得了联系。9月10日，中央代表邓小平主持召开了中共广西第一次代表大会，南宁、梧州、左右江地区等30多名代表参加了会议。会上邓小平介绍了当前的形势和任务，会议作出了开展土地革命，建立工农武装，准备武装暴动等重要决议。还通过了有关农村工作、宣传鼓动工作、职工运动、妇女运动、共青团等问题的文件，确定了新形势下广西党组织的斗争任务和策略，并选举了以雷经天为书记的广西特委。
邓小平回忆：“我们到南宁后，我同俞作柏见过几次面，根据中央指示的方针进行统战工作，同时注意把中央派到俞处的干部分配到合适的地方。”邓小平到广西后化名邓斌，公开以广西省政府秘书的身份作为掩护，实际则以中共中央代表的身份负责领导广西党的工作。
在广西，邓小平迅速和俞作柏建立了密切的合作关系。在我党的影响下，俞作柏、李明瑞首先释放了一批共产党人和进步人士。中共南宁区负责人罗少彦、工人运动领导人何健南、共产党员谢鹤筹、吴西等一大批共产党人和进步人士从狱中释放出来。这些人，特别是一批党团员干部，后来都成为建立广西红军的骨干。
李明瑞在掌握广西军事大权以后，鉴于过去的经验教训，非常需要扩建军队，以充实力量。于是广西警备大队应运建立，下辖新编第四、第五两个大队。
在这种形势下，邓小平等人通过俞作豫，向李明瑞提出建议，建立教导总队，以培训初级军官。用这种方式，我们党把一百多名干部学员安排进教导总队，培训和教育了近千名李明瑞旧部队中的进步青年，并在学员中发展了一批新的党员。
在与共产党的协商下，一批共产党人被安排到新建立的警备大队中。四大队，共产党员张云逸为大队长，共产党员李谦任副大队长。五大队，共产党员俞作豫为大队长，共产党员史遽然为副大队长。按照中央代表邓小平的指示，张云逸等在四大队中安排了100多名共产党员担任连排干部。他们还对士兵加强了革命思想教育，惩办了民愤极大的旧军官，吸收了大量工人、农民和进步学生参加部队，使部队的成份和思想面貌都得到了改造。
