杨文翰在离开皖东二十多天后，回到了江北指挥部，此时北进山东的工作已经展开。
军部已经批准北上部队为新四军山东挺进纵队，司令员杨文翰、政治部主任 肖国生、代参谋长李振华。王思源任一团团长。二团团长林维先、三团团长叶道志。
这个叶道志就是从皖南出走的那个叶道志，叶道志、徐长胜受了处分来到江北，两人也认识到了自己的错误。虽然降职了但两人也都是勤勤恳恳地做事。这次北上杨文翰不计前嫌把刘道志调来三团做团长、徐长胜做副团长。两人很是意外。如今叶道志就在黄花塘，第三团二个营在徐长胜带领下已经偷渡过洪泽湖进入苏北，他也准备出发了，正好此时杨文翰回到了黄花塘。
叶道志找到杨文翰询问三团团长任命他的原因。杨文翰道：是人都会犯错误，又不是原则性错误，没必要抓着不放。现在北上任务艰巨，你红军时期就做过师长，不用你用谁。你们也不要有思想负担，好好带领部队，打胜仗就是硬道理。"；听完后叶道志很感激，表示保证完成任务。
挺进纵队大部分都已出发了，从蚌埠、出发的一团抵达了邳州附近，准备在铁道游击队的引导下越过陇海线，从扬州这边出发的二团都胜利地到达了山东莒县附近，部队正在当地党组织的带领下去沂山的路上行进。两支部按计划在沿途留下武工队和部分部队，沦陷区的百姓生活在水深火热之中，新四军的到来，让他们找到了心骨，很多青年加入到武工队和留守部队中，发展形势一片大好。
11月23号夜，杨文翰、李振华携纵队直属人员、警卫连越过洪泽湖，在泗阳以东登陆，先期到达的叶道志，徐常胜前来迎接，杨文翰、李振华一行人吃了一顿热饭后，和叶道志一起连夜向北急行军，徐长胜带一个连继续在泗阳接应北上的部队。此时日军还未占领苏北，杨文翰、李振国一行人路上没有遇到太大麻烦，一夜急行军，到达新沂马陵山。在马陵山休整了一个白天。到了晚上又上一夜急行军，经兰棱以西进入枣庄以北抱犊崮山区。
抱犊崮山区是杨文翰、李振华的中转点，一团一个营驻扎在这里，还有一个营驻扎在葫芦套。以后整个枣庄以北山区包括抱犊崮、尼山、曾子山等都是一团的防区。
在大炉杨文翰、李振华见到了一团团长王思源，王思源向杨文翰报告了来此地的情况。部队和苏鲁豫皖边区特委取得了联系，在特委书记郭子化、李韶九、郭致远、李微冬和陈永元等人的积极努力下，一团来之前就已创建了抱犊崮山区抗日根据地。在尚岩、大炉、车辋、卞庄、梁邱一带还建立了党组织。一团到来时，特委很热情，应一团要求特委安排进入了抱犊崮、葫芦套。