1937年仲夏，闽西山区水声淙淙，绿草青青。闽西南军政委员会根据中共中央关于“停止内战，一致抗日”的方针，在这里将坚持斗争在闽西南的1200多名红军游击队整编为“闽西南抗日义勇军第一支队”，由罗忠毅任参谋长。1938年2月上旬，闽西、闽赣边、闽粤边及浙南的红军游击队改编为新四军第二支队，张鼎丞任司令员，粟裕任副司令员，罗忠毅任参谋长。

    1938年3月，二支队誓师北上抗日。罗忠毅和二支队政治部主任王集成率司、政机关和三团、四团，于7月到达苏南横山地区，与先期到达的副司令员粟裕会合，开创横山抗日游击根据地。

    横山地区，既是皖南新四军军部通向大江南北各游击区的咽喉要道，又是插向日军心脏——南京城的一把锋利的尖刀。罗忠毅协助张鼎丞和粟裕，大力宣传抗日救国方针，在地方上发展党员，培训抗日骨干，很快建立了党的基层组织，先后成立了江宁、溧水和当涂县委。农抗会、妇抗会、青抗会等群会组织相继建立。还建立了3个连队的地方武装。在组织群众开展抗日救国斗争的同时，罗忠毅重视团结争取抗日的力量，收编了自发组织起来的朱昌鲁、刘一鸿等地方武装，引导他们参加抗日。

    1938年冬，日军联队长横山大佐指挥2000余人的日、伪步骑兵（其中骑兵200多名），分路奔袭合围横山，妄图一口吞掉初进江南敌后的新四军二支队，摧毁根据地。敌人以三路会攻横山，一路袭占博望，断我后路，企图迫使二支队主力退缩于秦淮河、姑溪河、石臼湖之间的博望平原而予以聚歼。罗忠毅派两个连和侦察分队，在横山的351高地与敌周旋，破坏通向横山地区的所有桥梁。然后，趁黑夜亲率一个营，由独山李家村经华府，绕道到博望与下望塘之间设伏。翌日上午8时许，当日军进入预伏地域——下圭塘一线的土公路时，罗忠毅下达攻击令，并亲自指挥6挺轻重机枪，首先拦腰狠打日军。激战半小时，毙敌200余人，并缴获了一批武器弹药。

    1939年1月上旬，粟裕和罗忠毅决定奇袭官陡门。官陡门位于日军战略基点——芜湖机场附近。这个小镇四周是水网稻田。敌据点设三层铁丝网，筑起了碉堡和隐蔽战壕，由300名伪军据守着。1月18日晨，淅淅沥沥地下着毛毛细雨，罗忠毅率部冒着风雨出发了。为了麻痹敌人，他指挥主力沿西岸北进，天黑后由芜湖向东打回来；一部兵力沿东岸北进，配合主力作战；侦察分队化装成赶集农民，分别潜伏在镇内。19日清晨2时，两路部队进入官陡门附近的王石桥。拂晓前发起冲击，河东北进的部队迅速冲破敌人铁丝网，与向东打回来的部队一齐夹击敌人。与敌激烈战斗的同时，化装潜入的侦察分队趁机打进敌人的司令部。从开始攻击到解决战斗仅半小时，我军仅伤战士2人，全歼守敌300多名，缴获敌一部电台和全部枪械物资。

    官陡门伪军被歼，日、伪驻南京的指挥部急忙抽调外出“扫荡”的日伪部队开往官陡门。罗忠毅又成功地指挥了水阳伏击战。高淳至水阳的横溪地域，是日伪军往芜湖、官陡门的必经之地。罗忠毅要求三团一营和二营的两个连队，趁夜暗赶到横溪和小丹阳附近。他用3个连的兵力伪装成日伪军，其余部队从敌人的结合部突击。半夜里，3个连分两路，一路向驻小丹阳的日军袭击，待日军还击时，这一路便向横溪方向且战且退，引敌追击；另一路则向横溪驻地日伪军袭击，将其引向小丹阳方向。当两路敌人快相遇时，罗忠毅指挥部队一阵猛击后，不声不响地向溧水的孔镇撤走。两路敌军战至天明，敌指挥官大喊上当。

    1939年11月，新四军一、二支队领导机关奉命合并，成立新四军江南指挥部，陈毅、粟裕任正副总指挥，罗忠毅任参谋长。1940年初，罗忠毅同第二支队政治