为人、地两熟，决定由李兆麟公开出面组织抗日队伍，他骑着家里的白马联络了辽阳、奉天、本溪一带的“长江队”、“燕子队”、“天地荣”、于志超和“平日队”等山林队。在“为了祖国、民族要打鬼子……”的口号下，这些山林队纷纷表示愿意联合起来抗日救国。同年3月，以“东北民众抗日救国会”名义，在三家子陈楚英院内，由李兆麟主持，召开了约有50多人参加的各队首脑会议，宣告正式成立东北义勇军第二十四路军，下设5个支队，总司令苏景阳，总人数达3500多人。定以小堡为中心，驰骋在东至歪头山，南至铧子沟，西至烟台（灯塔），北至陈相屯方圆60平方公里的土地上，与日寇作战。

    东北义勇军第二十四路军成立不久，于3月底攻克铧子沟矿警，活捉前日本关东军工兵司令、8大矿矿长“久留岛”。在韭菜台歼灭投靠日寇的土匪队“洪盛团”300余人。击溃霸据东至唐家堡子、南至小旋、西至铧子沟、北至柳河子方圆30里、危害人民的地主武装“南大会乡团”千余人。在这一节节胜利、军民振奋、反日烈火燃遍辽沈大地的大好形势下，苏景阳受日寇的引诱投敌叛变，李兆麟机警地将其骑兵队带出坚持抗日。

    1932年7月，义勇军已发展到六七千人，李兆麟又联络了奉天的林子升和辽阳各地的山林队及东北义勇军第二十四路军近万人，于8月28日深夜攻打奉天，冲入南关和飞机场，敌伪公安队、城内伪军警和便衣队纷起内应，破坏了航空处、兵工厂、电台，烧毁飞机库并烧毁飞机7架。这一壮举，重创了日寇，轰动了全中国。

    1932年11月，由于日寇加紧“围剿”义勇军，从上海等地调集重兵实行“铁壁合围”，加之义勇军内部良莠不齐，以及幸存的最后一支“燕子队”首领沈宝林叛变，李兆麟被迫离开辽阳去奉天特委。

    李兆麟和其他同志在辽阳县小堡一带组织义勇军，积极从事抗日武装斗争的同时，还建立了许多抗日斗争组织。如先后建立了“反帝大同盟”、“农民大同盟”、“穷人会”、“少年先锋队”、“妇女会”等组织，开展“抗租抗息”、“分粮吃大户”、“高粱斗争”、“苞米斗争”、“罢锄”和破坏敌伪铁路、电讯设备等斗争。他还带领叔兄弟等亲属印制以抗日救国为内容的“打倒日本帝国主义”、“打倒官僚军阀、土豪劣绅”、“反对压迫，反对剥削”、“工人要罢工，农民要罢耕”、“工农群众团结起来，不当亡国奴”等传单标语，组织儿童借各村“庙会”之机到双龙寺、曹官寺、柳河子、三块石、十里河、铧子沟等地散发。影响波及周围八九十里地的村庄。李兆麟还非常关心儿童、妇女工作，亲自教唱抗日斗争歌曲。

    1932年12月，李兆麟受奉天特委的指示，化名孙正宗，与孙乙泰（王子明）、侯新（侯维民、侯国栋）到本溪煤矿从事抗日活动。由于工作需要，在煤矿成立了“临时工作委员会”，李兆麟任支部书记。不久建立了团支部，发展了杨坚白（杨玉典）、陈向古、徐伦言入团。他们以挖煤、扛木头、推矿车等劳动为掩护，在工人群众中宣传抗日救国的思想。在三坑、五坑短短的几个月里，李兆麟亲自经历了旧中国矿工的悲惨生活，与矿工同甘共苦，开展对日斗争。遇上了工人弟兄头疼脑热，他牺牲自己下工后的时间去照顾，有时用自己的钱接济困难工人的生活，把工人紧紧团结在党的周围。由于李兆麟积极的工作，矿工“抗日救国会”的组织发展到300多人。

    1933年2月，根据中共奉天特委的指示，矿“临时工作委员会”改名为中共本溪特支，李兆麟任支部书记。不久，他由于沉重的劳动，紧张的工作，以及恶劣的生活环境，肺病越发严重，被组织调回奉天养病，住在一位同志的家里。组织上还派人把他家迁往奉天皇姑屯，后搬到小南关。从此，这