们也决心与华北人民共艰苦，共生死。不管敌人怎样进攻，我们准备不回到黄河南岸来。我们改编为国民军后，当局对我们仍然是苛刻，但我全军将士都有一个决心，为了民族国家的利益，过去没有一个铜板，现在仍然是没有一个铜板，准备将来也不要一个铜板。过去吃草，准备还吃草。”

    9月23日，八路军总部到达五台县南茹村。总部机关刚安顿好，左权立即组织司令部展开工作，了解华北敌我态势。左权根据侦察获悉，日寇第五师团正由广灵、灵丘向平型关进发，进而攻占太原。他立即将敌情报告朱德、彭德怀，定下在平型关伏击日寇的决心，遂令一二零师驰援雁门关；一一五师于24日冒雨向平型关急进，做好伏击准备。25日凌晨，平型关战斗打响，一举歼敌1000多人，击毁敌汽车100余辆，缴获大量军用物资。这一仗，打破了“皇军”不可战胜的神话，大大鼓舞了全国军民的抗战信心。

    11月，八路军总部转移到山西省和顺县石拐镇，召开各部队领导人会议，传达了毛泽东主席关于创建以太行山为依托的晋冀豫抗日根据地的指示。任八路军副参谋长的左权，遵照朱德、彭德怀的意图，具体完成了部队进行战略展开，开展游击战争的部署。会后，在左权主持下，以八路军总部名义发布了一系列关于发动群众、扩大武装、作战、训练、建设太行等训令。

    1938年2月，八路军总部由朱德和左权率领，向太行山挺进，开辟敌后抗日根据地。此时，日军在飞机、坦克掩护下，分三路进犯山西临汾地区。2月25日，八路军总部行至山西省安泽县（府城）与进犯的日军遭遇。当时，朱德和左权正在府城左侧山上观察地形，左权立即指挥身边仅有的两个连阻击。在敌众我寡的严重时刻，左权命令部属将朱德护送到20里外的安全地带，而他自己不顾安危，亲临前沿指挥战斗。当他察清敌情后，指挥部队从侧面出击，给敌人以重大杀伤。左权与敌周旋两天，争取了八路军在临汾的军需物资转移的时间，并掩护45个村庄的群众脱险，八路军总部顺利到达安泽县刘垣。罗瑞卿曾说：“在这次临汾遭遇战中，左权参谋长躬身前哨侦察，侧击致胜，迄今军中称道不已。”

    4月，日军万余兵力分九路向晋东南地区“分进合击”，企图消灭八路军主力，摧毁太行山根据地。朱德和左权详细研究了敌情，制定了作战计划，决定主力跳出敌人合围圈，转移至外线作战，并以一部兵力和游击队在内线开展游击战。左权亲临前线，指挥部队反“围攻”作战。4月16日，敌1500余人钻进了八路军在武乡、长乐地区布下的口袋，将敌分割在河滩里，激战一天，全歼该敌。其他各路敌人纷纷回窜，八路军乘胜追击，连续收复武乡、沁源、安泽、壶关、长治等19座县城，把日寇赶出了晋东南，彻底粉碎了敌“九路围攻”，为巩固扩大抗日根据地奠定了基础。

    1939年7月，八路军总部转移到武乡县砖壁村。左权住在一座破庙里，只有一张旧方桌，用门板支撑的小床铺，墙上挂满了用红蓝箭头标记的军用地图。他在这样简陋的条件下，终日思考着如何粉碎日寇对晋察冀根据地的进犯。10月，日军集中2万余人，对北岳区进行冬季大“扫荡”，左权日夜注视着敌人的行动，指挥部队运用游击战术不断打击敌人。11月7日，晋察冀军区和第一二零师一部，将日军主力一部包围于黄土岭，歼敌900余人，击毙敌中将旅团长阿部规秀。敌人悲叹“名将之花凋谢在太行山上”。日军屡遭打击后，被迫于12月全部撤出晋察冀根据地。左权写了《从打死阿部中将说到敌寇这一次围攻晋察冀地区》一文，总结了八路军冬季反“扫荡”取得胜利的经验。

    1940年2月，八路军总部决定在太北地区成立八路军第二纵队，左权兼任司令员，黄克诚任政委。3月