白色”就是到国民党军中做工作，伺机起义；“红色”就是建立自己的工农革命武装；“灰色”就是争取和改造土匪、民团和哥老会。在三种斗争形式中，重点放在国民党部队的争取上，进行策反兵变，把国民党的力量变为共产党的红色武装。这是在当时全国普遍采用工农暴动方式创建红军的一种创新。会议还决定刘志丹担任特委军委主席，并主持特委工作。不久，刘志丹要求到国民党军中做“兵运”工作，辞去了陕北特委的职务，回到家乡永宁山，和党小组成员一起联合进步人士，采取合法化的选举，夺取了县民团的领导权，废除军阀作风，加强军事训练，进行革命教育，把反动民团改造成为共产党掌握的武装力量。

    刘志丹经过周密部署，抽调了党团骨干分子和民团中的革命力量，以陇东骑兵第六营的名义，开赴甘肃合水县太白镇。于1930年10月1日，奇袭陇东民团第24营，缴枪60余支，骡马70多匹，这就是著名的“太白夺枪”。以此武器和人员为基础建立了三支民间革命武装，在陕甘边一带活动，队伍迅速发展到200多人。之后，刘志丹将分散活动的三支民间武装，集合在平定川倒水湾进行整编，正式创建了南梁游击队，下辖3个大队，共400多人。刘志丹任总指挥，马锡五任军需。一支由我党领导的独立的革命武装终于诞生了。从此，陕甘边的武装斗争进入了蓬勃发展的新时期。

    1931年10月下旬，阎红彦、杨仲远率晋西游击队进入陕北后与师储杰的商贩队会合在一起，在难以开展游击的情况下转战来到南梁，和刘志丹领导的南梁游击队在林锦庙会合。这年冬天，根据省委指示将两支队伍改编为西北反帝同盟军，谢子长、刘志丹分别担任正、副总指挥，共700余人。下辖两个支队，师储杰任第一支队队长，刘志丹兼任第二支队队长。

    1932年2月6日，在陇东正宁县三嘉塬整训过程中，个别领导人执行：“左”倾错误路线，背过刘志丹密谋后，在列队大会上突然动手，枪杀了二支队一大队队长赵连壁、三大队副队长郭聚山，缴了二支队的枪支，打伤多人，刘志丹佩戴的枪也被缴了，发生了不该发生的“三嘉塬事件”的悲剧。二支队的一些战士离开了队伍。师储杰率商贩队出走，投奔了杨虎城。红色武装力量锐减至200余人。刘志丹从全局出发，忍辱负重，依然积极工作，帮助将队伍改编为“中国工农红军陕甘游击队”。

    5月上旬，中共陕西省委决定重建陕甘游击队总指挥部，任刘志丹为总指挥。陕甘地区轰轰烈烈的红色革命，使国民党军阀十分惊恐，调集数个旅，大举“进剿”陕甘游击队。总指挥刘志丹用声东击西、避实就虚的游击战术，在半个多月时间内，进行战斗九次，八次获得胜利，取得了歼敌1400余人、缴枪1200多支的辉煌战绩，粉碎了敌人的进剿，游击队迅速发展到1500多人，革命声势日益壮大。

    这年冬天，陕西省委常委杜衡来到部队，指责刘志丹、谢子长等人执行“右倾机会主义路线”、“梢山主义”，污蔑他们有“反革命阴谋”，撤销了刘志丹、谢子长的领导职务。派谢子长、阎红彦到上海“受训”，虽然把刘志丹留在部队，但不予重用。同年12月24日，杜衡在宜君转角镇军人大会上，宣布陕甘游击队改编为中国工农红军第二十六军第二团。王世泰任团长、郑毅任参谋长。对此，刘志丹不计较个人得失，全心全意地维护部队的团结，表现出坚强的党性修养。

    在创建照金革命根据地的过程中，政委杜衡强令红二十六军开到关中去建立根据地，受到国民党警备旅的围追堵截，部队在蓝田被敌人重兵包围，激战数日，弹尽粮绝，几乎全军覆没。刘志丹带领十多人冲出重围，靠野果充饥，辗转北上，昼伏夜行，幸遇到红二团一个战士，才和失散的王世泰会合，回到了照金根