日军侵占黄石后，武装反抗侵略成为党组织的首要任务。1938年7月，中共大冶中心县委（由隐蔽活动的同志建立，驻地在沦陷区的大冶城关）成立后组建八路军鄂南抗日游击队第一纵队，彭济时任司令员，刘青任政委，有70余人枪，活动于大冶县城南山区。同年8月，郑世顺等从武汉八路军办事处军事训练班学习归来，与中心县委联系后，从彭济时家取出70多支步枪，成立八路军鄂南抗日游击队第二纵队，郑世顺任司令员，彭方正任政委，下设两个大队。隶属中共大冶中心县委领导。1938年10月21日，纵队在南山头至七里冲一线伏击日军，打死打伤200余人。1939年冬，大冶中心县委民运部长冯玉亭与方步舟（曾任红军红十七军政委，后脱离队伍，被捕后投降国民党。抗战爆发后回家乡拉起一支队伍。）谈判达成协议，与党直接组织领导的抗日队伍合编，成立鄂南人民抗日指挥部，方步舟任指挥长，冯玉亭任政治部主任。这支抗日部队中建立有中共特别支部，发展党员50余人。最多时发展到3000多人枪，在咸宁、大冶、鄂城边境建立抗日根据地。1942年，新四军五师十四旅主力挺进鄂南后，在黄石地区建立阳大、鄂大、大鄂三块边区抗日根据地，以及冶南工委、鄂南工委冶四区工作组、阳瑞边抗日根据地。
尽管处于沦陷区，但黄石地方抗日武装在党的领导下，与日伪顽（顽军主要指地方土匪武装，这部分武装有时打出抗日旗帜，有时又充当日伪军帮凶，残害抗日军民）军进行了坚决斗争，为建立敌后抗日根据地、夺取抗战胜利作出了重要贡献。
