部队进驻都菏泽之后，没有继续推进，对于这个挂着抗日之名，实则和人来往密切的武装政治势力，李洪刚寻找动手的机会，不但要全歼陈天南武装，还要揭露他的真面目，为此，李洪刚把配属给他的特战分队，全都派出去，最好活捉几个在陈天南身边的人，拿到证据，陈天南也就无话可说了，歼灭他也就有了充足的理由。

这事儿下达命令容易，执行起来就很难了，陈天南身边的人，都在他的队伍里挂着参谋之类的头衔，深居简出，平素不大露面，几支特战分队潜伏进巨野好几天，一直没有机会，把李洪刚弄得一筹莫展。

强行打，没有充足的理由，还会招致鲁南一带老百姓的反对，失去民心，这仗得不偿失，不打，任其做大，早晚是个祸害，人在他的队伍里活动频繁，前线的部队和日军打到紧要关头，陈天南的几千训练有素的武装，突然发难，对独立师所有在山东的部队，都是一场灾难，李洪刚思考了几天，也没有好办法。

他只好把情况汇报给在郑州指挥部的师长唐秋离，说明目前遇到的困境，唐秋离回电很简单，就是六个字，“行使你的职权，”李洪刚茅塞顿开，对呀，自己是国府正式委任的山东省政府主席，黄河流域战区委任的山东警备区司令部司令官，凡是山东的军政，都是自己说了算。

一旦打开思路，李洪刚迅速制定了对策，他以山东省政府主席、山东警备区司令官的名义，给陈天南下了一道公文，大意是，当前，北方对日作战形式紧张，日军在华北陈兵百万，对我山东虎视眈眈，有大举进犯之趋势，为了贯彻蒋委员长倾举国之力，施行全民抗战的号召，凡是山东行政辖区内的所有地方武装，均编入山东警备司令部所辖部队，统一番号，实施统一指挥。

各地民政，均由省府委派官员管理，统一税收，集中人力、物力、财力，准备迎击日军的进攻，凡是接到公文的地方自发武装，立即清点人数和武器装备，登记造