再说张浚不听岳飞劝告，于公元1137年三月二十三日，任命兵部尚书、都督府参谋军事吕祉节制行营左护军（即淮西军），王德为都统制，陈充为参谋。
四月，因淮西军换了新领导，为了给吕祉打气撑腰，张浚以宰相兼枢密使及都督全国军事的身份，到淮西军视师。
张浚走后的五月，朝廷命统制官郦琼为行营左护军副都统制，成了王德下属。淮西军便乱成了一锅粥，郦琼不服王德，王德指责郦琼。两人争相向朝廷告发对方黑状。
而吕祉自己也是举止骄傲，不谙军旅，统制官有正副使，有正使横鞭敬礼者，吕祉仅点头答礼，有副使整日侍奉吕祉，中间要求歇息吃饭，吕祉却不予理睬，部下多愤怒不平。
六月，吕祉回朝述职，将王德和郦琼的情况做了汇报，朝廷怕激化两人矛盾，召王德回朝，应该说，这个处置是恰当的。
吕祉走后，在合肥的王德和郦琼两派斗得更厉害，王德打听到郦琼等又在整理他的黑材料，刚想反击，朝廷召他回朝的诏令下来，王德即率所部去建康，赵构见王德来朝，仍命吕祉回合肥节制淮西军。
吕祉到合肥，郦琼又告王德刁状，吕祉抚慰他道：“若说你们是对的，那有欺骗的嫌疑。张丞相