公元1134年十月，刘豫邀金军一同南侵，张俊任淮西宣抚使，扼守健康，敌不得进。
第二年，刘麟入侵，张俊和杨沂中合兵于泗州拒敌。公元1136年，刘麟再入侵，张俊节制杨沂中、张宗颜、田师中、王玮等，杨沂中在藕塘击败刘猊。拜张俊少保，加镇洮军、崇信军、奉宁军节度使。张俊是南宋第三位建节三镇的大将。赵构特意勉励他道：“爱卿见识持重，深达敌情，兼有几万精兵，忠心报国，朕有何忧？群臣都说朕偏爱你，爱卿要体察上情啊！”同时告诫张俊，多读《郭子仪传》。赵构用读《郭子仪传》敲打张俊，最少说明两个事实，即赵构认为他功高，同时张俊有威信，赵构警告他收敛。
公元1137年，郦琼率淮西军叛乱后，张俊再任淮西宣抚使，驻扎盱眙。再移庐州。第二年，朝廷赐张俊“安民靖难功臣”，拜少傅。
公元1139年五月，金人渝盟，破河南，图顺昌，命张俊率军策应顺昌刘錡，张俊督军过江时，刘錡已经取得顺昌之战大胜。张俊抵亳州，渡河收复河南鹿邑等地后退军。
公元1140年，金军郦琼占据亳州等地，张俊大军屯安徽亳州城父镇，命都统制王德攻宿州符离，王德乘胜与张俊汇合攻亳州，郦琼弃城而逃，张俊引军入亳州，父老乡亲焚香迎接，张俊留统制宋超守亳州，自率军回寿春，因功进少师，封济国公。
公元1141年二月，张俊、杨沂中、刘錡在柘皋大胜兀术，其后败于濠洲，前文已叙。三月金人退兵，朝廷拜张俊为枢密使，张俊知赵构欲停战，更想收大将军权，于是首先向朝廷交纳所统部队。张俊此举，让赵构很放心，张俊手下部将也都受到重赏。
张俊本来颇有军功，可力赞和议，对秦桧言听计从，秦桧即推荐张俊以枢密使的身份巡视楚州，实际等于又交回了兵权给张俊。一年后，赵构、秦桧见张俊没有任何反应，又不放心了，公元1142年十一月，秦桧指使御史江邈弹劾张俊，江邈说张俊侵占承天寺为宅基地，大儿子杨沂中在朝廷掌兵，小儿子田师中在外掌兵，如有生变，祸不可测！当然这样的功击也纯属借口，赵构道：“张俊不是谋反之人！”话虽如此，但赵构很喜欢秦桧的操作。