张铁山是张俊的绰号，张俊字伯英，出生于公元1086年，是“八大将”中年纪最大的。凤翔府成纪（甘肃省天水）人。好骑射，有才气。从小做强盗，十六岁，转正参军，为弓箭手，公元1119年，张俊随军进攻西夏的仁多泉（青海门源东南），战后才被授予授“承信郎”，成为“从九品”的最低级武官。这时张俊已经三十二岁了，所以他的起点相当低，也相当晚，之后几年，张俊陆续平定河北、山东盗贼，进“从七品”的“武德郎”。
公元1126年，金人攻太原，张俊跟随种师中救援，屯军榆次，金兵几万人合围榆次，榆次失陷，种师中殉难，张俊率所部数百人力战突围，且战且退，斩杀追兵五百余人，经此一战，张俊声名大震，崭露头角，升为“正七品”的“武功大夫”，此时张俊年已四十一岁矣，但也同时说明，他单兵作战能力还是很强悍的。
十二月，兵马大元帅赵构在大名，张俊随信德（河北邢台）守臣梁杨祖率三千兵马到大名，赵构见张俊英伟，提拔他为元帅府后军统制，张俊成了赵构最早的军事帮手之一，此后张俊的官职火速上窜，因为他跟对了领导人！
公元1127年，赵构从东平转济州，再到应天称帝，张俊一直跟随，官职也从后军统制升荣州刺史、桂州团练使、贵州防御使、徐州观察使、拱卫大夫。
北宋灭亡，张俊以其敏锐的政治洞察力，极力拥戴赵构即位，张俊对赵构道：“大王乃皇帝亲弟，人心所归，如今天下动荡，不早正大位，何以聚集人望？”五月，赵构即位，张俊被任命为御营前军统制，正式成为赵构的亲信之一。
七月，张俊率军平定了淮宁杜用、镇江赵万、郭青等人的叛乱，公元1128年三月平，又平定越州徐明几万起义军，为赵构南渡扫平了道路，稳定了后方基地。
公元1129年三月，苗傅、刘正彦兵变，张俊正驻军吴江。闻讯后，随即率部八千人退回平江，和张浚一同平叛，张俊的部队是第一支平叛军队，平定叛乱后升“镇西军领节度使”。节度使是“从二品”，不到三年，张俊连升了九级。七月，改任御前右军都统制。
公元1129年十二月，张俊指挥“明州之战”，获得小胜。第二年，率军平定浙西群盗，诸将除刘光世、韩世忠外，都受张俊节制。六月，朝廷改“御前军”为“神武军”，张俊为神武军右军统制，授检校少保，定江军、昭庆军节度使。公元1131年，张俊节制岳飞、杨沂中、陈思恭等将，受命扫平江、淮、湖、湘孔彦舟、张用、李成的叛军。李成被张俊逼得北上投降了刘豫，也正是此时，李成给张俊留下了一个“张铁山”的绰号，江西各郡平复，张俊因功被拜为“太尉”。