杨沂中出生于1102年，字正甫。代州崞县（山西原平）人。祖父杨宗闵，永兴军路总管，与金军作战而死；父亲杨震，曾知麟州建宁寨，也在抵御金军时战死。这是一位忠良之后。
杨沂中身材魁梧，性情沉鸷，少年时机敏过人，而且力气超人。更为难得的是，杨沂中读书也很在行，过目成诵。但他志向不在于读书，曾慨然对人道：“大丈夫应当用武功博取富贵，怎能俯首贴耳成为腐儒呢！”于是学习孙武、吴起兵法，勤加练习骑射本领。
十六七岁时，杨沂中从军入伍，加入平定盗贼的军队中，累功至忠翊郎（正九品）。
公元1126年，金军第二次围攻汴京，各路军队勤王，杨沂中与张俊、田师中随信德府守将梁扬祖率万余兵入援，后来成为张俊部属，并跟张俊随赵构到东平府。
赵构建大元帅府，向张俊询问可靠的亲卫军将领，张俊推荐杨沂中。赵构召见杨沂中，赐给袍带。当时大元帅府正值草创之时，杨沂中昼夜护卫赵构寝帐，没有片刻离开旁边，因此杨沂中是赵构最早的警卫团长。这也是后来赵构所以选他为禁卫司令的原因。
公元1127年，巨盗李昱占据东平府南面不远的济宁任城，官军久攻不下，杨沂中主动请战，率领数名骑兵冲入敌阵，击杀数百人。赵构登高望见，杨沂中甲胄全部变成红色，以为他受了重伤。召他前来观看，其上满是敌人的鲜血，赵构击节赞赏，赐酒，并道：“饮此酒，酬劳这位血汉子。”这句“血汉子”一语双关，既说杨沂中是血性汉子，又指杨沂中杀敌勇猛，致使一身污血。
杨沂中被赵构一激励，更加来劲，请求再往，赵构不准。杨沂中道：“这些贼人已经胆寒，我有把握手到擒来。”
赵构见杨沂中胸脯拍得山响，也就默认，杨沂中重新杀入敌阵，收复任城。升合门祗候。
公元1128年，杨沂中在嘉兴征讨徐明，因功升荣州刺史。赵构南渡长江，杨沂中率“胜捷军”跟张俊守吴门。第二年又跟张俊赴杭州平苗刘叛乱。升贵州团练使，不久任御前右军统领。十二月，由跟张俊参加“明州之战”，和田师中、赵密建立奇功，升文州防御使，御前中军统制。公元1131年，杨沂中跟随张俊征讨李成，又因功升宣州观察使（正五品）。杨沂中跟随张俊，几年的时间便位列高级武将行列，这也是他后来一直紧跟张俊的原因。
公元1132年春，杨沂中进位神武中军统制兼提举亲兵宿卫，这个位置相当于中央警备司令了。宰相吕颐浩从袖中拿敕令交给他。张俊一看，朝廷调任他的得力干将，不满意了，奏请杨沂中留在自己军中。赵构道：“宿卫部队缺将帅，朕所挑选的人才，不能改变。”