天汉元年（公元前100年）
春天正月，汉武帝到甘泉宫祭祀泰畤。三月，跑到河东祭祀后土神。汉武帝为了回应匈奴单于示好的举动，派中郎将苏武护送之前留在汉朝的匈奴使者回去，还准备了丰厚的礼物送给单于。苏武带着副中郎将张胜、临时官吏常惠等人一同前往。到了匈奴后，送上礼物，但单于却越来越傲慢，完全不是汉朝期望的友好态度。
正巧，缑王和长水人虞常，还有卫律带来的投降匈奴的人，暗中商量劫持单于的母亲阏氏回汉朝。卫律的父亲是长水的胡人，他和汉朝协律都尉李延年关系很好，李延年推荐他出使匈奴。卫律回来时，听说李延年家被抄，就直接投降了匈奴。单于很宠信他，还和他商量国家大事，封他为丁灵王。虞常在汉朝时和副使张胜关系不错，偷偷找到张胜说：“我听说汉天子特别恨卫律，我能帮汉朝用弩箭射死他。我母亲和弟弟还在汉朝，希望他们能得到赏赐。”张胜答应了，还送了些财物给虞常。一个多月后，单于出去打猎，只有阏氏和单于子弟留守，虞常等七十多人准备动手，结果其中一人连夜逃跑告密。单于子弟发兵平乱，缑王等人战死，虞常被活捉。
单于派卫律审理此案。张胜听说后，怕之前和虞常的密谋暴露，就把事情告诉了苏武。苏武说：“事情到这份上，肯定会牵连到我，等被侮辱了再死，那就太对不起国家了！”说完就要自杀，张胜、常惠赶紧拦住他。果然，虞常供出了张胜。单于大怒，召集贵族商议，想杀了汉朝使者。左伊秩訾劝道：“他们只是想杀卫律，要是谋杀单于，那该怎么处置？不如让他们全部投降。”单于派卫律召苏武来受审。苏武对常惠等人说：“丧失气节、辜负使命，就算活着，还有什么脸回汉朝！”说完拔出佩刀刺向自己。卫律大惊，赶紧抱住苏武，派人找来医生。医生在地上挖个坑，点上没有火苗的暗火，把苏武面朝下放在坑上，踩他的背让淤血流出。苏武当时就断了气，过了半天才慢慢苏醒。常惠等人哭着把他抬回营帐。单于很佩服苏武的气节，早晚派人问候，但把张胜抓了起来。
苏武身体逐渐康复，单于派使者劝他投降，还当着他的面审判虞常，想趁机逼苏武就范。卫律先一剑杀了虞常，然后说：“汉朝使者张胜谋杀单于近臣，按罪当死，单于下令，投降就能免罪。”说完举剑要杀张胜，张胜立马求降。卫律又对苏武说：“副使有罪，你也得连坐！”苏武说：“我根本没参与密谋，又不是他的亲属，凭什么连坐！”卫律又举剑吓唬他，苏武纹丝不动。卫律劝道：“苏先生，我以前背叛汉朝投降匈奴，幸运地得到单于大恩，封王授爵，手下几万人，马和牲畜满山都是，富贵得很！您今天投降，明天也能这样；要是白白死在荒野，谁还记得您？”苏武不搭理他。卫律又说：“您跟着我投降，我和您结拜为兄弟；今天不听我的，以后再想见我，可就没机会了！”苏武怒骂道：“你作为汉朝臣子，不顾恩义，背叛君主和亲人，在匈奴当俘虏，我见你干什么！单于信任你，让你决定别人生死，你却不主持公道，反而想挑拨两国君主争斗，坐观灾祸发生。南越杀了汉朝使者，被灭国设为九个郡；大宛王杀了汉朝使者，脑袋挂在皇宫北门；朝鲜杀了汉朝使者，很快就被消灭；就差匈奴还没被收拾了。你明知我不会投降，还想让两国开战，匈奴的灾祸就从我这儿开始吧！”卫律知道威胁不了苏武，就报告给单于，单于更想逼苏武投降了。于是把苏武关在大地窖里，不给他吃喝。天下雪时，苏武就躺着吃雪，和着毡毛一起咽下去，几天都没饿死。匈奴人觉得他是神人，把他流放到北海边的无人区，让他放牧公羊，还说：“等公羊产奶了，你才能回去。”又把苏武的手下常惠等人分别安置到其他地方。