行至匈奴，单于受了厚重的财物后，愈发骄傲，对汉使亦有轻慢之意。苏武大失所望，但想夷狄之人，畏威而不畏德，本性如此，便也没有太放在心上，正准备收拾行装，准备回国，不想这时竟发生了一件意想不到的事。
匈奴贵族缑王，乃昆邪王姐姐的儿子，曾与昆邪王一起投降汉朝，得到信任与重用，从浞野侯赵破奴出征作战，兵败而降，被匈奴单于封为缑王，虽然如此，却始终思慕汉家，意欲归还，又见降者虞常亦有思归之意，便以言挑逗。二人一拍即合，又联合了以前卫律的一些部属，暗中策划，决定寻机绑架前阏氏、今单于之母，投奔汉朝。行动还未展开，这时苏武等人来到了匈奴。
虞常在汉朝的时候，与副使张胜认识，私交也不错，为稳妥计，偷偷地去拜访了他，开门见山说：“听说汉天子非常痛恨卫律，我愿为君分忧，以暗箭射杀之。我的母亲与弟弟都在汉朝，若事情成功，希望他们能得到朝廷的赏赐。”张胜闻言吃了一惊，本欲将此事报告给苏武，又想事情若成了自然最好，若不成恐怕将连累同僚，便压下不报，私自答应了他，又赠给他一些财物，做为行动之资。
一个多月后，单于外出打猎，金帐王庭里只有阏氏和单于子弟等人留守。虞常觉得机会来了，便与缑王联络了同盟者七十余人，准备乘机举事。不想其中一人临阵退缩，连夜出逃，揭发了他们。单于子弟大惊，急忙发兵围攻，缑王等人战死，虞常因伤重而被活捉。单于恼怒，派卫律前来审理此案。
消息传来，张胜大惊，担心先前与虞常之谋会被揭发，便将事情的本末详细地报告给了苏武。苏武惊愕不已，冷静下来后，无奈地说：“事情既然已经发生了，就一定会牵连到我。倘若因匈奴侵害而死，那就更加有负于国家，并给天子蒙羞了。”意欲拔剑自刎。张胜、常惠二人急忙上前制止。常惠只道事情尚在发展中，不如先观望一阵，倘若贸然自裁，那岂不是不打自招么？苏武觉得有理，便收剑入鞘，静观其变。
虞常在狱中受不住酷刑，又心存侥幸，为活命计，便供出了全盘计划，并牵引出了张胜。单于大怒，召集贵族商议，言汉使犯上作乱，想一并杀之。左伊秩訾道：“如果今后有人谋害单于，那应当怎么加刑呢？所以，臣以为，汉使之罪不足诛；为今之计，当使其全部归降方为上策。”单于同意了，便派卫律前去召唤苏武前来接受审讯。
苏武坦然一笑，对常惠等人说：“事已至此，可谓屈节辱命，即使能侥幸活着，又有什么面目再回去呢？”毅然拔剑自裁。卫律大惊，抱住苏武，急令人快马加鞭，召唤医生前来救治。医者就地挖了一个坎坑，在坑下点了一堆火，待无明显火苗时，便将苏武置于坑上，轻轻地叩其背，使淤血慢慢流出。就这么救治了半日，本已无明显气息的苏武逐渐苏醒了过来。常惠等人见状，喜极而泣，便小心翼翼地用车将苏武拉回了营帐，予以慢慢调养。单于壮其节，又是钦佩又是喜爱，便早晚派人前来探望；而惹事的张胜则被监禁起来。
苏武的伤势逐渐好转。单于喜其忠勇，收服之心愈盛，便不断派使者前来劝降，见苏武不为所动，又心生一计，借审判虞常之机，意欲迫使其归降。卫律当着苏武等人的面，亲手用剑斩杀了虞常，然后旁敲侧击道：“汉使张胜意图谋刺单于的近臣，也就是我，论罪当诛！但单于宽宏大量，愿意接受悔改者，并赦免其罪。”言毕，紧盯着张胜，举剑欲击之。张胜汗如雨下，既惊且恐，连忙请降。卫律满意地点了点头，回头盯着苏武道：“副使有罪，难道主官可以全身而退吗？当受连坐之法。”苏武正气凛然，“我本来就没有参与其中，又不是他的亲属，凭什么连坐？”卫律理屈词穷，涨红了脸，又拔剑出鞘，对准了苏武。苏武面不改色，不予理会。卫律心说你已是死过一回的人了，还如此不吝惜生命，当真是好汉，不觉既惊且服，收剑入鞘，劝慰道：“苏君，我先前负汉归匈奴，有幸受到了单于的恩宠，赐号称王，部属有数万之众，牛马羊等牲畜满山都是；若苏君今日归降，明日也会像我一样如此富贵。如若不然，则无异于拿自己的身体白白地去给野草施肥呀，可谓卑贱极了，又有谁会念叨你呢？”苏武不为所动。卫律又道：“君若听我的劝告，归降单于，咱们可结拜为兄弟。如果今天你不听从我的建议，过了这个村就没这个店了，倘若日后反悔，想再见我，恐怕就没那么容易了。”
苏武火起，厉声斥骂：“你身为汉臣，不顾恩义，背主叛亲，效力于蛮夷，为人所不齿，我痛恨你还来不及，哪里还有意愿去见你呢？如今单于信任你，授予大权，可决人生死，你不公平执法，反而想挑起两个君主之间的矛盾，自己则坐观成败，以便从中渔利，岂不知祸患就在眼前了吗？昔日南越诛杀汉使，天子怒，于是其地成了汉之九郡；宛王杀汉使者，其头悬于北阙；朝鲜诛杀汉使，立时就被攻灭了。匈奴幸运，暂未受此祸。如今你明知我不肯降，就是要杀我，以令两国开战，那么，匈奴的覆灭就从我开始吧，到时你恐怕也不会得到安生吧？”说得卫律面红耳赤，哑口无言，只得回去复命。
单于愈发喜爱苏武的忠勇，越是得不到越想得到，决定饿其体肤，消磨其心志，便将他囚禁在一个大窖之中，不供给饮食。恰好那几天天降大雪。苏武便咀嚼毡毛，借助白雪，一起咽下，这才得以存活。匈奴人见他数日不死，以为有神灵的庇佑，就将他释放了。可单于终究不甘心，又将苏武放逐到北海（今贝加尔湖），令其放牧公羊，并说待大羊生了小羊后就放他回归汉朝；而他的部属常惠等人则被安置到别的地方。
苏武孤零零地到了北海，没有粮食吃，只得四处挖掘野鼠所储藏的东西吃，渴了就抓一把雪往嘴里塞；日子虽然艰苦，且似乎看不到终点，也看不到希望，但他始终不气馁，心平如镜，手持汉节牧羊，起居都拿着，以致节上那饰有旄牛尾的毛全部脱落。就这样过了五六年，有一天，单于弟於靬王到北海来打猎，苏武替他织网矫弓，深得其欢心，加之於靬王亦敬其节操，便常派人送来衣服、食物，接济苏武。三年后，於靬王大病，已来日不多，却依旧牵挂着他的故友苏武，令人赐予马匹、牲畜、服匿、穹庐等物，以利其谋生。於靬王逝世后，他的部属也都迁离了。这年冬天，丁灵王卫律派人来盗走了苏武的牛、羊等牲畜，使其又陷于困厄之中。但苏武依然苦中作乐，不改初衷。
