1968年暮春的一天，“五一”劳动节就快要到来了。在那个时代，知识分子还没有被划入工人阶级，“五一”，这个工人阶级的节日自然也不属于杨宪益们。
那天晚上，杨宪益与妻子喝闷酒，一瓶白酒喝掉了三分之二时，他们听见有人轻轻叩门，杨宪益便去应门。原来是他们外文局的一位人事干部，说有事要与他到外面谈一谈。杨宪益以为跟往常一样，对方是要向他了解单位其他同事的情况，就鞋也没换，蹬着拖鞋出门了。却不料来客并未在院子里与杨宪益交谈，而是把他引到前面的办公楼里的一间办公室里。
房间里除了单位里的几个年轻造反派外，另外还有几个面目陌生的军人。其中一个军人在询问了杨宪益的姓名籍贯年龄之后，忽然脸色一变，勃然吼道：“遵照北京市军事管制委员会的命令，你被捕了！”说着，冲上前来，三下五除二，就以娴熟专业的手法把杨宪益的双手给铐了起来。然后把他押出外文局办公楼，塞进一辆军用吉普车，直接开到监狱，杨宪益的监禁生涯开始了。
杨宪益在解放前，就常常表现出与权贵的疏离，在解放后的特殊年代，他也时时表现出拂逆，比如组织上有意叫他去译毛泽东著作，钱锺书都欣然前往了，他却不肯去！在那个时代，能有译毛的机会，在一般人眼里，那该是件多么荣光、求之不得的任务，可是他却不去。
他不去的缘故，却也不是在心里对毛不尊敬，相反，他那时对毛“挺佩服”；不去的缘故是他当时正在南京搞统战工作，工作得挺舒心，又刚买了一个房子，生活得无不满意，懒得动。他又觉得毛泽东是政治家，而他对政治不大感兴趣。
——这些，都是他自己的解释，这些理由，不要说当时广大干部群众不接受，就是在今天，听来还是令人觉得“站不住脚”，因为如果他对伟大领袖像一般人那样无比崇敬，就会毫不犹豫地服从，所谓“懒得动”，说到底还是不热心。
除此以外，杨宪益还时而表现出“任性”。赫鲁晓夫在苏联共产党第二十次代表大会上所作的报告中，对斯大林进行了谴责，之后苏共的路线发生变化，中共认为赫鲁晓夫是修正主义者，中苏两党公开决裂。
杨宪益对此不以为然，当时他正心情很不好，有恶气想出，于是就写了几首“唱反调”的诗，还故意把诗放在办公桌上，以便让同事们看到，结果震惊了单位的党支部书记。虽然一时并未遭来祸殃，但文革开始后，终于成为他的罪证之一。
当然，杨宪益的能够耿介，敢于任性，表明当时国内的政治环境还比较宽松。在革命的大风暴到来之前，杨宪益也还不可能对政治运动的厉害有足够的认识，等到文革中他真正尝到苦头，他的个性就有所改变了。
从本性来看，杨宪益可以说是一个耿介的人，不虚伪，不存趋炎附势之念。但是他的耿介通常是以消极的、不合作的、不听从召唤如闻鸡起舞的，而不是那种宁折不弯的性格。当厄运突然降临的时候，他只是顺然，不做徒然的反抗。
那个军人铐他的时候，旁边的军人们也都一拥而上，做好应对他拼命反抗的准备。谁知他一点也不反抗，甚至连一个诸如“你们凭什么抓我？”“我犯了什么罪？”的问题也没有提出来，只一声不吭。在旁人会感到的意外，面临意外会有的本能反应，在他则仿佛完全是预料之中，而没有任何反应。以至于使处于紧张状态下的军人与造反派们几乎陷入无趣，竟出现了几分钟尴尬的冷场，那铐他的军官这才下令把他押出去。
杨宪益是能上能下、能伸能屈的，不仅如此，他的心理自我调节的能力极强，达到相当高的水平。当军人们押着他下楼往办公楼外走去的时候，充斥脑中的不是此去吉凶难卜，何时才能返家之类，而是嫌脚上的拖鞋不跟脚，想的是“刚才出门，为什么不换双鞋呢？”
在驶往监狱的吉普车上，无知的士兵把他当作真正的罪犯看待，两个人分在他左右夹着他，并且按住他的头，压低，再压低，直到脸贴双膝。杨宪益并没有热血上涌，视为奇耻大辱，而是很配合，任人摆布，头垫在膝上，舒服得快要睡着了。其实他的“配合”只是“非常”，而不是“完全”，他并不傻——比如戴手铐时，他早就发现手动一动，铐子就会紧一紧的。
进了牢房，一间通常关十二人的牢房，那夜居然关了二十一人，众多的犯人像罐头里的沙丁鱼一般密密地挤睡在两张通铺上。金融资本家家庭出身的杨宪益，舒服地留洋、享受过西方物质文明的杨宪益，做过大学教授的杨宪益，在国家局机关里任专家的杨宪益，在这一天晚上，在本已拥挤不堪的犯人中间硬生生插睡下去，与他们摩肩抵足、鼻息相闻，竟能毫不介意，安然入眠，一觉睡到大天亮！
在杨宪益晚年的回忆录中，狱中生活轻描淡写。一般人遇此多半会有不堪回首的心理，他却用了一种“好玩”的心态来回顾，语气与他写年轻时在牛津的调皮相去不远。他身在牢中，心却似在牢外——仿佛他不是一个坐牢的受难者，而是一个旁观者，顶多是一个体验生活的人，一个坐牢玩票者。
监室的上方吊着一盏整夜不息的电灯；床旁放着一个解大小便的大铁桶；早晨解大手的时间不准超过十分钟，而且还在狱警的监视下；一天只吃两顿饭，伙食当然很差；每半个月才有一次放风的机会，时间只有一刻钟；每个月都会把头剃成光瓢；同监的犯人也形形色色，既有政治犯，也有刑事犯，具体“犯罪”的种类更是五花八门，有惯偷，有杀人的，有强奸自己几个亲生女儿的，有“造反派”，还有“保皇党”，有为了爱情偷越国境的……生活在这样的环境下，生活在那样一群人中间，一辈子没有真正过过苦日子的杨宪益却似乎安之若素，并无任何不适。
牢房里经常有暴力，有恶作剧，可是都轮不到杨宪益头上。在他笔下，那些好惹事、好作弄其他犯人的人他称之为“小恶棍们”，对他却是喜欢加尊敬，把他当老师，要他教他们学外语、背唐诗，以及唱外国歌曲。
杨宪益晚年诗中，形象地描写狱中生活情景：“同床惯窃谈‘雷子’（便衣警察），共屋流氓说‘泡妞’。”
因为伙食差，他们就谈论如何做冰糖肘子，就写大菜菜单解馋。
在杨宪益笔下，绝对看不出狱中的他有什么内心郁闷，有多少精神痛苦。之所以他有这种平静的心态，除了他对人事的豁达、对灾难的蔑视以外，还因为他入狱前几年的生活，一直处于组织歧视、怀疑的目光中，他受够了。他还记得被捕的那天晚上，夫妻俩一起喝酒，就是“情绪低沉”的。
