就在拉宾与所有的以色列国民陶醉在胜利的喜悦中时，又一个安息日走来了。
犹太教的先知摩西曾说过：“六天要工作，第七天是安息日，当有圣会。”安息日即犹太教信徒们的礼拜日。这一天确切说是星期五日落时算起，至星期六晚天空出现第一颗星为止。按教法，人们在安息日绝对不许进行非宗教活动，以车代步也是不允许的。工党政府从一开始虽将安息日定为了公休日，但并未允许拉比们对公众实行宗教强制。可惜的是纯比例选举制始终未能使工党实现一党统治，因而议会，内阁中的宗教领袖总是十分喜欢出来发难的。他们曾以破坏安息日的规矩为由坚决抵制政府为节省开支而实行夏时制。他们对太阳下山后，汽车仍在行驶难以容忍。然而他们又十分会审时度势，决定是否出来发难。他们曾认为“妇女堕胎”和“谁是犹太人”的问题可以闹一闹，果然他们有了“辉煌的战果”，但他们从不敢与全国人民做对，7月3日那次拉宾召集的内阁紧急会议的一天就是一个安息日，是不可以办公的，但宗教部长深知营救人质乃民心所归便早早地步行去开会了。拉宾对教规常常是采取宽松的政策，因此而得罪了这群拉比们。
1976年年末的这个安息日，美国授以的F-15型战斗机将运抵以色列，日子是美国人选的。拉宾兴致勃勃地与几位军政大员前去欢迎送飞机来的飞行员。这是美国连“石油龙头”的沙特都未给的最先进战斗轰炸机，福特却把它们最先卖给了以色列。拉宾像从前欢迎第一批援以的“空中之鹰”和“鬼怪式”一样欢迎了他们，仪式很快结束了，太阳落山了，拉宾与众部长驱车回家时已经天黑了。
这被极端宗教派的“以色列正教党”人看在眼里了，很快他们就在议会紧急会议上提出了对拉宾政府的不信任案，认为他安排的欢迎仪式有意的违反了有关安息日的教规。
拉宾不得不详细解释日子是美国人定的不好改变等等，但议会对这一不信任案的最后表决令拉宾吃惊不已。本来他是以为胜券在握的，工党联盟与入内阁的小党伙伴拥有超过半数票的略微优势。但两位全国宗教党的内阁部长却背信弃义抛开组阁协议投了弃权票，最后的结果是不信任案以一票之差被通过了。
不信任案通过意味着拉宾只能向总统递交辞呈了。对这突如其来的结果，拉宾真是插手不及，反对党议员们欢呼他们胜利的声音令拉宾痛苦不堪。会场上无数镜头与话筒开始对准拉宾。拉宾慢慢站了起来，利用了他最后的一项权利，他宣布立即解散议会，将在次年5月再次举行大选。反对党人士们咆哮着，拉宾从人缝中挤着离开了议会大厦。
拉宾并没有十足的把握可以保证次年的大选中工党还会当选，因为工党执政29年以来已在国民心中有了积怨，一些对自己收入不满的人们常常认为是工党政府中的一些腐败官僚剥削了他们。曾有一批人在承包“巴列夫防线”的巨型工程中大获渔利，收入的不平衡在以色列悄悄地加剧，基布兹式的平等越来越远离大家，人们更对不断上涨的物价和名目众多的税收深恶痛绝。
当初梅厄夫人和萨皮尔都曾希望拉宾这位新人可以给工党带来生机，然而拉宾很早就成为了佩雷斯及其追随者们的攻击对象。“大力士”计划胜利实施后不久，国防部发言人纳夫塔里·拉维曾告诉新闻界，拉宾一直都是反对采取武力营救的，中流砥柱是佩雷斯，是他坚持并促成了这个计划。在拉维的描述里，拉宾毫无异于当年魏兹曼描述的胆小鬼，更是一个贪功的小人。拉宾当时没有回击，他甚至没把佩雷斯想让达扬独入虎口的事讲给任何人，然而这样的纵容对拉宾自己一点也没有好处。拉宾只顾高兴地看到巴解在1976年的叙黎之战中受到夹击，而自己的武器库又在卡特上台前得到了极大的充实。这位已经无权的看守政府的首脑实在是太粗心了。
抛弃“英雄”
这个时候，已经很少有人再将拉宾与当初那个“六天战争英雄”的殊荣联系在一块了，因为对政府的不信任高潮在反对党鼓动下，在新闻界大炒特炒之下已经到来了。
拉宾内阁曾在1975年时得罪过新闻界，那时的《国土报》首席外事记者马蒂·戈兰曾撰文写了一部记述基辛格中东外交活动的书稿，其中涉及了大量的绝密文件和会谈记录中才有的内容，而且将基辛格写成了一个势利、圆滑，拿以色列利益拱手让人的形象。拉宾从检查官伊扎克·沙里少校那里得知此事后十分恼火，这么多的绝密外泄是令人深思的，况且该书对基辛格的言辞势必影响未来的以美关系。书稿被扣了，内阁甚至要审问戈兰，以调查出泄密渠道的所在。但不久在国内外压力之下，甚至是美国人愿买此书稿，基辛格本人原谅作者的情况下，拉宾内阁将书稿还给了戈兰，并很快出版了。于是，拉宾又把新闻界得罪了，这个戈兰的威力可是不小的。
新闻界首先是以揭露政府经济丑闻入手的。第一个丑闻是新闻界宣传不列颠——以色列银行总裁米切尔·佐尔这位与工党大员有密切交往的“家伙”侵吞了政府存在那里的一笔巨款。
不久，又一丑闻“出笼”了，以色列工总“患者基金会”负责人阿谢尔·雅德林——这位被拉宾刚刚任命的中央银行行长被拘留，并很快承认了他非法使用公款的行为。新闻界大肆渲染，甚至以质问的口气说拉宾的政府“引狼入室”居心何在？是否与拉宾有什么幕后交易。调查结果证明雅德林居然用那笔钱支持了工党，人们痛斥工党联盟盗用国家财产维持统治的腐败。
1976年11月10日，住房部长阿夫拉罕·奥佛尔被揭发曾在工总的希昆奥伏丁房产公司任职期间有过惊人的贪污。揭发人是一位周刊记者，新闻界很快便把它闹得沸沸扬扬。奥佛尔是一位和蔼的老人，他是无辜的。他在难以承受重压之时开枪自杀了。在表明奥佛尔无罪的调查结果出来时，新闻界却不做声了，大概又再寻找新的攻击对象了。
在工党内部，佩雷斯也开始攻击拉宾了，他把内阁中的分歧弄到新闻界和民众中去，他想把自己打扮成一个反潮流者而急得民众支持，而成为下一任的工党总理候选人。但佩雷斯没想到的是他掀起的轩然大波使本已根基动摇的工党也经受了一次前所未有的挫折。
拉宾对佩雷斯频频向新闻界透露政府许多本该保密的事情感到十分气愤，但对佩雷斯的在这一方面的指责却又再一次深深地得罪了那些记者们，记者们已开始痛恨这位堵塞“消息”来源通道的现任总理。
1977年2月，3000多名工党联盟代表再次举行大会，例行公事地选举新一任的工党联盟领袖，当选的领袖当然也就是下届大选的总理候选人。佩雷斯选前的积极活动颇有成果，他的选票达到了1404张，而拉宾仅比他多了41票，拉宾虽然仍然是工党的领袖和5月17日大选的总理候选人。但他对党内对他支持的下降感到十分沮丧。
拉宾对自己执政几年来的成果本来还算满意的，至少在外交方面他一直都认为以色列是成功的，是胜利的。但事实上，他确实忽略了人们在和平时期更关心的衣食住行问题，因为打仗也无非是为了重新获得和平，能够平静地生活，这是大多数的老百姓所想的，拉宾确实忽略了，毕竟他是一位从“大使”过渡来的“总理”。
拉宾一直对阿拉伯人和解抱以重望，尽管那时他的谈判对象中还根本未列入巴解组织，但他是始终反对继续在约旦河西岸巴勒斯坦人聚居区附近设立定居点。拉宾的这一温和立场与宗教势力、右翼的利库德集团是针锋相对的，后者主张不仅要向那里大量移民，还要把约旦河西岸干脆称为“朱迪亚和萨马利亚”，只有古代以色列才如此称谓的。佩雷斯正是利用这一点与拉宾大唱反调，令拉宾寝食难安。佩雷斯甚至还与反对党一起拿不久前的恐怖分子劫机事件攻击拉宾，认为这是拉宾姑息、温和政策的结果。
拉宾工党联盟参加大选时的一个盟友——东方犹太人“塞法拉迪”也是支持无限定居政策的，这些又使拉宾费尽了脑筋。
拉宾应新总统卡特之邀，又访问了一次美国。他知道卡特也是像他的前几任一样想在上任伊始就能弄出点成绩来，拉宾做好了要为这位新总统脸上“贴点金”的准备。但卡特与其见面时的“一揽子”主张把拉宾惊呆了，这位新总统居然要重提开日内瓦会议的事，甚至还要让巴勒斯坦人代表也一同参加。卡特接受了他的外交咨询机构布鲁金斯学会的主张，要拉宾考虑可否退回到1967年6月4日的停火线上。
经过双方的一番“你来我往”，几个回合过去之中，拉宾与卡特达成了一项还算令人满意的谅解。美国答应在与以色列磋商以前不会以对某问题的公开表态压以色列让步，而且还许诺了继续对以进行军事和经济的援助。
卡特不再像尼克松、福特那样亲以了，至少在办呈手法上粗陋得很，从不给对方一点回旋的余地，更别说是什么面子了。卡特没有基辛格那样一流的外交家，他甚至还喜欢耐不住性子地向新闻界透露内部消息，这一切令拉宾一筹莫展。
拉宾的老朋友，前副国务卿西斯科卸任后担任了美国大学的校长，他把该校的名誉博士学位授与给了拉宾。拉宾正与老朋友聚首闲谈时又听到了一个令他吃惊的消息——卡特召开记者招待会公开表明美国政府支持布鲁金斯报告的观点，以色列要撤到6月4日线上去。
拉宾已经彻底失望了，这意味着刚刚达成的谅解又成了一堆废纸。他失望地回国了——因为国内还有一摊子难题不好收拾，工党内讧、议会“造反”……拉宾回到总理府，椅子还没坐热，卡特又给拉宾泼了一盆冷水——卡特公开宣称巴基斯坦人该有一个自己的“家园”，卡特的做法正确与否暂且不谈，但以色列人是从不接受这一点的，拉宾没有办法向议会、向国民交待。另外，卡特甚至还下令取消了以色列可以在美军之后优先获得先进武器的特权。
拉宾很快又接到了几封他使美时期几位“将军”朋友的来信，信里大多都表示对拉宾所托的游说卡特及其幕僚表示爱莫能助，拉宾感到了一种失落感，这些将自己曾奉为“英雄”的将军们也不愿帮助自己了。
就在这个时候，新闻界又跳出来对拉宾进行了致命的一击。
《国土报》记者撰文说，拉宾总理在美国的一家银行里拥有外汇存款。拉宾还未来得及承认，《国土报》又撰文说到拉宾的含糊、支吾之回答必有问题，公布了帐户号码和存款数量——2000美元。
这下可掀起了轩然大波，拉宾曾是国民公认的清廉官员，这亦曾是工党一直在大选中标榜的。国民们认为自己是彻底上当了。以色列政府曾一再禁止在国外拥有存款，因为以色列外汇短缺，公民的外汇该存在国内支援政府才是，另外这也可以防止私营业主、腐败官员的舞弊贪污行为。拉宾这一次也激起了不少工党元老们的气愤，这些元老是十分崇尚“公”字的，甚至是带有明显的“社会主义观”的，他们也纷纷站出来指责拉宾。
新闻界继续在添油加醋，甚至提到拉宾在大使任内素好威士忌，他们质问哪里来那么多钱买。
拉宾在这个时候想起了两个人，一个是不久前因“水门事件”下台的尼克松，另一个就是摩西·达扬——这位几年前被国民抛弃的战争“英雄”。尼克松是两党之争的“牺牲品”，而摩西·达扬则是当时决策失误政府的“替罪羊”，人们甚至说达场有作风问题，还曾利用职权侵吞文物……拉宾不敢再想下去，因为莉赫在拉宾大使任期内积攒下来的这2000美元已足以让拉宾张口、闭口都难辞其咎了，拉宾很快决定辞去党的领袖职务，并退出大选。
这个时候能在他身边安慰他的朋友已经不多了，拉宾独自暗下决心，誓与莉赫共担外汇存款的责任。
拉宾的辞呈是与以色列法律相悖的，因为像他这样被弹劾的无权的“看守政府总理”必须在大选结果出现前才能卸任。然而，拉宾看到被法官和记者们纠缠的莉赫已经十分憔悴，他提名由佩雷斯暂时接任他获准，他带着莉赫去沙姆沙伊赫去散一下心，因为像当时精神即将崩溃的莉赫根本不可能在几天后出庭受审。
开庭那天，拉宾把莉赫送到法院门前，他不能一同出庭，那样会使一切矛头转向他，他只能如此了。莉赫受审后，在拉宾身边抽泣了很久。这次是一位素以严厉著称的法官，他当然是反对派们特意选择的。莉赫被罚款处理了，罚金高达25万以色列镑，折合24000美元。
拉宾和莉赫没再上诉，他不想再给反对派机会羞辱自己还有即将大选的工党联盟了。对于国民对他的失望情绪，他十分沮丧，他认为自己也被大家抛弃了。
苦涩的微笑
拉宾一连串的遭遇也受到了一些了解他的人的同情，但他仍是几乎终日笼罩在阴影之中。他与莉赫反而有了少有的清闲，两人有机会坐在家里，轻声漫语地谈论儿女们的事，过去的事。
佩雷斯一番“苦心”并未得到任何回报，在5月17日的大选中，工党败北，执政29年的工党政权被赶下了台。利库德领袖梅纳赫姆·贝京成为了新总理。6月21日，拉宾向贝京正式交接了权力，从此他又是一名工党议员了，而且他是一名反对党议员。
其实，离任的拉宾送给了贝京一份十分沉重的礼物。这得从1976年10月拉宾的摩洛哥之行说起。
那一次，拉宾是率团秘密访问摩洛哥，哈桑国王用清香的薄荷茶招待了拉宾。拉宾提出请求，要哈桑二世出面说服埃及总统萨达特与自己会晤。哈桑二世很快向萨达特转告了拉宾的请求，但萨达特拒绝了。那时他即已对以色列“造反”的议会和拆台的佩雷斯有所耳闻，对拉宾驾驭政府的能力他十分怀疑，另外他也不想超过当时的基辛格而直接与以会晤。
1977年5月，摩萨德向拉宾提供了一份十分有价值的情报。卡扎菲在苏联克格勃帮助下在利比亚正训练一个敢死队，他们正想在7月23日埃及革命纪念节时刺杀萨达特。但拉宾此时已只等于6月21日向贝京交权了，他根本不再有以总理身份出面的权利。贝京接任伊始，就发现了拉宾留给自己的厚礼，他通过维也那的国际原子能机构把这个消息传给萨达特。暴怒之下的萨达特立即于7月21日发动了对利比亚的一次有限战争，7月25日，他派出了突击队歼灭了敢死队训练营地的全部利比亚人。
萨达特将这笔人情帐算在了贝京头上。1977年11月19日，萨达特居然要访问以色列。特拉维夫机场已安排好了盛大的欢迎仪式。这位以说变就变著称的、经常临时取消会晤的萨达特这一次没有食言，他微笑地走下飞机并向人们挥手致意，人们激动万分，因为这结束了埃及、以色列两国30年来的仇恨，埃以关系已经翻开崭新的一页了。
拉宾也在欢迎队伍之列。他是18日特地从美国赶回来的，因为他认为这实在是一个历史的时刻。萨达特在与这位被介绍是拉宾的高个子官员握手时，十分激动，两人握手时间比其他任何人的时间都要长。
萨达特的这次以色列之行，给以色列的议员们以极大的震动，他在国会的演说甚至让许多议员都流下了激动的泪水。他说：“……你们愿意和我们共同生活在世界的这个地区，那么我十分真诚地告诉你们，我们欢迎你们同我们在一起……”
当然萨达特也谈到了以色列撤军的问题，谈到了要赋与巴勒斯坦人“基本权利”建立国家的问题。安瓦尔·萨达特——这位中东历史上的风云人物用一句阿拉伯语——“祝你们和平”结束了他的演说，场上爆发了长时间的掌声，拉宾也在议员的席位上。
拉宾后来在回忆录中写道：“一位曾和以色列兵戎相见的阿拉伯领导人站出来声称他理解我们对安全的需要，因而必须找出办法满足我们的合法权益，仅仅这一事实就足以看作是一场地地道道的革命。”
萨达特访问以色列之后，1977年底至1978年上半年，埃及、以色列之间进行了一系列的谈判和接触。但贝京始终都没有改变其侵略扩张的立场，埃以之间并未取得什么实质性的结果。1978年7月开始，美国再次出面“调停”，但精心策划的埃以和美国三国外长的利兹堡会谈仍以失败告终。美国国务卿万斯又经过一番穿梭游说，这一年9月6日下午，三方首脑聚于华盛顿附近的戴维营，又是一番讨价还价，一波三折。17日晚，《戴维营协议》签署。可以说埃以和谈又走出了卓有成效的一步。
但《戴维营协议》毕竟还仅是一个过渡性的协议，它未对约旦河西岸和加沙地带的最后地位作以规定，也未明确指出巴勒斯坦自治的范围、权力和发展前途，阿拉伯世界十分关切的耶路撒冷问题亦没有解决，协议中对戈兰高地只字未提。
拉宾虽不再是一国总理，但他却一直坚持自己会有东山再起的一天，他时刻都在密切注视着以埃双方和谈的每一进程。但这时的拉宾仍然是一名“将军派”的前总理，他似乎还未从从前战争的记忆中摆脱出来，他从不讳言对巴解组织的极端仇视，他一直都认为它是一个“恐怖组织”。在拉宾于这几年间写下的回忆录中，他一直反对的就是在西岸和加沙地带建立一个袖珍的“巴勒斯坦”国，他认为这种国家是不能解决任何问题的，它既难以安置周围国家中的150万的巴勒斯坦难民，又不可避免地会置于巴解组织这样的“极端”组织手下操纵。
拉宾曾公开说过，“犹太民族曾不相信希特勒的《我的奋斗》，但我劝他们要相信《巴勒斯坦宪章》。”拉宾一直把巴解组织1965年修改的《巴勒斯坦宪章》中那句“必须把犹太复国主义从巴勒斯坦领土上赶出去”作为巴解组织要消灭以色列的口实，为此他在总理任期间就曾不顾佩雷斯和总参谋长古尔反对启用素以“冷血战神”著称的沙龙去以“铁拳”打击巴解组织。
1979年2月，中东的局势又发生变化了。伊朗的巴列维王朝垮台使美国在中东失去了一个重要的战略支柱，苏联人已开始利用伊朗伊斯兰革命带来的阿拉伯国家间分歧谋求政治资本了，美国感到只有尽快促成以埃和约才能遏制住苏联人咄咄逼人的攻势。
卡特于3月8日起出访埃及、以色列，恩威并施的老手法又显效了。3月26日，萨达特和贝京在白宫正式签署《埃及——以色列和平条约》。到4月10日为止，以埃两国的议会也都分别批准了这一和约。
拉宾尽管认为贝京太轻易地将西奈半岛还给了埃及，但仍为贝京暗暗叫好，因为从这时起，以色列不再有一个来自西方、南方的威胁，30年的以埃交战状态终于结束了。
1980年2月15日以埃建交。许多以色列人一面陶醉在以埃和约达成的喜悦中，又一面投入了贝京重建“大以色列国”的可怕计划。
拉宾开始厌恶了，尽管他是仇视巴解组织的，但他从未放弃过对和平执著追求的这一想法，他正是因为巴解阻碍和平才仇视他们的。至于对戈兰高地，西奈的占据，他一方面认为那是自己曾与将士们苦战而得，另一方面他也不由自主地受到许多人“生存威胁敏感症”的影响，认为有必要在国境周边踞有战略地势以弥补以色列战略纵深不足的缺憾。然而，1978年3月起以色列陆续对黎巴嫩的入侵使拉宾大受震动。这次入侵一开始时，拉宾并未反对，因为政府声称是反击巴解游击队窜至黎巴嫩南部向以色列的袭击挑衅。但1981年4月叙利亚在黎境内布署了萨姆防空导弹，以色列于7月10日借口对以造成“安全威胁”而大肆轰炸南黎巴嫩乃至黎首都贝鲁特附近的巴勒斯坦难民营。1982年6月以色列以“闪电战”攻入黎巴嫩，宣称力讨巴解，但仍与叙利亚军队交了火，事实上这完全是贝京“大以色列”计划的又一部分，他想将黎巴嫩置于自己的势力范围之下。
在以色列国内，拉宾忧虑地看到，贝京正在进行一系列足以激怒阿拉伯人的事情，早在1980年7月，贝京就鼓动议会通过法案将耶路撒冷正式定为了以色列“永久和不可分割”的首都。穆巴拉克继任埃及总统后，贝京又送给了这位阿拉伯大国首脑一份令他十分难堪的礼物，贝京的议会以63票对21票通过将在戈兰高地施行以色列法律，显然这已是在吞并戈兰高地了。穆巴拉克当即退出了正在进行的以埃及关于巴勒斯坦自治的谈判。
拉宾感到对埃及人有些愧意，因为为了缔结以埃和约，埃及被剥夺了阿拉伯世界首领的地位，被孤立了许多年，贝京政府确实太让埃及人失望了。
