3月13日，在中美联合公报发表后只过了两周，中英两国关于互换大使的联合公报即签字并公布。两国之间自1954年起建立的代办级外交关系，升格为大使级。接着，中国又同荷兰、希腊、联邦德国等相继实现外交关系升格或正式建交。在很短的时间里，中国同西方国家的关系出现了前所未有的变化。
受“尼克松冲击波”影响最大的，还要算同中国一衣带水的邻国日本。
******对日本是熟悉的。青年时代他曾在东京留学达一年半之久。新中国成立后，******一直关心中日关系，指导对日工作。从50年代初打开中日民间交往大门，“以民促官”，到60年代互设贸易代表机构，开辟中日半官方渠道，中日关系每前进一步，都包含着******的精心指导和培育。据统计，建国后******接待的众多外国客人当中，日本客人无论在批数上和人数上都占据第一位。
1971年基辛格秘密访华前，******曾与日本公明党领导人竹入义胜举行会谈，确定了中日关系正常化的基本原则。日本公明党访华代表团同中日友好协会代表团发表的联合声明强调：中国只有一个，中华人民共和国政府是代表中国的唯一合法政府；台湾是中国的一个省，是中国领土不可分割的组成部分；日台条约是非法的，必须废除；中国在联合国一切组织的合法权利必须恢复。中方表示：如果日本政府能够接受上述主张并为此采取实际步骤，中日两国就可以结束战争状态，恢复邦交，缔结和平条约。接着，基辛格两次访华和第26届联大恢复中国合法权利的现实，又给予日本各界强烈震撼。日本政界、财界团体和人士接踵来华，为推进日中关系正常化积极活动。长期以来一直致力日中友好的日方老朋友们更是不辞辛劳地往来奔波，企盼早日实现共同的夙愿。
******长期处在中日之间这一系列活动的中心地位。1972年上半年，******连续同日本社会党、自民党、民社党和公明党人士谈恢复中日邦交问题，提出：中日两国没有任何理由这样对立下去，应该根据和平共处五项原则和恢复中日邦交三项原则来实现两国关系正常化。他还表示：如果一位现任首相准备解决日中关系问题，亲自到中国来谈，当然我们不好拒绝。有这样勇气的人来，我们怎么能拒绝呢？从原则来讲就是，新的日本政府不敌视中国，不阻挠恢复中日邦交，而是继续日中友好，努力恢复日中邦交，也就是合乎现在大家常说的“三原则”。这样的政府，也就是不继续佐藤路线的政府，我们愿意接触。当然，中日邦交问题还有很复杂的问题，具体实施的微妙处需要通过政府级会谈，同时也要有一个形式问题。如果两国首脑诚心诚意愿意解决问题，那么形式是第二位的，内容是第一位的、本质的，就是要真正促进中日友好，恢复中日邦交。
1972年7月7日，日本佐藤内阁下台，田中角荣接任首相。当天，田中发表声明说：“在动荡的世界形势下，应该加速实现同中华人民共和国的邦交正常化，强有力地开展和平外交。”第二天，******召集外交部及有关外事、宣传部门负责人开会，研究田中讲话，商讨推进中日关系问题。他要求新闻单位积极工作，不能掉以轻心，在宣传报道上全面、准确地体现出促进中日友好的精神。9日，******在欢迎也门民主人民共和国领导人的宴会上致词，提出：“田中内阁7日成立，在外交方面声明要加紧实现中日邦交正常化，这是值得欢迎的。”随后，******又在同法国外长的会谈中说：“日本在对华关系上出现了新气象，这是战后27年来日本政府第一次这样做。我们对田中政府这样做没有理由不欢迎。”他的这两次讲话，是对田中对华关系声明的明确回应。
这时，中日友协副秘书长、原驻东京联络处首席代表孙平化正率团在东京访问。******指示孙平化抓住时机，当面向田中首相转达他本人对田中访华的邀请，并且传话：“只要田中首相能到北京当面谈，一切问题都好商量。”16日，******会见日本社会党副委员长、众议员佐佐木更三时进一步提出：如果现任首相、外相或其他大臣来华谈恢复日中邦交问题，北京机场准备向他们开放。按照******的嘱咐，孙平化在7月22日先向日本外相大平正芳转达了中方的邀请。田中政府经过研究，在8月11日把田中首相访华的决定转告中方。******接到报告，立刻授权姬鹏飞外长发表声明，宣布中国总理欢迎并邀请田中首相访华，就中日邦交正常化问题进行谈判。15日，田中接见在东京的孙平化，正式接受了中方的邀请。由此，中日实现邦交正常化的前景已经明朗。
在这期间，******虽已发现身患癌症，但为了准备中日两国领导人的会谈，仍事必躬亲，昼夜操劳。当年参与准备工作的外交部长姬鹏飞回忆说：
“总理指定我、乔冠华、廖承志、韩念龙等人组成日本组。总理白天接见外宾，那时到中国访问的日本朋友特别多，夜晚将我们找到西花厅或钓鱼台开会研究中日建交问题，或带我们一起到中南海毛主席住处开会，向主席汇报。在主席那里决定了大政方针后，回来总理又同我们一起研究、安排，事无巨细，总理都一一过问，一一想到。他常说：‘外交授权有限’，‘外交无小事’。这时他已是74岁的高龄，并已查明身患癌症。他就是这样带病工作，每天工作十几个小时甚至20个小时。”
这些感人的情节，当时几乎都毫不为外人所知。
解决中日之间邦交正常化，也存在一个台湾问题。所不同的是，中日两国领导人准备通过会谈一次性地解决这个首要问题，也就是日本承认中华人民共和国政府是代表中国的唯一合法政府，双方建立正式外交关系；同时日方断绝同台湾******集团的官方关系，包括废除所谓“日台条约”。由此，******一直密切地关注日方对台湾问题的态度，连某些提法的微妙差别也亲自过问。
7月下旬，孙平化向日方转达中方邀请后不久，******再次会见日本公明党领袖竹入义胜。会谈中，******直截了当地提出：现在发生了一个具体问题，田中内阁承认中华人民共和国政府是代表中国的唯一正统政府，我们对“正统”二字不太理解。我们所说的是中华人民共和国政府是代表全中国人民的唯一合法政府。“合法”的反义词是“非法”。因为******被推翻了，所以它是非法的。去年联合国恢复了中华人民共和国的合法权利，把******集团赶出去了，也就是说，国际组织也承认中华人民共和国政府是合法的，******政府是非法的。我为什么要问“正统”这个词的意思呢？因为汉语中有“正统”还有“偏安”。
在讲述了中国历史上的情况后，他问道：我不知道田中政府中的法律专家讲的“正统”是否有别的意思？针对《东京新闻》所传日外务省官员宣称“日台条约已经解决了结束战争问题”的说法，******指出：缔结“日台条约”时，中华人民共和国已经成立了。这个条约根本无视中国的存在，同一个逃到台湾的蒋政权缔结结束战争状态，是非法的、无效的，是应当废除的。关于中日联合声明问题，******表示，中方将坚持把结束战争状态和复交三原则两个问题写入联合声明。竹入当场记录下******的意见，表示将带回去向田中首相、大平外相报告。
