文化革命小组成立后，其办事机构原设在钓鱼台国宾馆15号楼，后搬到11号楼，不久就固定在16号楼。陈伯达、江青及其他文革小组成员陆续搬进了钓鱼台办公和居住，陈伯达住15号楼。江青住5号楼。5号楼位于钓鱼台的东北角，在江青住进前，周总理曾在5号楼工作和休息过。江青进住5号楼是周总理亲自安排的。康生早在组织撰写国际共产主义运动论战文章即“九评”时，就在钓鱼台8号楼办公和居住。就这样，钓鱼台一下住进了两位政治局常委和毛主席的夫人、文革小组第一副组长江青及中央文革小组其他重要成员。
江青患有比较严重的植物神经失调病症，对声音特别敏感。1966年底，她觉得5号楼距离钓鱼台围墙外的北边和东边两条马路太近，车来人往的不够安静，就提出搬家。经过认真挑选，她选中了11号楼，很快就搬了过去。11号楼距离马路较远，周围环境也较幽静。它的东南边12号楼，是毛主席办公和休息的楼，但他很少到那里工作和休息；正南边是一个小湖，西边的玉渊潭公园，为了钓鱼台的安全早已关闭；西北边是10号楼，没有住人，北边是一片很大的绿地，东边是14号楼，距离11号楼较远。对江青来说，11号楼是一个比较理想的住处。
1968年下半年，江青看了一份介绍苏联情报机关克格勃的资料，便怀疑她居住的11号楼也被安装了窃听器。于是，她马上派毛远新在11号楼的里里外外、上上下下进行搜查。查了几天，自然是一无所获。但江青仍然不放心。再加上秋冬时节她一场重感冒，就开始讨厌11号楼，产生了再次搬家的念头。
一天，江青对我说：“小杨呀，我不想在这栋楼继续住下去了，我总怀疑11号楼有窃听器，觉得不安全，这算是第一个原因吧。第二，这栋楼离12号楼太近，如果主席来12号楼办公或休息的话，我怕影响主席。第三，我看10号楼比11号楼大一些，房间可能多一些，到了10号楼我可住在一层，以后不再费力地爬二层了。况且10号楼离9号楼近，我和春桥、文元同志研究工作也比较方便。你给总理打个电话，把我的想法跟总理说说，如果总理同意我的意见，你再给东兴同志打个电话，请他派人到10号楼仔细检查检查，看有没有安全隐患，检查完了，再用紫外线消消毒。一切都搞完了，我再搬。”
周总理对江青非常了解，他接到我的电话，立即就答复了：“好嘛，江青同志的想法是对的，我同意，我现在就给东兴同志打电话请他准备一下，江青同志还有什么要求吗？”我说：“江青同志说要检查一下那栋楼的安全情况，然后再用紫外线消消毒，别的没有提什么要求。”总理说：“那好嘛，我请东兴同志办。”
我把总理的意见报告给江青，她非常高兴，提出马上到10号楼去看看。我说：“那栋楼好几年没有住人了，可能很脏了，等打扫好了你再去看好吗？”她说：“不碍事，我现在就去。”我忙说：“请江青同志等一等，我请钓鱼台的领导把10号楼的钥匙送来，叫他们在那里等，不然咱们进不去呀。”江青说：“那好，还是你想得周到。”
等钓鱼台管理处的处长张振良和一位对10号楼比较熟悉的服务员到了那里，我和警卫员就陪同江青到了10号楼。那位服务员把所有的套间打开，请江青看，江青看了以后非常满意。
钓鱼台接待外宾的楼分三类，第一类是18号楼，是最大、最好的一栋；第二类是6号楼和10号楼，仅次于18号楼；第三类又次于6号和10号楼，所以江青看了10号楼以后表示很满意。
根据江青的要求，对10号楼彻底整理完后，她于1969年春节前就从11号楼搬到了10号楼。
江青搬到10号楼的第二天，林彪和叶群到10号楼来看望江青。他们来了以后，林彪可能是累了，没进会客厅，也没进江青的办公室，就一屁股坐在楼厅的沙发上不动了。江青和叶群见状就坐在林彪的左右。
江青首先开口说：“欢迎林副主席和叶群同志来看我。”林彪坐在那里只是微笑，默不作声。叶群却很活跃，她探过身子，微笑着对江青说：“今天林彪同志和我来是祝贺江青同志乔迁新居的。林彪同志知道江青同志搬到新住处非常高兴，他祝江青同志身体健康，说江青同志身体健康可以为党为人民多作贡献，也是党和人民的福气。”林彪还是不说话，只是点点头。叶群继续说：“我看这栋楼房很不错，面积比较大，活动方便，空气比较好。如果天气不好，外边散步不方便，江青同志可以在楼里散步。江青同志刚搬到这里来，可能还不太适应，住久了就习惯了。江青同志如果觉得楼房内外有什么地方需要改造的，我叫邱会作（时任总后勤部部长）给你办。”江青说：“谢谢林副主席和叶群同志的关心，林副主席身体也不太好，天气这样寒冷，还来看我。请林副主席保重身体。现在这栋楼房不需要修理，以后如果需要的话，再麻烦你们。”叶群说：“请江青同志千万不要客气！”
我们刚到10号楼时，楼厅、走廊、卫生间铺的是胶毯，只有卧室、办公室、大客厅铺的是地毯，她怕走路时跌倒、摔伤，就叫钓鱼台管理处给她统统铺上厚厚的纯毛地毯，把大块大块的好地毯剪成长条的和小方块的，让人非常心疼。
为保持室内安静，江青让管理处把卧室、办公室的窗子，在双层玻璃的基础上，再加两层，屋门加上密封门。
她进出楼，为了不被风吹着，命令邱会作为她建了一个直接通往楼内的钢筋混凝土汽车库。后来又在17号楼建了一个同样的汽车库，供她使用。
