张柬之做宰相后，对张易之、张昌宗兄弟在朝中的横行不法、包藏祸心深感不安。朝臣们多次上书，要求惩治二张，但因为武则天袒护，始终在宫中逍遥法外。神龙元年（705年）正月，武则天病重，张柬之认为时机已到，谋划诛杀二张。正好姚崇正从驻地灵武回京，张柬之等十分高兴，因为姚崇一来，大功即可告成。经过姚崇与张柬之等密谋，率羽林兵，直接进入玄门，杀死了这两个淫夫恶棍。随后，又对武则天施加压力，迫使武则天将帝位让给太子李显。二张被诛后，洛州长史薛季昶对张柬之、敬晖说：“二凶虽除，产、禄（即汉代吕产、吕禄）犹在，去草不去根，终当复生。”朝邑尉武强刘幽求亦说：“武三思尚存，公辈终无葬地；若不早图，噬脐无及。”而张柬之等则对此认识不足，说：“大事已定，所诛已多，不可复盖也。”李显复位后，以姚崇、张柬之为宰相，因姚崇有功，加封他为梁县候，食邑二百户。武则天迁居上阳宫，中宗李显率百官问候起居。五王（张柬之、桓彦范、崔玄玮、袁恕己、敬珲因推翻武司政权有功赐封郡公，又称五王）相互庆贺，惟独姚崇不停流泪。张柬之等臣对姚崇说：“我们政变成功了，武则天也将帝位让给皇上了，现在皇上正是高兴的时候，你怎么在这里痛哭流涕，皇上会很不高兴的。你恐怕会惹上杀身之祸啊。”姚崇说：“我想起以前曾长期侍奉武则天，如今却对她施加压力迫使她退位，这是违背旧主的不义之举啊。我作为人臣的，没有保持始终如一的忠操，不能不为此而痛哭流泪啊。我和各位一起讨伐叛逆之辈，是为了公职之责，算不上什么功劳，就算是因为痛哭而获罪，我也甘心情愿。”唐中宗李显听到姚崇的这些话后，很不高兴，但姚崇名望很大，也不便动他，便将姚崇调离京城去了。
唐中宗复位后，依赖皇后韦氏。每一次临朝，韦后都垂帘听政，恃宠专横，一批趋炎附势的官僚逐渐为韦后所用，权力越来越重。当时中宗之女安乐公主嫁与狡诈恃权的武则天的侄子武三思之子武崇训为妻，而武三思又与上官婉儿私通。中宗即位后，上官婉儿被益加重用，拜为婕妤，用事于禁中。于是，上官婉儿荐武三思于韦后，韦后引入禁中。他们相互勾结，以图恢复武氏政权。武三思入禁中与中宗议政，他还与韦后私通。因此，宰相张柬之反受制于武三思。柬之数劝中宗诛诸武，中宗不但不听，反而泄密于三思。于是，三思之党对其恨之入骨。武三思与韦后日夜谮毁张柬之等人，说他们“恃功专权，将不利于社稷”。中宗觉得有道理。三思又为之策划：“不若封晖等为王，罢其政事，外不失尊宠功臣，内则夺之实权。”中宗采纳了他的意见。于是，武三思尽复武则天之政，不附武氏者斥之。大权尽归于武三思。张柬之等五人被贬出朝廷，后来也被武三思杀了。韦后和武三思专权期间，姚崇在宋州、常州等地当刺史，远离京城，没有参与朝廷内部的斗争，五王都被害，只有姚崇幸免于难。后来，唐玄宗李隆基即位，姚崇得到玄宗的充分信任，第三次出任宰相，一展才能。一次，玄宗问及当年姚崇独哭武后之事。姚崇说：“当时我看出了中宗昏庸，韦后和武三思未除，将逐渐专权，随宫廷争斗的升级，五王被诛是早晚的事。“所以臣就独哭武后，远离京城，以求自保。”唐玄宗及众臣听后，十分佩服姚崇对人情世事的把握，称赞他超群的思想和斗争智慧。
有些人在取得一些胜利的时候就陶醉，不用心去观察和思考隐藏在身边的祸患。结果，对手崛起时则落个身败名裂的下场。真正的智者，总能居安思危，面对胜利而虑灾祸，细心观察身边的人与事，准确预测出未来要发生的事，做到进退自如。
