在庆历新政已无可挽回的情况下，欧阳修在河北转运使任上写下《论杜衍范仲淹等罢政事状》，揭露保守派利用“朋党”之说污蔑革新派的伎俩，力劝仁宗明察。这样，他就成了保守派打击的主要对象。不久，京城便传出了绯闻，谏官钱明逸上奏章弹劾欧阳修与其外甥女有非伦暧昧关系。
关于此事，《宋史·欧阳修传》只有三句：“于是邪党益忌修，因其孤甥张氏狱傅致（罗织）以罪，左迁知制诰知滁州。”虽言及此事，但语焉不详。《重修实录本传》所述较为详细：“于是为党论者愈益忌之。初，修妹适（嫁给）张龟正，龟正卒，无子而有女，女实前妻所生，甫（刚）四岁，以无所归，其母携养于外氏，及笄（jī，古代束发用的簪子，表示成年），修以嫁族兄子晟（shèng）。会张氏在晟所与奴奸，事下开封狱，狱吏因附致其言以及修。诏以户部判官苏安世，内侍王昭明杂治之，卒无状。乃坐用张氏奁（lián）中物置田立欧阳氏券（地契上写欧阳姓氏），左迁知制诰知滁州。”
事情的原委是这样的：
御史钱明逸姓钱，因欧阳修在撰写《新五代史》时对吴越钱氏家族有所贬斥，使其祖上不大光彩，故钱一直耿耿于怀，遂借机诬告欧阳修私贪官银。与此同时，开封府尹杨日严，以前在益州（成都市）时，欧阳修曾弹劾他贪污公款，对欧阳修心怀嫉恨，因此也出来附和钱明逸。宋仁宗派人对此事进行了监勘（调查），证明欧阳修并未挪用府衙资金。钱明逸诬告欧阳修贪污不成，于是就又来更恶毒的一手。以绯闻搞臭一个人，历来是政客们的惯用手法，钱明逸也颇通此道。
当初，欧阳修的妹妹嫁给张龟正。张龟正死，只留下一个女儿，系张与前妻所生，时年四岁。母女无所归依，欧阳修怜悯她们，于是就将其接回家中。至其甥女成年，欧阳修将其嫁给了远房侄儿欧阳晟。这个张氏女不老实，在家中与仆人私通而被送往官府，不知是因屈打成招还是受人唆使，她竟说欧阳修和她有私情，并欺占了她家财产。钱明逸又用张氏的钱买了田地，地契上写上欧阳氏的姓名，制造出伪证，妄图置欧阳修于死地。
钱明逸弹劾欧阳修的消息一出，舆论哗然。欧阳修恼怒不已，上表替自己辩白。宋仁宗降诏让户部判官苏安世和内侍王昭明调查处理此事，最终是查无实据。宋仁宗知是冤案，于是降诏安抚欧阳修，维护其清白声誉。事情看来可以到此为止了，但中书舍人钱穆及其父亲钱勰（xié）仍因钱氏祖宗事对欧阳修不依不饶，继续弹劾欧阳修。宋仁宗出于无奈，只好于庆历五年（1045）八月，罢去欧阳修河北都转运使之职，贬为知制诰知滁州。
绯闻之事虽最终不了了之，但欧阳修却蒙冤被贬滁州。这对欧阳修的声誉和身心都造成了极大的伤害。当然，钱明逸及其家族最终以绯闻扳倒了欧阳修，拔掉了庆历新政的最后一颗钉子，但这只不过是直接的导火索而已，真正的原因乃是保守派对欧阳修的忌恨，“绯闻”只不过是新旧党争保守派导演的一场闹剧。
