吕夷简被范仲淹比拟为佞臣张禹，又被攻击为“以大为小，以易为难，以未成为已成，以急务为闲务”大坏皇帝家法。他大为震怒，怒气冲冲地到宋仁宗面前申辩，并指责范仲淹以京城首长越职言事，又专会荐引朋党，离间君臣。
范仲淹也不示弱，交章对诉，愈诉愈激烈，但最终没有斗过吕夷简的当权集团。被以当年曾密请立皇太弟侄的理由，再度被贬黜，出知饶州（江西鄱阳）。这件事的起因是这样的，宋仁宗已经27岁了，尚无子嗣。范仲淹可能是关心过宋仁宗的继承人问题，因此建议他立皇太弟侄为太子。这事虽然是出自为国家考虑的至诚忠直之心，却使宋仁宗很不高兴。于是吕夷简就从旁中伤，范仲淹再一次被贬了。
有一位叫韩缜的侍御史，为了迎合吕夷简的意思，扩大打击范围，奏请将范仲淹朋党的名单公布于朝堂，戒百官不得越职言事。这个建议马上获得采纳。“朋党”是皇帝最避讳的事情，宋朝的臣子被指为朋党，范仲淹及其支持者算是第一遭，并引起为期不短的朋党之争。
范仲淹被贬斥的消息公布之同时，京城也因为“朋党”两字的出现，而陷入紧张气氛中，士大夫都畏惧当权的宰相，深恐被牵连成为范仲淹党人。因此，范仲淹要离开京城时，没几个人敢去送行。唯天章阁待制李纮、集贤校理王质两人带酒前往饯行。
王质还单独留下来与范仲淹说了好几个晚上的话，有人因而谴责他。他却说：“像范希文这样的贤者，能够与他成为朋党，那是我的幸运！”王质向来明辨忠奸，嫉恶如仇。他曾经在蔡州为官，州内百姓为唐朝时曾在该地为乱的蔡元济立庙，王质知道后很不满地说：“安有逆丑而庙食者？”当即下令毁掉，改立狄仁杰及奉命讨平蔡元济的李愬，供百姓奉祠。他被指为范仲淹党人时，深以为荣。
还有几位任职于馆阁的官员，上书为范仲淹辩护。他们全被打为范党，并且同样遭到贬斥的命运。
秘书丞、集贤校理余靖上书，他说，范仲淹以前为太后上寿及废后案劝谏陛下，陛下犹以其合于典礼而加以优奖。现在刺讥大臣，却重加谴责，实在是前后矛盾。如果他所说的话，陛下听来不顺耳，其实听与不听都在陛下，怎可加以怪罪？汉朝的时候，汲黯在朝廷说公孙弘多诈；三国时代，张昭论将，说鲁肃为粗疏，结果汉武帝和吴主还不是都予以任用而无所猜忌？陛下亲政以来，曾三度罢斥言事者，恐非太平之政，请速改前命。结果余靖次日就被贬监筠州酒税。
太子中允、馆阁校勘尹洙也上言说：“臣尝以范仲淹正直信实、有原则、有操守，可说是良师益友。自从他获罪以来，朝中有人说臣也曾被他荐论过，依照朋党的说法，臣也算是范仲淹党人。现在他既然以朋党得罪，则臣也应当连带受罚才合理。所以，请让臣随从范仲淹一同贬黜，以明典宪。”吕夷简见尹洙竟然自愿、自请与范仲淹一起被贬，不禁大怒，就降他为崇信军节度掌书记，监郢州酒税。
此时，欧阳修也被卷入到这次争辩中来。他认为范仲淹平生刚正，通古今，朝廷中无与伦比，现在居然遭到这种下场，谏官难辞其咎。所以他责怪右司谏高若讷，身为谏官，竟不能辨别范仲淹的无辜。他严厉地谴责高若讷这个谏官“不复知人间有羞耻事”，还有什么面目见天下士大夫？又怎么配成天出入朝中称“谏官”？为此，高若讷暴跳如雷，他把欧阳修骂他的信送到朝廷告了欧阳修一状。
他说：“范仲淹贬职之后，臣遵奉谕旨，不敢妄加营救。现在欧阳修竟如此责备臣，说天子与首相只因臣下违逆其意而驱逐贤人，臣不谏不当。但臣以为，贤人者，国家赖以为治平者，如果陛下果真是只因贤人违逆陛下之意就加以驱逐，臣确实当谏；或者首相也以同样理由驱逐贤人，臣也当争。可是那范仲淹，因为以前论事切直而被进用，现在口发狂言，自取其辱，岂可说他是无辜？若让欧阳修这种论调流传出去，恐怕天下人听了，都真以为天子会因为臣下违逆其意而驱逐贤人，这样一来，损失可就大啦！所以无论如何，应惩治欧阳修来予以训诫，免惑众听。” 于是，欧阳修被贬为夷陵县令。
当时担任洛阳留守的蔡襄，根据这件事，写成《四贤一不肖诗》。四贤指的是范仲淹、余靖、尹洙及欧阳修，不肖指的就是高若讷。据说，这首诗写成后，京城内人人争相传抄，一时洛阳纸贵，连正好来访的契丹使臣也买了一份带回契丹。
在这次牵连甚广的政治斗争中，范仲淹由一个人的抗争变成一个群体的抗争。他引发士大夫“矫励尚风节”的运动，又进入另一个高潮。
为官饶州、润州、越州
1036年8月，范仲淹带着热诚执着的心来到饶州（江西鄱阳）任所。饶州在鄱阳湖边上，范仲淹从开封走水路到饶州，沿途要经过十几个州县。由于他得罪了朝廷权贵，除扬州外，所经州县地方官员都不敢出面接待，但他毫不介意。在途中还赋了一首诗《郡斋即事》：
三出专城鬓似丝，斋中萧洒胜禅师。
近疏歌酒缘多病，不负云山赖有诗。
半雨黄花秋赏健，一江明月夜归迟。
世间荣辱何须道，塞上衰翁也自知。
范仲淹自幼多病，许多年来又一直过着清苦的生活，再加上处理政务劳累过度，因此他患上了肺病。由于他被贬，妻子李氏受到惊吓，加之来饶州的路途十分艰辛，不久，李氏就去世了。同甘共苦的妻子离开尘世，范仲淹悲痛了很长一段时间。后来，写了“愁肠已断无由醉，酒未到，先成泪”之类的诗句来怀念妻子。
此时，在附近任县令的文友梅尧臣特地寄来诗词勉励他，这给了范仲淹极大安慰。
范仲淹从丧妻之痛中走出来，立刻投入到当地政务中去。他充分了解当地的情况后，决心减少杂税，严明法令。
当时鄱阳湖积水成灾，沿湖一带的城墙皆被冲毁，而且在修复时屡砌屡塌。范仲淹先是实地调查，又访问了许多百姓，最后制定“河中淘金”的方法，就是在城墙周围挖坑排水，再用糯米蒸熟后掺拌石灰砌石块，加固城基，坍毁的城墙很快修复了。
范仲淹又修葺州内先贤祠坊，为有德行的人树碑坊。在城内德化桥，竖起我国古代三大贤母之一——陶侃之母湛氏的故址巨碑。西晋大将军陶侃幼年丧父，家境贫寒，陶母湛氏常告诉他结交朋友要以诚相待。一年冬天，陶侃年少时的朋友鄱阳孝廉范逵来访。一时之间，家里拿不出像样的东西来招待客人，陶母随即入室，剪掉自己的头发拿去变卖，换来酒食款待范逵。陶母又把冬天铺床用的稻草编织的垫席拿去剁碎，用来喂范逵的马。立先祠，树德坊，对弘扬正气，扭转颓风，起了积极作用。当然，范仲淹依旧不忘发展教育，他找到一个地方准备建学堂，结果还没有开工就被调走了。
很快，饶州被治理得“终日无事，优游于政”。在饶州一年半期间，范仲淹的诗作相当多，其中有一首《酬滕子京同年》：
谢家风雅若为酬，散吏方耽海上游。
疏懒几忘传笔梦，寂寥仍有负薪忧。
欲歌兰雪归真隐，敢向簪轩竞急流。
如共茂先瞻气象，莫言神物在南州。
1037年，首相吕夷简被罢为镇安节度使、同平章事，判许州。曾经对范仲淹大为赞赏的前首相王曾，也同时被罢为左仆射、资政殿大学士，判郓州。这是两人争权的结果。
原来当年王曾担任首相时，吕夷简为参知政事。他对王曾十分恭谨，王曾就力荐吕夷简为亚相。不久，王曾被罢，他升为首相。后来，吕夷简为了表示风度，请王曾为首相。宋仁宗没有同意，吕夷简为首相，王曾为参知政事。但是吕夷简的专权，使王曾渐渐无法忍耐，两人逐渐不合。王曾数度求去，吕夷简也摆姿态，每每自求罢免。宋仁宗觉得奇怪，就问王曾：“卿亦有所不足邪？”
王曾就不客气地指责吕夷简以权谋私，当时正盛传吕夷简曾接受贿赂，王曾便向宋仁宗转述这个传言，宋仁宗就以此诘问吕夷简，吕夷简要求对质，两人就在皇帝面前互揭疮疤。
宋仁宗发现王曾所言虽有失实之处，但吕夷简确实难脱嫌疑。因此，感到非常不悦，将两人均予罢斥。接替吕夷简的是王随及陈尧佐二人，吕夷简曾向皇帝密荐这两个人可用。
12月，发生了一场大地震，死者近两万余人。当时，谏官韩琦上疏说：“现在地震发生在北，或者上天孜孜遣告，边塞可能就要有事了。希望从今起严饬边境守臣，密修兵备，审择才谋之帅，悉去怯懦之士，明军法以整饬军纪，充实粮草以备不时之需。”
直史馆叶清臣上疏：“一岁之中，灾变仍见，必有下失民望，上违天意，所以上天才会垂戒以启迪清衷，而陛下泰然不以为意，徒使内侍走四方，治佛事，治道科，这是于事无补的。”他又借机为被贬的范仲淹等人申辩，他说，自从范仲淹、余靖等人因为言事被黜以来，天下的人宁愿咬断舌头也不谈论朝中的事情，这种情形已经两年了，希望陛下能深自咎责。
于是，朝廷在年底发布命令，把范仲淹调到润州（江苏镇江）。虽然没有获得回朝廷的批准，但是距离上离京城要近了。好景不长，朝中一些人担心范仲淹会被复用，就合力编造一些子虚乌有的罪名，在宋仁宗面前诬陷范仲淹。
果然，宋仁宗被那些攀诬之词所惑，打算把范仲淹贬到岭南。所幸参知政事程琳向宋仁宗说明其中的真伪，范仲淹才免去一次政治灾难。在循例所呈的“谢上表”结尾，范仲淹表明自己“进则持坚正之方，冒雷霆而不变；退则守恬虚之趣，沦草泽以忘忧。”
在润州，滕宗谅及魏介之来拜访范仲淹，他作了一首诗来表明当时的心情：
长江天下险，涉者利名驱。
二公访贫交，过之如坦途。
风波岂不恶，忠信天所扶。
相见乃大笑，命歌倒金壶。
同年三百人，太半空名呼。
没者草自绿，存者颜无朱。
功名若在天，何必心区区。
莫竞贵高路，休防谗嫉夫。
孔子作旅人，孟轲号迂儒。
吾辈不饮酒，笑杀高阳徒。
1038年，京师的官场又有一些变化。吕夷简下台后，接替的王随及陈尧佐不久后双双被罢免。
其实当初吕夷简之所以密荐他们为相，本意就在用庸才代替自己，让他们去出丑，然后皇帝自然会想起他。这样，他就会有机会重新掌权。果然，一个因为与其他执政大臣相处不好而称病；一个是年纪已大，事多不举，时人讥讽中书省为“养病坊”。
正好山西大地震，不满他们掌权的人纷纷借机攻击他们无能。韩琦就指骂他们“贻笑中外”、“紊乱纲纪”，上奏疏几十次，要求罢免他们。宋仁宗还犹豫不决，韩琦上言道：“陛下迟迟不予撤换，难道是因为找不到辅弼的人才吗？其实，像杜衍、孔道辅、胥偃、宋郊、范仲淹等人，众人都认为是忠正之臣，就可以加以擢用。即使这几个人陛下都不中意，则以前曾担任过执政大臣的王曾、吕夷简、蔡齐、宋绶等也是人所属望，为何也不考虑加以任用，而听任几个非执政之才居高不下呢？”结果罢斥王随、陈尧佐的意见是采纳了，可是韩琦推荐的人选宋仁宗并没有任用，而以张士逊、章德象接替。
由韩琦曾推荐范仲淹出任执政看来，纵使朝廷一再以朋党为诫，而范仲淹也已被贬斥在外，但为范仲淹讲话的人，仍有许多。
同年十月，朝廷又有诏，戒百官朋党，其中宣告天下范仲淹之所以被贬，是由于他曾密请立皇太弟侄为太子，而不只是诋毁大臣。然后警告说：“今中外臣僚屡有称荐仲淹者，事涉朋党，宜戒谕之，故复下此诏。”
这时，参知政事之一的李若谷，看了这纸诏命后说：“近年来风俗薄恶，动不动就以朋党两字诬害善良。其实，君子小人本来就各有其类，本来就不一样，如果一律视之为朋党，臣恐正臣反会因此而无以自立。”宋仁宗对他的说法甚表同意。
1038年11月，范仲淹被调到越州（今浙江绍兴）。
到任后不久，首先做的仍旧是大兴教育。他在卧龙山（府山）西侧创办州学——稽山书院，聘请名师学者任教。在他的倡导下，越州办学之风大兴，各种学堂、私塾盛行，以至“绍兴多出读书人”一直延续至今。越州百姓为褒扬他的兴学之功，在他调任离越后，在州署之前立“百代师表”的牌坊，永为纪念。范仲淹体恤民情，用自己微薄的俸禄帮助了许多人。
他在这里还创作了影响较大的《清白堂记》。当时的州署在今绍兴府山的越王台附近，在州署旁有一凉堂，年久失修爬满草藤。范仲淹命人整治，无意中发现一口“渊然丈余”的古井，“泉清而白色，味之甚甘”。范仲淹有感于泉之“清白”，命其为“清白泉”，将凉堂命名为“清白堂”，又在其旁新建一座“清白亭”。他多次亲居清白堂，登临清白亭，品味清白泉，有感而发，写出《清白堂记》。同时，也创作了许多其他诗篇。如《诸暨道中诗》：
林下提壶招客醉，溪边杜宇劝人归；
可怜白酒青山在，不醉不归多少非。
还有《越上闻子规诗》：
夜入翠烟啼，昼寻芳树飞。
春山无限好，犹道不如归。
从饶州、润州到越州，以现在的省分区划，即从江西、江苏到浙江。每个地方的隐逸式生活，确实是“春山无限好”，可是“先天下之忧而忧，后天下之乐而乐”的范仲淹，遥对政治中心的京师朝廷，仍然“犹道不如归”。
