可以说，在贞观初年，魏徵的确苦心孤诣，帮助李世民力挽狂澜。李世民即位后，担心连年战乱，百姓很难管理，又发生隋末天下大乱的事情。魏徵认为，隋末的动乱是老百姓实在太苦，如果有吃有穿，谁会当土匪？更不会去投靠各路反抗势力。在老百姓的心目中，谁能够给他们太平生活的政策，保障他们有衣穿有饭吃，他们就会安居乐业，所以，必须施行仁政。李世民认为魏徵说得好，就决定大施仁政，鼓励人口生育和恢复生产。当时的宰相封德彝是权贵阶层的代表，当场反驳魏徵，说他是一介书生，空谈误国。他说：三代以后，人心渐趋奸诈，所以秦朝专用法律，汉代采用王道的同时掺杂霸道手段，正是想行仁义教化而不能收效，哪里是能推行而不想推行呢？魏徵立即驳斥：五帝、三王不是换掉百姓而施教化，从前黄帝征伐蚩尤，颛顼诛灭九黎，商汤放逐夏桀，武王讨伐纣王，均能达到生前的太平盛世，难道不是承接大动乱之后的缘故吗？如果说上古人淳朴，后代渐变得奸诈，那么到了今天应当全都化为鬼魅了，君主怎么能统治他们呢？李世民最后听从了魏徵的意见。
贞观初年，大臣们上书都说：“君王应当独自运用权威，不能委任给臣下。”又说：“应当耀武扬威，讨伐四方。”只有魏徵劝李世民：“放下武力勤修文教，中原安定之后，四方自然钦服。”李世民采纳他的意见，并提到如今颉利成了俘虏，其部族首领成为宿卫官，各部落都受到中原礼教的熏染，这都是魏徵的功劳，只是遗憾封德彝见不到了！魏徵再次拜谢说：突厥灭亡，海内承平，都是陛下的威德，臣有何功德呢？李世民说：朕能够重用你，你能够十分称职，功劳怎么能是我一个人的？
李世民让大臣们议论分封诸王的事。在古代，这差不多是国家头等大事。魏徵认为，如果分封诸王建立诸侯国，则卿大夫们都靠俸禄生活，必然导致大量征赋。另外，京城一带赋税不多，主要还是依靠京都以外，如果都分封给诸侯国，则国家经费顿时短缺，再加上燕、秦、赵、代诸国均管辖有夷族，如有出现紧急情况，到内地调兵，难以及时奔赴所在地，不如让皇室宗亲及勋贵大臣担任地方长官，既解决了职位的问题，也能在有效的行政管理中实现中央对地方的控制。李世民认为很好，就下诏办理，几个皇子也都兼任了地方大州都督，如幼小的晋王李治就兼任并州都督，李勣为长史。
贞观之治取得实效后，文武百官都奏请李世民登泰山封禅。独魏徵认为不可。他认为大唐承接隋亡大乱之后，户口没有恢复，国家府库粮仓还很空虚，而陛下的车驾东去泰山，大量的骑兵车辇，其劳顿耗费必然难以承担。而且陛下封禅泰山，则各国君主和远方夷族首领都要来，如今从伊水、洛水东到大海、泰山，人烟稀少，草木丛生，这是引戎狄进入大唐腹地展示大唐虚弱，易让他们产生攻打大唐的想法。况且赏赐供给无数，也不能满足这些远方人的欲望；几年免除徭役，也不能补偿老百姓的劳苦。像这样崇尚虚名而实际对百姓有害的政策，陛下怎么能采用呢？李世民听了，决定停止封禅。
6
贞观七年（公元633年）三月，侍中王珪因泄露朝廷机密而致罪，降为同州刺史。侍中出缺，李世民任命魏徵为侍中。侍中是门下省长官，在正三品官员中排在首位，位在中书令之前，仅在从二品的尚书左右仆射之后，是实打实的宰相。这一年，魏徵五十四岁，受封郑国公爵。由于多年伏案编书，他的眼神已大不如前。
有一次，李世民问魏徵：众位大臣的上书多有可取，但当面对答时则多语无伦次，这是为什么呢？魏徵说：写文章是没见着陛下而且可以慢慢思考，而当着陛下的面时大臣们往往因陛下的威严而感到害怕，又担心说错了会触犯陛下。陛下近来表情严肃、出语凌厉，他们怎么敢尽情陈述呢？于是李世民接见大臣时语言脸色更加温和。中牟县丞皇甫德参上书说，朝廷重新修筑洛阳宫殿劳顿百姓，又收地租加重数额，时俗女子喜好束高髻是受宫中的影响。李世民勃然大怒，对房玄龄等人说：这个小县丞想要国家不役使一个人，不收一斗地租，宫女均不留发，这样才顺他的心思吗！想要治他诽谤罪。魏徵劝谏道：自古以来上书言辞不激烈，则不能打动君王的心，所谓“狂夫之言圣人加以选择”。如果陛下怪罪反映基层问题的人，那么谁还敢说真话呢？李世民就赐给皇甫德参二十匹绢。过了几天，魏徵上奏说：陛下近来不喜欢直言强谏，即使勉强包容，也不如过去那么豁达。李世民于是对皇甫德参另加优厚的赏赐，提升他为监察御史，停止了大规模修洛阳宫的活动。
贞观十年（公元636年），魏徵屡次以眼病请求改任散官，李世民不得已改任他为特进，仍让他过问门下省的公务，举凡朝廷奏章、国家典仪，均参与议论得失，流放、徒刑以上罪行，均由他审察上报，工资待遇与职事官相同。
贞观十一年（公元637年），魏徵向李世民上了史上有名的《谏太宗十思疏》，最核心的十条：
一是看见引起自己爱好的东西，就要想到用知足来警惕自己；
二是将要兴建宫室土木，就要想到适可而止，使百姓安宁；
三是想到君位高而且危，就要不忘谦虚加强道德修养；
四是怕自己骄傲自满，就要想到江海所以巨大，是因为能居于百川之下；
五是游乐忘返地打猎时，就要想到古人说的“一年三次”田猎为限度；
六是忧虑自己松懈懒惰时，就要想到自始至终都要谨慎；
七是怕自己耳目被堵塞遮蔽，就要想到虚心接受意见；
八是担心有谗邪的人在自己身边，就要想到用自身正直斥退邪恶小人；
九是恩惠所施加，就要想到没有因为偏爱而给予不适当的奖赏；
十是惩罚所涉及，就要想到没有因为生气而滥用刑罚。
魏徵的这十条建议之所以让李世民感动，让后人尊敬，是因为他从人性的角度提出了警示，防止权力欲望因无法节制而造成祸患。
这一年，尚书右仆射温彦博去世。李世民有意让魏徵担任这一职务。魏徵推辞说自己的身体不好，而且处理政务并非所长，如果陛下还能听得进意见，臣继续提建议。李世民说你总是能看到别人看不到的祸患，当然要听你的意见。
贞观十二年（公元638年）春，李世民因为皇孙降生高兴得不了得，在东宫宴请五品以上官员。李世民说：贞观初年以前，跟随朕夺取并治理天下，房玄龄功劳最大；贞观初年以后，纠正朕的过失，主要是魏徵的功劳。魏徵没有吱声。李世民问魏徵：朕治理国政与往年相比如何？魏徵答道：威德加于四方远超过贞观初年，人心悦服则不如从前。李世民本来在兴头上，没料到魏徵如此扫兴，强笑问道：你说说为什么？魏徵回答道：陛下以前以天下未能大治为忧虑，所以注意修德行义，每天都有新的作为；如今既得到治理又较安定，好大喜功，所以说不如以前勤勉了。李世民又问：如今所做的与往年相同，有什么区别呢？魏徵答道：陛下在贞观初年唯恐臣下不行谏，常常引导他们进谏，听到进谏便乐而听从；如今虽然勉强听从，却面有难色。这便是区别。当年陛下为了引导众人行谏，司户柳雄假冒隋朝所授官资，陛下想要杀掉他，又采纳戴胄的谏言而作罢，这是乐于听从的例子；贞观八年皇甫德参上书谏阻修缮洛阳宫，陛下内心愤恨，虽然因为臣直言相劝而作罢，但只是勉强听从。李世民只好说：除了你谁也不能有这样的见解，人苦于不能自知呀！
其实，李世民已经做得很好了，但魏徵仍然鸡蛋里挑骨头，为的是时时给李世民敲警钟。
有一次，李世民问身边大臣：创业与守成哪个难？房玄龄说：建国之前，与各路英雄一起角逐争斗而后使他们臣服，还是创业难！魏徵说：自古以来的帝王，莫不是从艰难境地取得天下，又于安逸中失去天下，守成更难！李世民说：玄龄与朕共同打下江山，出生入死，所以更体会到创业的艰难；魏徵与朕共同安定天下，常常担心富贵而导致骄奢，忘乎所以而产生祸乱，所以懂得守成更难。然而创业的艰难，已成为往事；守成的艰难，正应当与诸位慎重对待。
贞观十三年（公元639年）夏，天下大旱，魏徵不顾老眼昏花，又向李世民上了史上著名的《十渐不克终疏》，列出了李世民与贞观初年相比有始无终的十条变化，丝毫不留情面，主要指出李世民贪图享乐、不顾民生、亲近小人、奢侈浪费、独断专行、好大喜功等方面的过失。李世民读了奏疏，做了深深的反省，将其挂在屏风上早晚观看，并抄给史官存档。于是赐给魏徵黄金十斤，御马两匹。
贞观十五年（公元641年），李世民威加海内，魏徵也因老病深居简出。有一次，李世民把他找来问：近来朝廷大臣们为什么不上书议论朝政？魏徵答道：陛下虚心纳谏，就一定会有上书言事者。大臣们愿为国牺牲的人少，爱惜自身的人较多，他们害怕获罪，所以不上书言事。李世民叹息道：所以大禹给提意见的人行礼，看来敢说真话的人少啊。
贞观十七年（公元643年）正月十七，魏徵病危，李世民和太子一同前往看望，但魏徵已不能说话，当晚就去世了，享年六十四岁。李世民命京师九品以上文武百官均去奔丧，并亲自到灵前哭别，追封魏徵为司空，谥号“文贞”，命以一品羽仪陪葬昭陵。然而魏徵的妻子按照魏徵的遗嘱推辞不受，仅用布罩上车子载着棺材安葬。李世民登上禁苑西楼，望着魏徵灵车痛哭，非常悲哀，亲自为魏徵撰写碑文，并且书写墓碑。之后，李世民不停地思念魏徵，谓侍臣：“人以铜为镜，可以正衣冠，以古为镜，可以见兴替，以人为镜，可以知得失。魏徵没，朕亡一镜矣！”
7
魏徵去世后，李世民命阎立本在凌烟阁描绘的二十四功臣画像中，魏徵排名第四。及至后来，李世民亲征高丽无功而返，感叹道：如果魏徵在的话，不会让朕此番出兵！命人乘驿马昼夜兼程到京城，用猪和羊祭祀魏徵，征召魏徵的妻子儿女到行宫亲自慰问赏赐。
纵观魏徵一生，都体现了耿介忠直的个性，不营私结党，平时也极其简朴，为官多年，家中居然没有厅堂，还是李世民知道后派人修的。诚然，魏徵遇到了一位好老板李世民，但再好的老板也有沾沾自喜、好大喜功的时候，而在这种状态下最容易造成灾难性的后果。一个人再伟大，都难免犯错误。能够有人始终如一地提建议警示，实在是天大的福分。中国古代历史中，没有一个大臣能像魏徵一样始终如一地为皇帝纠正偏失而使政令基本沿着正确的方向前行。之前没有，之后也没再出现过。
