汉安帝永初四年(公元110年),羌人再次起兵反叛,侵袭凉州。大将军邓骘主张放弃凉州,集中力量保卫三辅地区,他对公卿大臣们说:“好比有两件破衣服,牺牲一件去补另一件,这样可以得到一件完整的衣服,否则两件都保不住。”
虞诩认为不可,理由有三:其一,先辈披荆斩棘、历尽劳苦得来的土地不能拱手让人;其二,如果放弃凉州,三辅地区则暴露在敌人的兵力之下,皇家园陵更是首当其冲;其三,“关西出将,关东出相”,凉州民风剽悍,猛将烈士多出此地。羌人和胡人不敢深入三辅地区,就是因为凉州在他们的背后。凉州将士奋勇抗敌而无反顾之心,是因为他们归属汉朝。如果我们放弃凉州,把凉州百姓丢给夷狄,必然会引起怨恨。他们一旦起兵反叛,再联合外族席卷而来,即使有猛士孟贲和夏育当做士兵,姜太公为将,恐怕也难以抵挡。果真如此,只怕天下已非汉朝所有。虞诩将自己的意见告诉了太尉张禹,深得赞赏。张禹当即召集大将军、太尉、司徒、司空等四府进行商议,众人一致同意虞诩的主张。
虞诩提出的意见被采纳,但也由此被邓骘嫉恨。恰好朝歌县有贼匪聚众造反,连年作乱,州郡官府奈之不得,于是邓骘命虞诩为朝歌县县令。故友深为虞诩担忧,虞诩却毫不在意,认为大丈夫行事应当不避艰难。到任后,虞诩先拜见河内太守马棱。马棱见虞诩一介儒士,也感到担忧,虞诩说:“朝歌县的这群叛匪不足为虑,不过是为了温饱问题聚在一起闹事。如果他们有远见,则会凭仗朝歌的地理优势,打开敖仓,用粮食招揽青州、冀州数以万计的难民,从而割据天下。现在他们只干些抢劫的小勾当,说明他们是不值得忧虑的。”虞诩当即招募犯法者一百余人,赦免他们的罪行,命其混入匪帮,诱使叛匪进入虞诩预先设下伏兵的地方,一举杀死贼匪数百人。另外,虞诩暗中派遣裁缝为叛匪制作服装,并用彩线缝制衣服。贼匪穿上这种衣服出现在集市,立即会被官吏抓获。贼匪惊骇不已,以为官府有神灵相助,四下逃散,朝歌县境内得以安定。如此一来,邓骘的刁难反而使虞诩在军事上崭露头角。
汉安帝元初二年(公元115年),羌兵进犯武都。临朝执政的邓太后素闻虞诩有将略,在武都陷落之际擢升虞诩为武都太守。接到诏令后,虞诩率三千兵马赶往武都。羌人素知虞诩之名,严阵以待,在陈仓凭险设防以阻截虞诩。虞诩当即下令停止进军,向外宣称已奏请朝廷增援,等援军到之后再一起前进。羌人受到迷惑,便分兵去邻县抢掠,留在陈仓的羌兵也放松了警惕。虞诩趁机日夜兼行一百余里,并命令将士们每人挖两个灶坑,以后每日增加一倍。羌人见汉军灶坑天天增加,以为援军不断增加,更不敢逼近。部下不解其意,问虞诩:“以前孙膑通过减灶迷惑敌人,而您却增加灶的数量;况且兵法上说,每日行军不能超过三十里,为的是防备不测之事,而您却日行近两百里,这是什么道理呢?”虞诩回答说:“敌众我寡,快速行军能够迷惑羌人,使其探测不到我们的虚实;羌人见灶坑日益增加,必定认为我们有援兵接应,所以不敢追击。孙膑有意向敌人示弱,我现在有意向敌人示强,这是由于形势不同的缘故。”通过这种行军方式,虞诩安全快速地赶到了武都。
虞诩所部兵马不过三千,被一万多羌兵包围。虞诩命令众将士顽强固守,一直坚持了数十天,多次击退羌军的进攻。虞诩命令将士不要发射强弩,改用射程较近的小弩射击。羌兵见汉军弓弩威力弱小,认为难以造成威胁,便集中兵力发起猛攻。等到羌兵靠近,虞诩命令将士拿出强弩,每二十只强弩集中射击一个敌人,射无不中。羌人大惊,慌忙退却,虞诩趁机率军出城掩杀,斩获甚众。
此战羌兵多有损伤,但是摸清了虞诩的兵马不过两千余人,准备再次对虞诩发起攻击。虞诩考虑到己方实力已经暴露,又使出一计迷惑羌人。次日,虞诩召集所有将士,命令他们从东门出城,故意让羌人看到,然后换上不同的衣服,再从北门入城,如此重复多次。羌人受到迷惑,惊恐不安,军心有所动摇。虞诩估计羌人有退兵打算,便以五百余人设伏于敌人撤退的必经之路。果然如虞诩所料,羌人撤兵退入汉军伏地,汉军伏兵突起掩杀,大获全胜,羌人从此溃散。
击退羌兵后,虞诩开始治理武都郡。他修建营垒,开通水路运输,救助贫民并招回流亡外地的百姓。经过三年的治理,谷价由原来的每石一千钱降到每石八十钱,盐价由原来的每石八千钱降到每石四百钱,居民由原来的一万三千户增加到四万余户,武都郡境内太平,百姓富足。