虽然，李旦对于李显欲立自己为皇太弟，再三推辞，表示绝无可能接受这个身份。但是，韦氏和安乐公主，对于李旦还是很不放心。尤其是，李旦几个生龙活虎的儿子都在渐渐的长大，为了防止这几个儿子羽翼丰满，不好控制。两人一合计，让李显一道圣旨，将李旦的几个儿子都赶出了京城。李隆基作为临淄王，被朝廷委派到潞州（大约是今天山西长治一带），以潞州别驾，这个别驾的地位和级别，应该是跟一个州的最高行政长官刺史平起平坐，但是没有实权，是一个级别高的闲职。李隆基自然知道，朝廷把这个闲职给自己，意思很明确，就是让自己老老实实待在这个地方，不要有什么其他非分之想，更不要惹事生非。
所以，李隆基何等聪慧的人，一来到潞州就开始修造了一所还修造了一所宏丽的府第，后面建有“德风亭”（旧址在今长治市府上街）。亭西有辇道接“盾花梳洗楼”（旧名游岭，即今牛岭）。整天也是游山玩水，寄情于音乐歌舞上，时不时的和潞州名士、幕僚、契友在这里赏景赋诗、摆出一副纨绔子弟，浪荡不羁的公子哥的派头。至于，史书上记载的“有德政、善僚属、礼士大夫、爱百姓”。应该是李隆基后来登基为帝后，史官为了粉饰李隆基在潞州不得志的岁月，凭空添加上去。李隆基在潞州能做的就是，韬光养晦，等待合适的时机，能够重新回到京城，大展宏图。
李隆基，会时不时的在府中搞一些诗歌会，和潞州名士、幕僚、契友在这里赏景赋诗、评论国事。对于，这位从京城走出来的小王爷，大家都以为李隆基跟他爸李旦一样，只是一个醉心诗歌音乐的太平王爷。没有对李隆基高看一眼。一次在诗歌会上，有人谈起了唐太宗当时南征北战的飒爽英姿。便对着李隆基说道“想当初，太宗率领大唐文臣武将，披荆斩棘，战无不胜，是何等的威风，敢问王爷心里可曾神往过？”李隆基听了，笑着说道“曾祖父，乃是千古一帝的人物，英明神武的风采，从古至今，只有汉武帝能与其媲美。我只是一介郡王，对于曾祖父的丰功伟绩，只有顶礼膜拜的份，神往远远谈不上。说完，李隆基不由得仰天长叹，似有无限感慨；又有一个在当地颇有名气的文人，趁着酒劲问道：“当今圣上，一味放权给韦皇后，韦皇后和安乐公主，借此大肆行卖官的勾当。朝中的能臣，也被排挤的，空有一身才华，无法施展，王爷身为皇室亲王，心里不着急么！”对于，这种敏感的话题，李隆基并没有正面回答，只不过微微一笑，拿起酒杯说道：“今日，小王设宴，只是为了和众多的贤士，能够在一起吟诗作对，把酒言欢，至于朝中国事，冥冥之中都会有定数的。大家都不必拘泥国事，可以就各自抱负，畅所欲言。”听了，李隆基的话以后，大家都谈到各自的抱负时，他却静静地听着，不置一辞。大家问他，他又笑而不答。酒到酣处，他离席起舞，吟唱起汉高祖的《大风歌》，大家才知道他的志趣不凡。
李隆基在潞州的生涯，以寄情山水作为掩护，暗地里还是结识了不少的贤良之士。再加上他风雅博学，平易近人，礼贤下士，有识之士都乐于归附。
一日，李隆基闲来无事，便带领府上的人，前往山林里面去打猎。李隆基玩的性起，便撇开大部队，自己寻找猎物，眼看着一只野狼迅速跑进小树林里面，李隆基便骑马追了过去，正当李隆基准备张弓搭箭射向野狼。岂料，野狼出于求生的本能，疯狂的向李隆基的身体扑过来，李隆基措手不及，弓箭还没搭好，眼看生命就要受到危险了。忽然，从树林斜刺里杀出一个猛汉，迅速的张弓搭箭，一箭便要了野狼的性命。回过神的，李隆基看见这个大汉，留着络腮胡。虎背熊腰，面如黑炭，双目炯炯有神。虽然看着面目有点狰狞，但是从言行举止来看应该不是什么大恶之人。李隆基有心结交便问道：“敢问壮士，尊姓大名”只见那个大汉，擦完脸上的汗说道：“我是潞州大地主张暐看家仆人李宜德。李隆基心中一想，这张暐是潞州数一数二的大地主，在当地可谓是富甲一方的人物。张暐和自己一样，也是属于乐善好施，广交朋友的人。所以自己刚来潞州的第二天，张暐便前来拜访，由于年纪相仿，志趣相投，很快两人便结为知己。这张暐府中有这么一员猛将，为何不早介绍与自己相识。李隆基，想到这便计划与张暐打个招呼，将李宜德收入自己府中，当自己的贴身护卫。
李隆基一身便衣来到张暐府中。张暐见李隆基亲自登门拜访，便知道李隆基是有事要说。没等张暐开口，李隆基便开门见山说道：“都说张兄府中有很多珍宝，今日前来，特为一饱眼福。”张暐听了答道：“王爷，久居宫中，什么奇珍异宝没有见过，我这寒门的东西是上不了王爷的台面的。”李隆基说道：“千军易得，良将难求”张兄府中有一员猛将，为何一直藏着，不肯引荐给本王“张暐听李隆基有些诚惶诚恐的答道：“王爷，看上我府里哪个人，小的直接送给王爷就是了”看见张暐如此紧张，李隆基便拉着张暐的手说：“此番，前来就是为了你府中李宜德”张暐对李隆基说道“王爷，真是慧眼识珠，这李宜德身形矫健，骑射功夫更是一流，待在我府里也确实有点屈才了，王爷看的起，带走就是了。|”李隆基从张暐那带走李宜德后，心中颇为的喜悦，犹如得一左膀。然而李隆基没想到很快将会得到一个得力的右臂。
