玄宗同意了。自是高仙芝、哥舒翰皆专任大将，李林甫认为其不识文字，无入相由，然而禄山竟为乱阶，由专得大将之任故也。
皇甫惟明在与吐蕃军作战中连战连捷，进京献俘，玄宗亲自接见了他。
玄宗说：“皇甫将军，你屡战屡胜，灭吐蕃气焰，壮我大唐国威，朕要嘉奖你。”
皇甫惟明说：“谢陛下。保卫边疆，这都是末将应尽之责。臣有本要奏。”
玄宗：“将军请讲。“
皇甫惟明说：“末将这些天在京城，听许多大臣议论，说宰相李林甫专权。刑部尚书韦坚有宰相之才，可以启用。”
玄宗说：“此事重大，容朕考虑，改日再议。”
这些话没有逃过李林甫的耳目，李林甫非常愤怒。
皇甫惟明早年曾与忠王李亨为友。
开元十八年（730年）九月，吐蕃因屡败于唐军，便遣使请和。皇甫惟明知道后，便面陈和亲之利。
玄宗却认为：“吐蕃赞普往年尝与朕书，悖慢无礼，朕意欲讨之，何得和也！”
皇甫惟明解释道：“开元之初，赞普幼稚，岂能如此？必是边军将务邀一时之功，伪作此书，激怒陛下。两国既斗，兴师动众，因利乘便，公行隐盗，伪作功状，以希勋爵，所损钜万，何益国家！今河西、陇右，百姓疲竭，事皆由此。若陛下遣使往视金城公主，因与赞普面约通和，令其稽颡称臣，永息边境，此永代安人之道也。”（《旧唐书·吐蕃传》）
玄宗觉得言之有理，便令皇甫惟明和内侍张元方出使吐蕃。二人至吐蕃，对赞普和金城公主说明来意。赞普非常高兴，欣然请和，唐蕃两国遂修旧好。
不久，皇甫惟明因功任左卫郎将（《唐会要·卷五十九》）；开元二十年三月（735年），皇甫惟明，摄侍御史，充长春宫使（《唐会要·卷五十九》）；后又任司农少卿（《册府元龟·卷一百五十八》）；开元二十五年（740年）七月，任检校司农卿（《册府元龟·卷一百五十八》）；开元末年，皇甫惟明出任陇右（今青海西宁乐都及甘肃临潭等）节度使。
天宝元年十一月（742年），吐蕃大军进犯陇右地区，皇甫惟明立即率军迎击，在青海大获全胜。十二月二十七日，吐蕃大将莽布支再率3万余人马，与皇甫惟明部交战。唐军先锋骑将王难得率先出阵，与吐蕃赞普之子琅支都交锋。琅支都被其枪挑于马下。吐蕃军阵脚大乱。皇甫惟明趁机指挥唐军乘势掩杀，斩获5000余人（一说3万人）。
皇甫惟明发现吐蕃军每次进犯陇右地区，都以洪济城（今青海贵德西）为前哨阵地，遂决心除去这个隐患。天宝二年（743年）四月，皇甫惟明亲自率领兵马自西平郡（治西都，今青海乐都）出发，长途奔袭，推进千余里，向驻守洪济城的吐蕃军发起进攻。由于唐军远道而来，出其不意，很顺利地便占领该城。
在天宝初年，唐玄宗喜好边功，边帅常以抗击吐蕃有功而获官爵。皇甫惟明在与吐蕃军作战中连战连捷，立功心切，决定率廓州（治化隆，今属青海）军向吐蕃所占重镇石堡城发起攻击（又称铁刃城，在今青海湟源西南）。
石堡城是吐蕃的战略要地，地势险要，易守难攻。开元十七年（729年）三月，朔方节度使、信安王李祎用远程奔袭的战术，方攻占石堡城。但是在开元二十九年（741年）十二月，由于河西、陇右节度使盖嘉运不思防务，致使吐蕃军重新攻占石堡城。
皇甫惟明进至石堡城后，立即展开攻城。吐蕃守城将士一面凭险据守，一面传书求援。吐蕃即派大论莽布支率军兼程往援，并取得吐谷浑小王的配合，与守城将士里应外合，攻打唐军。皇甫惟明由于急功近利，只顾攻城，忽略打援，结果使唐军曹到重创，副将褚诩战死，只好退兵。
皇甫惟明进京献俘。十二月，唐玄宗对他进行了封赏（《册府元龟·卷一百三十一》）。天宝五年（746年）正月十三日，皇甫惟明又兼河西节度使，鸿胪卿。
元宵节。
皇甫惟明与韦坚相约一同游玩，市井中遇上太子李亨与李适之，四人一起前往位于城内崇仁坊中的景龙道观。
韦坚是太子李亨妃子韦氏的亲哥哥，李适之是李亨的老师。
李适之说：“现在朝廷内是李林甫一手遮天，外是边将安禄山得宠。如此下去，大唐危矣。”
韦坚说：“是啊，李林甫的马料论，弄得忠义之人不敢发言。”
皇甫惟明说：“不如我们联名弹劾，拔掉李林甫这块石头，举荐韦大人为相。这样，安禄山就没有靠山了。”
李亨说：“这本奏折由李大人来写，我想办法交给父皇。”
忽然外面一片喧哗之声，原来是金吾军包围了景龙道观。
李亨斥责：“陈玄礼，你好大的胆，竟敢私自调动金吾军。”
陈玄礼并不说话。
人马分开，玄宗在前，一脸寒霜；李林甫跟在后，神情严肃。
四人慌忙跪拜。
