他虽然身无一职，却几次换上短衣，冒险随军队来到前线，观察形势，然后记录下战事的经过，分析成败的原因，向有关官员提出破敌的方略。这些文章大都写得比较切实，不同于一般的书生议论。
直到嘉靖三十六年，徐渭以才名为总督东南军务的胡宗宪所招，入其幕府掌文书。入幕之初，他为胡宗宪作《进白鹿表》，受到明世宗朱厚熜的赏识。
自此，胡宗宪对他更为倚重，对他放任的性格，也格外优容。陶望龄《徐文长传》记载说：徐渭常常与朋友在市井饮酒，总督府有急事找他不到，便深夜开着大门等待。有人报告胡宗宪，说徐秀才正喝得大醉，放声叫嚷，胡宗宪反而加以称赞。
据说当时的胡宗宪权重威严，文武将吏参见时都不敢抬头，而徐渭戴着破旧的黑头巾，穿一身白布衣，直闯入门，纵谈天下事，旁若无人。
然而在幕府中，也有许多不如意的事。当时胡宗宪出于各种原因，与权臣严嵩来往甚密，而徐渭是痛恶严嵩的，他最亲近的友人沈炼就因参劾严嵩而遭到杀害，但徐渭又不得不代胡宗宪写了一些吹捧严嵩的文字。
到了嘉靖四十一年，严嵩被免职，徐阶出任内阁首辅。在徐阶的策动下，胡宗宪受到参劾，并于次年被逮捕至京，徐渭也就离开了总督府。
可谁知三年后，胡宗宪再次被逮入狱，并死于狱中，他原先的幕僚也有数人受到牵连。徐渭生性本就有些偏激，因连年应试未中，加上精神上很不愉快，此时他对胡宗宪被构陷而死深感痛心，更担忧自己受到迫害，于是对人生彻底失望，以至发狂。
他写了一篇文辞愤激的《自为墓志铭》，而后拔下壁柱上的铁钉击入耳窍，流血如迸，医治数月才痊愈。后又用椎击肾囊，也未死。如此反复发作，反复自杀有九次之多。
嘉靖四十五年，徐渭在又一次狂病发作中，因怀疑继妻张氏不贞，将其杀死，他因此被关入监牢。徐渭在狱中完成《周易参同契》注释，揣摩书画艺术。
徐渭被下狱后，友人纷纷予以援助，其中援助最为有力的，先是礼部侍郎诸大绶，后是翰林编修张元忭，即明末著名散文家张岱的曾祖父。
他们都是徐渭的至交，又都是状元出身，颇有声望。在这些朋友的解救下，徐渭坐了七年牢，终于借明神宗朱翊钧即位大赦之机获释，但此时的徐渭已经五十三岁了。
经历了如此多的磨难，徐渭已不再有什么政治上的雄心，但他对国事的关注却老而未衰。出狱后，他先在江浙一带游历，登山临水，并交结了许多诗画之友。
万历四年的夏天，徐渭年轻时代的朋友、此时已经担负北部边防重任的吴兑邀他北上，他便欣然前往。徐渭在宣化幕府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文。
