原则上双方讲和需即刻撤兵。羽柴一方已经从当天夜里便开始进行。
然而，撤军的仅仅是在八幡山控制高松城北方的宇喜多忠家和位于龙王山山脚的羽柴秀胜两军罢了。
从战略上来讲，与毛利方相距甚远的这两支军队已经没有继续驻扎的必要。高松城也已经没有能够抗战的守将与士气了。为防备万一而不能轻举妄动的只剩位于毛利正前方的石井山大本营以及足守川沿线的殿军了。宇喜多一军一夜之间撤退到了冈山。然而，秀吉大本营中还一兵未动。
当然秀吉自己也一直待在持宝院里。就这样，从四日夜阑到了五日清晨，他还是未有动作。虽然心早已经飞到了京畿，秀吉却一丝也未露出撤军之意。跟前天一样，昨晚也是和衣而卧。吩咐随从一有事情马上把自己叫醒之后，他便曲肱为枕躺下了。“按照约定，今早上毛利一方送来了两名人质。”今早一起床听到蜂须贺彦右卫门的报告，其中之一便是此事。
这也是一直让他挂心的一件事。首先，毛利一方未发生突变，这让他松了一口气。然而，还是不能大意。因为如果今早毛利还尚未得知京都之变，那么即使他现在送来人质也难以揣测在他得知真相时是否会变心。
一切都取决于秀吉的主意，秀吉也意识到了这点。虽然已经议和，但如果太过匆忙地退兵，难免会让毛利察觉到己方疏忽。声东击西，摆出一副束手无策的样子也完全是为了探毛利虚实。
“彦右卫门，水位开始下降了吗？”“好像退了一尺左右。”
“不要放得太急了。”秀吉来到持宝院的庭院里。昨日宗治剖腹时所乘小船的水痕也只是微微细波。因为掘开一部分水堤，虽说水量有所下降，但远处的高松城依旧还是泡在水中。
秀吉麾下的杉原七郎左卫门已经于昨天傍晚接管了城池。现在陆陆续续用渡船和小舢板运至岸上的是因宗治一死而得救的百姓。城中将士让老幼民众优先，他们则最后才上岸。
一日无事。入夜，秀吉命森勘八高政监视毛利一方，又同黑田官兵卫等人热心商议一番，结束后传令随从全部撤回，开始紧急准备撤军。夜还很深，但确切来讲已是六日早晨。因为恰是凌晨两点时分。命令完全军准备撤退的秀吉，终于走出了持宝院，命令传话：“即刻出发！”
以防万一，又传令询问殿军的森勘八：“毛利方没有任何异状吗？”其间，又把官兵卫孝高叫来吩咐道：“立刻，将各处水堰决口！”孝高将此事托付给家臣吉田六郎太夫，六郎太夫急急赶往山旁的蛙鼻去了。
六郎太夫在水攻筑堤工事中担任其中的一名奉行。从上月十九日完成，如今正好半月。想来这浩浩荡荡的湖水也算得上是成就一个伟大时代的分水岭了。
自四号和议缔结之时，就掘开了一部分水堤稍稍放水表示了一下。现在则是将十多处堤口一起掘开，让水回到原本的高松盆地。他站到蛙鼻的岩石顶上，两手拿着士兵点燃的松明。
“飒、飒、飒……”六郎太夫手拿两只松明挥动了大约三次，火焰在空中划出美丽的弧线。从原古才到长崎的约四公里长堤上，从看守的小屋中也可以清清楚楚地看到。不久，原本平静的湖水各处水面上都开始有了动静。水流形成巨大的旋涡与地壳一起滚动咆哮。
“好嘞！”六郎太夫用脚捻灭松明又回到原处。这时，秀吉以及围绕他的随从们和一群将士都以金瓢军旗为中心，张弓执矛、火枪支上膛，迎着树上时而降落的露水沿黑暗的坡道有条不紊地往山下行进，整支队伍肃静无声。
撤军远比进攻要困难得多。虽然是和议达成后的撤军，然而极端机密还被藏在暗中。一旦有任何突发状况，责任都在秀吉一人身上。“喂，那声音是……”
秀吉停下马侧耳倾听。水啸声似风暴似海啸，在夜空中驰骋。一下子切开十几处堤口，狂涌的浊流难以阻止，除毛利方所在的岩崎、天神、黑住等高地以外应该是遍地泥水成为一片汪洋泽国了。
是水流速度快呢还是扬鞭东指的他快呢？石井山已经落在后面了。全军宛若奔腾的河流全速行进。
急行军八公里多时，道路已经由备中进入备前。在辛川村，秀吉驻马稍停指示各队将领行军路线。“从此处向前，军队分散开来取不同路线。”一军经西大川、真可上、和气、金谷到三石走旧道。另一军通过国府市场、沼、长船到西片山在三石会合。然后集合成一队过舟坂岭从有年进姬路。领命分别走新道和旧道的部队军马众多，一时混乱不已。此时，追上来的官兵卫孝高让所率领的黑田队在一旁等候，只身一骑来到秀吉跟前。虽然步行跛脚，但骑在马上貌似也没有什么不便。他将马交给他人，跪下来借着周围的噪音悄声向秀吉说道：“高松城周围已经露出陆地，而原本的低地则全都成了河流或者泥田。因此就算毛利想要追讨，两三天之内也难以行进。”
“是吗？那也就是说一面无忧啦。”“还有，不如在此将毛利方的人质送还回去吧。”“送还人质？”
“是的。属下认为与其留下一个丝毫派不上用场的人质，不如将其送还。”
“嗯，确实如此。”未等详加说明，秀吉就已经颔首认同了。
归根到底，秀吉此后就是击败光秀或者是被其击败，别无二路。如果败给了光秀，那么即使持有毛利家的人质怕也无甚益处。
假如他成功诛杀光秀为信长复仇，那么天下倡义，整个天下自会倾向秀吉。那时，即便没有人质，想来毛利氏一族也不会再有所反抗。相反，不如此刻对其施以恩惠，求其欢心，或许更能够取得实效，在日后派上用场。这正是官兵卫心中所想，秀吉也察觉到了。
“令谁陪伴送返呢？”
“派我的家臣前去吧。除了送还人质，我们也有想要向对方借用的东西。”
“好，那就交给你了。好好谋划吧。”
秀吉立刻将跟随在阵后的毛利方的人质吉川经岩和毛利元总交到他手上，自己则向前出发了。
如今他可以说是归心似箭。晚到一天就多一天的不利。可能明智光秀就在此间强化军容，被他横夺到手的天下也可能在此间得到天下承认。与大军分开的秀吉，在此处弃马乘轿想要尽可能减少疲劳。在与麾下的将士一起经过矢坂、野殿、野田，来到半田山时，先行撤军的宇喜多主仆也从冈山处迎接而来。
秀吉让停下小轿，说道：“辛苦了！辛苦了！”然后向包括宇喜多忠家在内前来迎接的众人一个不漏地亲切问候，看到被诸将士环绕的一个少年，便招呼道：“过来过来！”忠家牵着少年的手走到小轿跟前跪下，教他道：“快快问好！”少年行了一礼。只见他天真纯朴宛若兰之新芽，虽然脸上稚气未脱，却打扮得像是武士人偶一般。“忠家，是他吗？是宇喜多直家大人的遗孤吗？”“是的。希望您能够像对待宇喜多直家那样照顾这个孩子的将来！”
“不用担心，我在此向故友起誓，一定由我筑前守抚养他长大。从今往后，他就是我秀吉的养子。”
“谢过大人！”一族里的忠家感动落泪。因为冈山城主宇喜多直家在这月病逝，所以拥立幼小遗孤到高松参战的冈山众人的心境也一定是更加五味杂陈。为抚慰遗臣，在这匆忙的行军路上约定认领的养子——宇喜多家的幼主正是日后的宇喜多大纳言秀家。
此时的秀家才不过十岁，对于眼前的动荡局势以及父亲的去世好像都还未有所感触。秀吉十分疼爱地说道：“来！上来！”他亲手把他抱到小轿上揽在双膝，又问：“你几岁啦？”“喜欢什么？”又问：“从今天开始你就是我的养子啦！怎样，开心还是不开心？你讨厌我吗？”跟他逗趣玩耍。
其间，他立刻命令轿夫抓紧赶路。因此，小轿仿佛漂在水中一样摇来晃去。到达冈山城下这段时间里，秀吉已经与少年变得十分亲近了。
到达城下，因为原定不入城，所以秀吉将秀家抱下小轿，与冈山城众告别。
“不管两千将士也好，三千将士也好，希望能够援助您前去征讨以先发制人，还请您下令。”对于忠家的好意，秀吉斩钉截铁地拒绝了。
“您的好意我万分感谢，但此后也十分重要。万一毛利家有什么突发情况，到时候还要多多仰仗您。因此，我筑前在此拜托您作为牵制毛利的一垒，请不要拔军。”
秀吉授予了种种策略，却没有借其兵力，只带着宇喜多家的军旗继续前进了。之后，向东急赶的军队不断通过城下。过了大半日还能够听到断断续续的马匹嘶鸣。
