后来,征南大将军岑彭拦蓄附近的谷水,试图以水灌西城。眼看着水位离城头不远了,此时全军都寄希望于此。不想嚣将王元、行巡凋宗等率蜀救兵五千余突然杀来,为了虚张声势他们鼓噪大呼,声称“百万之众方至”。汉军士气本来就不高,加之毫无准备,又被对方虚张声势所蒙蔽,“大惊,未及成阵”;而王元等“决围殊死战,遂得入城,迎嚣归冀(今甘肃秦安西南)”。却说这时吴汉、岑彭军不仅吃了败仗,而且军粮也用尽。于是只好“烧辎重,引兵下陇”。
吴军、岑军一退,包围上邦的盖延、耿拿军怕被两面夹击“亦相随而退”。这时隗嚣抓住机会,“出兵尾击诸营”。征南大将军岑彭率亲兵在最后掩护大军,“诸将乃得全军东归”。吴汉等复屯长安,岑彭则回自己的驻地津乡(今湖北江陵)。唯有祭遵一路汉军仍屯驻于沂(今陕西陇县),没有东退。这样,隗嚣又重新据有安定、北地、天水、陇西广大地区;战争又几乎回到了刚开始的样子。
到了建武九年(公元33)正月,传来了颍阳侯征虏将军祭遵在军中逝世的消息。吴汉等西城失利后,各路汉军皆退回长安,只有祭遵仍坚守在安,成为与隗嚣对峙的最前哨。如今军中主将去世,此事关系重大,刘秀急诏冯异“并将其营”,以防止发生意外。对于祭遵的去世,刘秀“憋悼之尤甚”。祭遵“为人廉约小心,克己奉公,赏赐辄尽与士卒,家无私财”,本人及夫人均为节俭的模范。他治军严整,秋毫不犯,“所在吏人不知有军”。