后来，征南大将军岑彭拦蓄附近的谷水，试图以水灌西城。眼看着水位离城头不远了，此时全军都寄希望于此。不想嚣将王元、行巡凋宗等率蜀救兵五千余突然杀来，为了虚张声势他们鼓噪大呼，声称“百万之众方至”。汉军士气本来就不高，加之毫无准备，又被对方虚张声势所蒙蔽，“大惊，未及成阵”;而王元等“决围殊死战，遂得入城，迎嚣归冀(今甘肃秦安西南)”。却说这时吴汉、岑彭军不仅吃了败仗，而且军粮也用尽。于是只好“烧辎重，引兵下陇”。
吴军、岑军一退，包围上邦的盖延、耿拿军怕被两面夹击“亦相随而退”。这时隗嚣抓住机会，“出兵尾击诸营”。征南大将军岑彭率亲兵在最后掩护大军，“诸将乃得全军东归”。吴汉等复屯长安，岑彭则回自己的驻地津乡(今湖北江陵)。唯有祭遵一路汉军仍屯驻于沂(今陕西陇县),没有东退。这样，隗嚣又重新据有安定、北地、天水、陇西广大地区；战争又几乎回到了刚开始的样子。
到了建武九年(公元33)正月，传来了颍阳侯征虏将军祭遵在军中逝世的消息。吴汉等西城失利后，各路汉军皆退回长安，只有祭遵仍坚守在安，成为与隗嚣对峙的最前哨。如今军中主将去世，此事关系重大，刘秀急诏冯异“并将其营”,以防止发生意外。对于祭遵的去世，刘秀“憋悼之尤甚”。祭遵“为人廉约小心，克己奉公，赏赐辄尽与士卒，家无私财”,本人及夫人均为节俭的模范。他治军严整，秋毫不犯，“所在吏人不知有军”。
