赵军都不明白，金军那边就更不明白了，尤其虞允文还派人发动了几次小规模的夜袭。这几次夜袭，赵军大量使用了火箭，虽然杀伤人数不多，但金军营帐被焚毁不少，而且金兵们的休息受到了很大的影响。完颜亮对此非常恼火，他现在已经不怕与赵军正面决战，但是这种小规模的骚扰令他极度抓狂。无奈之下，他只能下令增加了岗哨数量，以防止赵军故技重施。根据经验，赵军每次发动大规模攻势之前，都是以这种骚扰为开端的。想到这里，完颜亮倒是有些高兴了，他命令金军做好决战的准备。说实在的，这一个多月赵军死守不出，倒真是令金军很头痛。数十万大军每驻扎一天，就是多少钱粮啊！纥石烈志宁虽然觉得还有些疑点，但毕竟没有多少依据，就没有对完颜亮说。
摘自：(frVKNtRbGccftlkpg95D)www.
而就当赵军将士纷纷自发做好战斗准备时，虞允文却突然秘密召集了所有营级以上将领，宣布了撤军的命令。众将这才恍然大悟，原来他玩的是“欲退先攻”这一出啊！不过考虑到金军中也有能人，未必就不能识破自己的计策，所以虞允文便选择了夜间上船。但一夜不可能撤走全部军队，虞允文便让断后的部队在天明后，擂鼓做出集合军队准备进攻的架势，以进一步迷惑金军。结果，等到金军发现问题时，赵军已经全部撤走了。对于没有大型海船的金军来说，只能望洋兴叹
摘自：(ZlLICnWTFT)www.
说是全部撤走，但其实赵军还是有几个人留了下来。虞允文在宣布撤军时，特别询问了目前仍留在军中的石贵等独立师将领的意见。石贵强烈反对目前撤军，这意味着此次北伐前功尽弃，实在是太可惜了。
摘自：(iWEKBLQLuGTfoN23iIW)www.
但是虞允文也没办法，他将国内发生的可怕灾难透露给石贵知道，石贵脸上悚然变色。但他脸色凝重地沉思了一会之后，还是坚定地表示，“撤军看来是不可避免了，但是北方必须留下种子，请让末将的独立师留下来吧！”