，计用兵十七万人，围始解。独赵葵在淮东不受兵，而坐视不出兵应援。午疏论：“边阃角立，当协心释嫌，而乃幸灾乐祸，无同舟共济之心。”葵以为午党京湖制司，而嵩之亦憾午，乃迁宗正少卿兼国史院编修官、实录院检讨官。出知泉州。初，左丞相李宗勉深以葵之言为疑，会来自淮东者，乃言台官皆以葵交书，独吕御史无之，宗勉始以午为贤，语人曰：“吕伯可独立无党者。”嵩之得弥远人才簿，心知敬午而内怨所论边事。及午移浙东提刑，嵩之令邓咏嗾重复亨论罢，中外不直嵩之。
提举崇禧观，再移浙东提刑。复为监察御史，入见，帝曰：“卿向来议论甚明切。”兼崇政殿说书。嵩之雅不欲午在经筵，时殿中侍御史项容孙子娶午从子，嵩之俾容孙上疏避午，欲撼之去，而于法无避。嵩之乃与言路密谋，以为午尝劾王瓒姻家史洽，遂以瓒为右正言，午即治装去。上手诏趣留之，午力辞，不允，由是再留，而议论愈不合。
迁起居郎兼史院官，官至中奉大夫，间居一纪卒，年七十有七，累赠至华文阁学士、通奉大夫。子沆。
沆字叔朝，以恩补将仕郎。端平三年，铨试第一，授黄岩县主簿，监西京中岳庙者二，总领湖广、江西、京西财赋所准备差遣。改知于潜县，重囚逸，闻沆至，自归。淮西总领辟充主管文字。
通判婺州，朱君章讼争田四十有二年，吴王府争墓二十有九年，沆皆决之。特差充提领两浙转运盐事使司主管文字，又差充行在点检赡军激赏酒库，历四辖、六院之文思官告，书拟尚左右郎官事。
贾似道议行公田，彗星见，沆请罢公田还民。及理宗崩，似道矫诏废十七界会子，行关子，沆力言非便。似道大怒，调将作监簿，急令言者论寝。久之，与云台观，起知兴国军，未赴，论仍云台观。起知全州，未赴，与仙都观。德佑元年，三学伏阙上书讼沆屈，召赴行在，沆不复出，卒，年八十有一。
论曰：杜范在下僚，已有公辅之望，及入相未久而没。杨简之学，非世儒所能及，施诸有政，使人百世而不能忘，然虽享高年，不究于用，岂不重可惜也哉。张虙子谅易直，吕午风采凛然，皆有裨于世道者矣。