伏方决，况人命至重乎？”议卒格。以议夺吴名世改正过名不当，降两官。
会当遣使于金，在廷相顾莫肯先，帝亲择以往，闻命慨然就道。方入境，金使蒲察问接国书事，论难往复数十，蒲察理屈，因笑曰：“尚书能力为主。”既至，几罹祸者数，守节不屈，金卒礼遣之，帝嘉叹。迁吏部侍郎，寻权工部尚书，复中大夫，改工部尚书兼知临安府。方控辞，以言罢，提举太平兴国宫，寻提举佑神观、奉朝请。
寻知湿州，首捕巨猾王永年穷治之，杖徙他州。奏免民间积逋，以郡余财代输之，然以累欠内帑坊场钱不发，镌一官。海寇出没大洋劫掠，势甚张，彦直授将领土豪等方略，不旬日，生禽贼首，海道为清。枢密奏功，进敷文阁学士，以弟彦质为两浙转运判官，引嫌易泉府。丐祠奉亲，差提举佑神观，仍奉朝请，特令佩鱼，示异数也。
入对，乞搜访靖康以来死节之士，以劝忠义。又上荐举乞选人已经关升、实历六考、无赃私罪犯者，杂试以经术法律，限其员额，定其高下，俾孤寒者得以自达，定为改官之制。又乞令州郡守臣任满日，开具本州实在财赋数目，具公移与交代者，并达台省，庶可核实，以戢奸弊，帝悉嘉纳。
淳熙十年夏旱，应诏言，迩者滥刑，为致旱之由。明年，入对，论三衙皆所以拱扈宸居，而司马乃远在数百里外，乞令归司。久之，再为户部尚书。会岁旱，乞广籴为先备。又乞追贬部曲曾诬陷岳飞者，以慰忠魂。以言降充敷文阁学士。帝追感世忠元勋，遣使谕彦直，且谓彦直有才力，言者诬之。彦直感泣奏谢。寻提举万寿观，有疾，帝赐之药。进显谟阁学士、提举万寿观。
尝摭宋朝事，分为类目，名《水心镜》，为书百六十七卷。礼部尚书尤袤修国史，白于朝，下取是书以进，光宗览之，称善。进龙图阁学士、提举万寿观，转光禄大夫致仕。卒，特赠开府仪同三司，赐银绢九百，爵至蕲春郡公。
论曰：古人有言：“天下安，注意相；天下危，注意将。”宋靖康、建炎之际，天下安危之机也，勇略忠义如韩世忠而为将，是天以资宋之兴复也。方兀朮渡江，惟世忠与之对阵，以闲暇示之。及刘豫废，中原人心动摇，世忠请乘时进兵，此机何可失也？高宗惟奸桧之言是听，使世忠不得尽展其才，和议成而宋事去矣。暮年退居行都，口不言兵，部曲旧将，不与相见，盖惩岳飞之事也。昔汉文帝思颇、牧于前代，宋有世忠而不善用，惜哉！