，又欲得节钺，使其徒张孝直等校《本草》以献，给事中杨椿沮之，计不行。继先富埒王室，子弟通朝籍，总戎寄，姻戚党与盘据要途，数十年间，无能摇之者。
金兵将至，刘锜请为战备，继先乃言：“新进主兵官，好作弗靖，若斩一二人，和好复固。”帝不怿曰：“是欲我斩刘锜乎？”
侍御史杜莘老劾其十罪，大略谓：“继先广造第宅，占民居数百家，都人谓之‘快乐仙宫’；夺良家妇女为侍妾，镇江有娼妙于歌舞，矫御前索之；渊圣成丧，举家燕饮，令妓女舞而不歌，谓之‘哑乐’；自金使来，日辇重宝之吴兴，为避走计；阴养恶少，私置兵甲；受富民金，荐为閤职；州县大狱，以赂解免；诬姊奸淫，加之黥隶；又于诸处佛寺建立生祠，凡名山大刹所有，大半入其家。此特举其大者，其余擢发未足数也。”
奏入，诏继先福州居住。其子安道，武泰军承宣使；守道，朝议大夫、直徽猷阁；悦道朝奉郎、直秘阁；孙锜，承议郎、直秘阁，并勒停。放还良家子为奴婢者凡百余人。籍其赀以千万计，鬻其田园及金银，并隶御前激赏库。其海舟付李宝，天下称快。
方继先之怙宠奸法，帝亦知之，故晚年以公议废之，遂不复起。孝宗即位，诏任便居住，毋至行在。淳熙八年，卒。