疏留中不下，大宗正寺丞赵崇璠移书方叔云：“阉寺骄恣特甚，宰执不闻正救，台谏不敢谁何，一新入孤立之察官，乃锐意出身攻之，此岂易得哉？侧耳数日，寂无所闻，公议不责备他人，而责备于宰相。不然，仓卒出御笔，某人授少卿，亦必无可遏之理矣，丞相不可谓非我责也。丞相得君最深，名位已极。傥言之胜，宗社赖之；言之不胜，则去。去则诸君必不容不争，是胜亦胜，负亦胜，况未必去耶。”方叔得书，有赧色。
翼日，果得御笔授天锡大理少卿，而天锡去国。于是太学生池元坚、太常寺丞赵崇洁、左史李昴英皆论击允升、宋臣。而谗者又曰：“天锡之论，方叔意也。”及天锡之去，亦曰：“方叔意也。”方叔上疏自解，于是监察御史朱应元论方叔，罢相。既罢，允升、宋臣犹以为未快，厚赂太学生林自养，上书力诋天锡、方叔，且曰：“乞诛方叔，使天下明知宰相台谏之去，出自独断，于内侍初无预焉。”书既上，学舍恶自养党奸，相与鸣鼓攻之，上书以声其罪。乃授方叔观文殿大学士、提举洞霄宫。复以监察御史李衢两劾，褫职罢祠。后依旧职，与祠，起居郎召泽、中书舍人林存劾罢；监察御史章士元请更与降削，窜广南。景定二年，请致仕，乃叙复官职。
度宗即位，方叔以一琴、一鹤、金丹一粒来进。丞相贾似道恐其希望，讽权右司郎官卢越、左司谏赵顺孙、给事中冯梦得、右正言黄镛相继请夺方叔官职封爵，制置使吕文德愿以己官赎其罪。咸淳七年，诏叙复致仕。八年卒。特赠少师，方叔在相位，子弟干政，若谗余玠之类是也。
论曰：乔行简弘深好贤，论事通谏。范钟、游似同在相位，皆谨饬自将，而意见不侔。赵方豫计二子后当若何，而葵、范所立，皆如所言，所谓知子莫若父也。然宋自端平以来，捍御淮、蜀两边者，非葵材馆之士，即其偏裨之将。朝廷倚之，如长城之势。及其筋力既老，而卫国之志不衰，亦曰壮哉！谢方叔相业无过人者，晚困于权臣，至以玩好丹剂为人主寿，坐是贬削，有愧金镜多矣！