世忠等破之。至行在，迁太尉、御营副使。光世遣王德助乔仲福追傅至崇安县，尽降其众，傅仅以身免。逆将范琼被执，张浚使光世抚定其众，又招贼靳赛降之。命光世为江东宣抚使，守太平及池州，受杜充节制。光世言受充节制有不可者六，帝怒，诏毋入光世殿门，光世始受命。
隆佑太后在南昌，议者谓金人自蕲、黄渡江，陆行二百里可至，命光世移屯江州为屏蔽。光世既至，日置酒高会。金人自黄州渡江，凡三日，无知之者。比金人至，遂遁，太后退保虔州。冯楫贻书光世，言：“贼深入，最兵家之忌。进则距山，退则背江，百无一利，而敢如此横行者，以前无抗拒，后无袭逐也。太尉傥选精兵自将来洪，而开一路令归，伏兵掩之，可使匹马不还。”光世不能用，自信州引兵至南康。郦琼围固始县，光世遣人招降之，又遣王德擒妖贼王念经于信州。
时光世部曲无所隶，号“太尉兵”，侍御史沈与求论其非宜。会御营司废，乃以“巡卫”名其军，命充御前巡卫军都统制。召赴行在，授浙西安抚大使、知镇江府。光世言：“安抚控制一路，若但守镇江，则他郡有警，不可离任。望别除守臣，光世专充安抚使，从便置司。”时光世虑金人必过江，故预择便地，帝觉之，止许增辟通判。右谏议大夫黎确疏其择便求佚，中外所愤，帝释不问，加宁武军节度使、开府仪同三司以遣之。光世乞便宜行事，不许。时韩世忠、张俊兼领浙西制置使，光世复言本路兵火之余，不任三处需求，遂罢世忠、俊兼领。
时金兵留淮东，光世颇畏其锋，楚州被围已百日，帝手札趣光世援楚者五，竟不行；但遣王德、郦琼将轻兵以出，时奏杀获而已。楚州破，命光世节制诸镇，力守通、泰。完颜昌屯承、楚，光世知其众思归，欲携贰之。乃铸金银铜钱，文曰“招纳信宝”。获敌不杀，令持钱文示其徒，有欲归者，扣江执钱为信。归者不绝，因创“奇兵”、“赤心”两军，昌遂拔砦去。
绍兴元年，金人渡淮，真、扬州皆阙守，命光世兼淮南、京东路宣抚使，置司扬州，措置屯田，迄不行。张俊讨李成，又命光世分兵往舒、蕲捣其巢穴，光世以江北盗未平为辞。命兼淮南宣抚使，领真扬通承楚州、涟水军。郭仲威谋据淮南以通刘豫，光世遣王德擒之，并其众。范宗尹言：“光世军多冗费，请汰其罢软者。”帝曰：“俟作手书与之，如家人礼，庶几不疑。”
光世以枯秸生穗为瑞，闻于朝。帝曰：“岁丰人不乏食，朝得贤辅佐，军有十万铁骑，乃可为瑞，此外不足信。”淮北人多归附者，命光世兼海、泗宣抚使以安辑之。五湖捕鱼人夏宁聚众千余，掠人为食，郭仲威余党出没淮南，邵青据通州，光世皆招降之。光世请铸淮东宣抚使印，给钱粮，增将吏，皆从其请。仍给镇江府、常州、江阴军苗米三十七万斛，为军中一岁费。
二年，复命移屯扬州，时至镇江视师。光世不奉诏，入朝言：邻寇有疑，或致生事，愿仍领浙西为根本计。右司谏方孟卿劾之，乞召宰执与议，使之必往，光世犹以乏粮为辞。光世之来，以缯帛、方物为献，帝命分赐六宫，中丞沉与求以为不可，命还之。
吕颐浩与光世有故怨，颐浩将出视师，首言光世兵冗不练，乞移其军还阙。帝曰：“光世军粮不足，若骤移，必溃，先犒军而后料简可也。”颐浩至镇江，光世军果告乏，颐浩奏光世军月费二千万缗，乞差官考核。诏御史江跻、度支胡蒙至军点校，终不得实。帝方倚其成功，寻诏两漕臣措置镇江酒税务，助其军费；又罢织御服罗，省七百万缗以助之。加宁武、宁国军节度使。光世奏部将乔仲福、靳赛防江有劳，诏进一官，许回授。
光世固乞转行，给事中程瑀持不可，又言光世兵未渡江，金人或渡淮，江、浙必震。光世方遣人按行宜兴湖洑之间，以备退保。诏以章示之，光世迁延如故。
三年，命光世与韩世忠易镇，同召赴阙，授检校太傅、江东宣抚使。世忠既至镇江城下，奸人入城焚府库，光世擒之，皆云世忠所遣。世忠屯登云门，光世引兵出，惧其扼己，改途趋白鹭店。世忠遣兵袭其后，光世以闻。帝遣使和解，仍书《贾复》、《寇恂传》赐之。命为江东、淮西宣抚使，置司池州，赐钱十万缗。
刘豫将王彦先扬兵淮上，有渡江意。光世扼马家渡，遣郦琼屯无为军，为濠、庐援，贼乃退。光世奏鄜延李佾充阁门祗候，言者论其涉私，罢之。金人、刘豫入侵，时光世、张俊、韩世忠权相敌，且持私隙，帝遣侍御史魏矼至军中，谕以灭怨报国。光世乃移书二帅，二帅皆复书致情。光世始移军太平州以援世忠。金兵退，光世入觐，迁少保。帝曰：“卿与世忠以少嫌不释，然烈士当以气义相许，先国家而后私仇。”复谕以光武分寇恂、贾复之事。光世泣谢，请以所置淮东田易淮西田，给事中晏敦复言其扰民而止；又请并封其三妾为孺人，南渡后，诸大将封妾自此始。会改神武军为行营护军，以光世所部称左护军。刘豫筑刘龙城以窥淮西，光世遣王师晟破之，加保静军节度使，遂领三镇。
张浚抚淮上诸屯，刘豫挟金人分道入侵，命光世屯庐州