为祖逖去世而不必顾虑遂叛变。祖逖军由其弟祖约率之，最后也随苏峻叛变。由于晋朝内部矛盾，失地得而复失。晋成帝时则由庾亮、庾翼兄弟主持北伐，他们以荆州为中心，意图发动北伐。但是因被抵制，所以没有实现统一。庾氏兄弟相继去世後，朝廷先后由褚裒、殷浩、谢尚、桓温、司马勋等多次北伐。
346年晋穆帝时，桓温、周抚、司马无忌、毛穆之、袁乔等讨伐成汉（成汉于338年为李寿篡位，改国号为汉），次年讨灭。349年石虎死，晋廷派褚裒北伐，失败。桓温多次破坏北伐，在褚裒北伐失败后引军东下武昌与殷浩争权。晋廷不许，改以殷浩、司马勋、谢尚负责北伐。352年殷浩联合羌将姚襄北伐前秦，被苻健击败。次年殷浩再度北伐，为姚襄所袭，殷浩被桓温弹劾罢免。354年桓温伐前秦，但由于苻健采坚壁清野战术，桓温又态度消极不进，最後晋军缺粮而撤退。356年，桓温讨伐河南姚襄，击溃之并攻占洛阳，修谒皇陵。358年桓温不顾朝廷要求其驻守经营洛阳，仅留毛穆之三千人守洛阳，自行南撤。等到晋哀帝及晋废帝（即司马奕）相继为帝之后，桓温已经控制兵权。当时北方呈现前秦前燕代凉割据的局势，洛阳为前燕占领。桓温为了准备专权，於369年讨伐前燕。当时燕军大败，晋军进驻枋头（今河南浚县附近）与燕将慕容垂对峙。最後晋军缺粮而退，慕容垂率军追杀，晋军大败。371年桓温废晋帝司马奕为东海王，改立司马昱为简文帝。隔年简文帝去世，晋孝武帝继位，373年桓温要求「九锡」，大臣谢安、王坦之拖延该事，不久桓温病死，东晋暂时中止了北伐。
淝水危机
淝水之战前夕，前秦东晋对峙图晋孝武帝时，谢安执政，桓冲为荆州刺史，防御荆襄地区；谢玄镇广陵，与谢安防御淮南地区。为了加强中央军力，晋孝武帝令谢玄招募淮南江北百姓，成立北府军。
370年前秦灭掉前燕后，前秦帝苻坚即有意灭东晋以统一天下。373年攻下东晋梁益二州。378年派苻丕围攻襄阳，朱序坚守，於隔年攻破，俘虏了朱序；又派彭超围攻彭城，却被谢玄率北府兵击败。382年吕光平定西域後，苻坚的目标指向东晋。隔年5月桓冲率10万军，意图夺回襄阳，苻坚派苻睿、慕容垂等人防御。8月苻坚认为时机已到，率举国之师南征东晋，兵分三路，声势浩大[6]。他亲率步兵60万抵达项城，派苻融为先锋率27万兵攻打寿阳，梁成等人屯洛涧以控制淮河。晋廷震惊，谢安力持镇定，命谢石为前线大都督、谢玄为先锋，与谢琰、桓伊等人率8万北府兵北上救援。
383年10月秦军前锋攻陷寿阳後，苻坚赶往指挥，并派朱序向谢石诸降劝降。但朱序尽洩秦军虚实，并建议速战速决。11月谢玄派刘牢之率五千精兵攻破洛涧，晋军西行，与秦军对峙淝水。12月谢玄向苻坚建议後退决战[7]。诸秦将认为阻敌淝水畔比较安全，但苻坚认为半渡而击可主动对决。当秦军後移时，晋军渡水突击，朱序于後军大喊秦军已败。此时秦军大乱，谢玄等人乘胜追击，秦军全面崩溃，苻融战死，苻坚中箭，孤身北返，後由慕容垂护送。此役晋军全面胜利，於东晋历史上意义非凡，史称淝水之战。
战后，谢安都督诸州军事，准备北伐支离破碎的前秦。384年谢安命谢玄、桓石虔率军北伐，谢玄等人自广陵北上，攻克鄄城、广固等地，并修建青州派（水利工程）[8]以运送粮草。此役收复山东、河南一带，将领土划至黄河以南。荆州军也成功收复四川、襄阳一带。谢玄继续北上，前锋刘牢之一度打到邺城。但专政朝廷的司马道子忌讳谢氏功高，朝议「以徵役既久，宜置戍而还」，令谢玄回镇淮阴，最后北伐功败垂成。
朋党之乱与桓玄称帝
司马道子为晋孝武帝之弟，甚受信任。淝水之战后谢安谢玄被司马道子排挤，最后相继去世，朝廷逐渐混乱，北府军后由王恭等人统率。桓冲去世後，桓家後来由桓玄领导。390年晋孝武帝对司马道子不满，遂内以王珣、王雅入廷，外以王恭任兖州刺史、殷仲堪任荆州刺史；司马道子也引王国宝及王绪抗衡，朋党乱起。396年晋孝武帝被贵人张氏杀，太子继立，为晋安帝。398年王恭和庾楷上表弹劾王国宝并领兵讨伐，殷仲堪遥援，吴姓世族也发民支持。司马道子畏惧，只好杀王国宝、王绪求和。之後司马道子听从司马尚之建议，任王愉江州刺史为外援。次年王恭联合荆州刺史殷仲堪、广州刺史桓玄再度举兵。司马道子命其子司马元显为都督同王愉率军抵御。王愉被击败，联军攻至京师。司马元显收买刘牢之倒戈，王恭败死。殷仲堪与桓玄得知後退至寻阳，由桓玄任盟主，最後双方言和。朝廷为分化殷仲堪势力，任桓玄为江州刺史、殷仲堪为荆州刺史、其部下杨佺期为雍州刺史。399年桓玄杀殷杨二人，并其辖地。
司马元显担忧北府军不可靠，徵江东豪族佃民以建立新军，称为「乐属」。这却使「东土嚣然」，引发民变，399年孙恩率众攻陷会稽，史称孙恩之乱。孙恩世奉五斗米道，五斗米道大受世族及平民信仰。