升平四年（公元360年），前燕国主慕容儁去世。到了这个时候，朝廷才记起桓温二次北伐的功劳，把他加封为南郡公，不过，直到这个时候，桓温还只是一个方镇诸侯，完全没有在朝中的掌政之权。
到了升平五年（公元361年），东晋年仅十九岁的晋穆帝司马聃驾崩了。由于司马聃没有儿子，皇太后褚蒜子只好下令以成帝司马衍的长子、琅琊王司马丕为帝，并改封司马丕的弟弟、东海王司马奕为琅琊王，东晋的帝系又从康帝这一支回到了康帝的哥哥成帝这一支上了。
在升平年间，与东晋政权摩擦最多是曾经以忠义自诩的燕国。东晋政权趁着石赵败亡、中原混乱的机会，基本上占据了黄河以南地区，并以洛阳、荥阳、陈留和泰山为依托，自西向东沿着黄河构筑了一条防御战线。东晋的豫州、徐州部队也曾经在荀羡的统帅下与前燕军队进行过激烈的战斗，东晋的泰山太守诸葛攸还曾率军渡过黄河，威胁到邺城的东部地区，但终因双方的战力悬殊而功亏一篑，并且由于东阿之战惨败，东晋黄河防线的东翼出现了松动，泰山太守诸葛攸再也无力与前燕军队争锋。到了升平五年，前燕帝国已经占据了青州大部地区，并以青州为据点，开始向西南方向，即中原地区渗透，逐渐占据了许昌、谯郡、颍川、沛县等地。前燕帝国远距离包围洛阳的手法，与当初刘聪、石勒等人先孤立洛阳周边，然后再加以攻克的策略几乎如出一辙。如今，前燕已经占领了许昌，切断了东晋豫州军队西上和荆州部队北上的必经通道，让已经收归东晋之手的故都洛阳陷入岌岌可危的境地。因此，要想确保洛阳的安全，就必须保证许昌掌握在自己的手上。
桓温这时想起了自己的三弟桓豁，桓豁少有美誉，起家为抚军将军司马昱属下的从事中郎，司马昱对他印象颇佳，后转任吏部郎，后以患病辞官，再被任命为黄门郎。升平五年（公元361年）四月，桓温任命桓豁为都督沔中七郡军事、建威将军、新野义成二郡太守，这沔中七郡分别是：魏兴郡（陕西省安康县）、上庸郡（湖北省竹山县）、襄阳郡（湖北省襄阳市）、义成郡（湖北省襄阳市）、竟陵郡（湖北省钟祥市）、江夏郡（湖北省云梦县）。然后，桓温命令桓豁率军北上许昌，而自己则率领大军驻屯在南阳，遥作桓豁的声援。桓豁一举击破了前燕大将慕容尘，东晋又重新拿回了许昌以策应洛阳，桓豁因此功被晋封为右将军。
此时，东晋的朝局也发生了一些微妙的变化。本来，自谢万于升平三年十月被废黜之后，桓温二弟、江州刺史桓云被朝廷加都督司豫二州军事、领镇蛮护军、西阳太守、假节，桓温的势力已经延伸至谢氏势力的基础——豫州。然而，天有不测风云，桓云仅仅加督豫州不足一年，也因病去世了。与此同时，徐州方面也发生了一些变故：北中郎将、都督徐兗青冀幽五州诸军事、徐兗二州刺史郗昙，也在升平五年的一月因病去世，东晋朝廷于是又准备以东阳太守范汪接任。这范汪是新野庾氏的外甥，与颍川庾氏家族有着千丝万缕的关系，在庾亮盘踞西藩之时，范汪就被任命为荆州别驾，后来转为鹰扬将军、安远护军、武陵内史。在庾翼去世后，桓温入主荆州，又把棋友范汪延聘为安西将军长史。桓温入蜀的时候，曾将荆州后方的事务全权托付给范汪来处理。桓温平蜀之后，他为了进一步拉拢范汪，曾多次推荐范汪去作江州刺史。然而，范汪却象当年的蔡谟一样，不愿意作为朝廷与桓温之间角力的磨心，所以坚决推辞，并请求仅做一个东阳太守就足够了。范汪宁愿不做当年庾氏兄弟争得死去活来的江州刺史，只想远远地躲开荆州而去当一个太守，这一做法令桓温觉得很没面子，就算不牵扯政治，大家私底下毕竟也是棋友嘛！之后，桓温与朝廷双方都能够接受的徐宁就做了江州刺史。
因为有这个前因，所以司马昱就很放心地将朝廷严重依赖的徐州军队交给了范汪。升平五年二月，朝廷正式任命范汪为都督徐兗青冀四州扬州之晋陵诸军事、安北将军、徐兗二州刺史、假节，这回范汪再想避开桓温都不行了。
朝廷让范汪这个不识好歹的家伙来统帅东面战线让桓温感觉很不爽。
同年，桓温提出要实施北伐，他要求范汪率军北上梁国策应，并与范汪约好了出兵日期。到了约定出师的那一天，也不知道范汪是精神恍惚呢还是没有做好准备工作，甚至是故意怠慢，总之，范汪没有按照约定的时间行动起来。正愁没有借口的桓温遇到这个送上门的机会就不客气了，他马上就弹劾了范汪的失期之罪。贻误军机是一件很严重的军国大事，朝中没人敢在这件事上跟桓温对着干，于是，在升平五年十月，也就是在范汪才接任了徐兖二州刺史的八个月后，就把范汪废为庶人。
第二年，即晋哀帝隆和元年（公元362年）二月，司马昱任命吴国内史庾希为北中郎将、徐州兖州二州刺史，镇守下邳；以龙骧将军袁真为西中郎将、监护豫州、司州、并州、冀州四州诸军事，豫州刺史，镇守汝南，两人均假节。
庾希就是前宰相庾冰的长子，由于晋哀帝司马丕的奶奶庾文君是庾希的姑姑，所以，庾希又是司马丕的表舅；同时，庾希的妹妹又嫁给了司马丕的弟弟司马奕为妻，因此，庾希兄弟又是司马丕弟媳的戚属，与帝室有着十分亲密的关系。司马昱起用庾希，是试图寻求一个能够抗衡桓温的权力筹码，而袁真是庾翼的旧部，司马昱也是希望利用他来与咄咄逼人的桓温做政治平衡。
在东晋朝局发生微妙变化的同时，中原形势也发生着微妙的变化。
吕护，是一个后赵末期的地方割据军阀。冉魏永兴二年（公元351年）八月，身为冉魏征虏将军的吕护绑架洛州刺史郑系，投降东晋。随后又背叛东晋，投奔了后赵的幽州刺史王午。东晋永和八年（公元352年），吕护自称安国王。东晋永和十年（公元354年），吕护投降前燕，被封为河内太守。东晋升平五年（公元361年）二月，吕护吞并高昌残部，再次投降东晋，被封为冀州刺史。吕护兼并了高昌的部众后，又纠集了冯鸯的残余势力，还试图联合东晋的军队，趁着慕容儁去世后前燕帝国陷于短暂混乱之机偷袭邺城。
这也是桓温当时北上南阳，并命令桓豁进攻许昌的外在原因。
野王位于黄河北岸，属于司州的河内郡，它往东北可以作为进攻邺城的依托，往北通过天井关可以进入上党地区，往西北可以经过陘关进入河东郡，往西南渡过黄河就是洛阳。如果前燕掌控野王，待其境内局势安定之后，可以随时威胁洛阳；若东晋占据野王，不仅能够有效屏护洛阳，而且东晋的军队一旦渡过黄河，以野王为跳板，那么邺城就直接暴露在东晋军队的攻击范围之内，因此，前燕帝国如果要确保邺城的安全，势必要趁着东晋军队北上接应之前，将吕护这颗钉子拔掉。
于是，前燕太宰慕容恪在桓温出兵许昌前的一个月，即升平五年（公元361年）三月，即率领五万大军出发以进击吕护，另外他还命令冠军将军皇甫真率军一万以作策应。
当燕军抵达野王以后，吕护坚守不战。慕容恪又拿出他五年前诛灭青州段龛时的老办法，深沟高垒，重重围困，从升平五年的三月一直到七月，前燕军队将野王整整围困了三个多月。吕护反复突围，就是无法撕开一个缺口，手下的部队几乎都被慕容恪消灭光了。
吕护只好丢下了老婆孩子，与亲信卫士拼死杀出了一条血路，投奔到东晋的荥阳而去，野王城内余众全部投降了慕容恪。慕容恪攻下野王以后，供给城内的饥民粮食，将城内的将帅和士人都迁往邺城，并任命吕护的参军梁琛为中书著作郎，其余民众恢复旧业。慕容恪的这种怀柔政策使已经投降东晋的吕护大受感动，在数月之后，又从荥阳逃回了前燕；慕容恪赦免了吕护的罪过，任命其为徒有虚名的广州刺史。
至于另外一个军阀，并州的张平在永和七年（公元351年）已经投降了前秦，被前秦任命为大将军、冀州牧，第二年，当他看到前燕灭掉了冉魏之后，为了自保，又表示归顺前燕，并接受了前燕的并州刺史的官职，可是，到了升平元年（公元357年），他又派出使者投降了东晋，同样被东晋拜为并州刺史，第二年年初，苻坚亲自征讨张平，铜壁之战大破张平，张平再次投降，被前秦任命为右将军，前燕不能坐视并州被前秦所得，于是，在同年九月，前燕的慕容评也出兵并州，占领了并州大部地区，张平率领三千残兵败将逃往平阳（山西省临汾市），并再次向前燕表示投降。
到了升平五年（公元361年）年初，平阳的当地人士把张平逐走，投降了前燕。前燕慕容恪任命建威将军段刚为平阳太守，并派遣都护韩苞率兵与段刚共同防守平阳。到了九月，张平率众偷袭平阳，杀掉了段刚和韩苞二人，再次占领平阳。前秦决心彻底除掉河东郡这一威胁，就对平阳发动总攻。
张平无力抵抗，向前燕帝国求救。慕容恪对于这个反复无常的家伙早已心灰意冷的，另外他也考虑到前燕如果发兵救援张平，势必要与前秦闹翻，而一旦与前秦交上手，燕国还得盯着后面一个虎视眈眈的桓温。于是，慕容恪坐看张平被苻坚所灭。到此为止，前赵帝国遗留下来的残余割据势力均被消灭，前赵、前秦与东晋这天下最强的三股势力终于不可避免地直接对峙起来。不过，这时远在边陲还存在一些独立的割据势力。
先说一下前凉。永和十一年（公元355年），前凉发生了一场政变，河州刺史张瓘和骁骑将军宋混合力诛杀了前凉主人张祚，立张祚的弟弟、原前凉主张重华的小儿子张玄靓为主，由于张玄靓这时年仅七岁，张瓘于是就掌握了前凉的大权。在这一年里，陇西人李俨带领原属于凉州的秦州地区脱离了前凉的统治，使用东晋了年号，宣布独立于前凉。第二年，张瓘以张玄靓的名义接受了前秦的官职，前凉在名义上臣属于前秦帝国。
张瓘大权独揽后非常的猜忌刻薄，有人劝说他收敛一下，他却恶狠狠地回答：“老虎生下来三天，就会吃肉，用不着人教！”因此，其手下人离心离德。张瓘因为张玄靓年少，密谋取而代之，只是担心宋混、宋澄兄弟忠直，所以，他策划将境内数万军队集中在姑藏，想借机将宋氏兄弟做掉，然后再废黜凉王张玄靓。
升平二年（公元358年）五月，姑藏城东苑一个大坟墓突然塌陷，变成池塘，方圆几丈的地上发出火光。执法御史杜逸对张瓘说：“此兆预示的灾难很重，一定要将此不详转移到其他家族头上才可以让我们免遭其难。”于是，张瓘决定除掉宋混家族。宋混得知张瓘的阴谋之后决定先发制人，他与弟弟宋澄一起率领壮士杨和等四十余人，飞马闯入南城。宋混等人向各个大营宣布：“张瓘谋反，接太后令诛杀张瓘！”不一会儿，就集合了两千多人。
张瓘听到消息后率军迎战，却被宋混击败，张瓘部众全部投降，张瓘及弟弟张琚均自杀。
时年十二岁的张玄靓任命宋混为使持节、都督中外诸军事、骠骑大将军、酒泉郡侯，代替张瓘辅政，宋混请求张玄靓除去凉王的称号，对外仍然称为凉州牧。宋混仅仅把持朝政一年多，到了升平五年（公元361年），宋混就得了重病。四月，凉州牧张玄靓与祖母马氏（张骏之妻、张重华之母，曾与自己的庶长子张祚通奸）前去看望宋混，对宋混说：“将军万一有个好歹，我们孤儿寡母的，将来能依靠谁呢？如果由您的儿子宋林宗接任将军职务，这怎么样呢？”宋混说：“我儿子宋林宗年龄太小，不能担当起这个重任。殿下如果不嫌弃我们宋家，我的弟弟宋澄处理政务的能力比我强，只是反应迟钝，不会应变，只要殿下督促着他，还是可以的。”稍后，宋混告诫宋澄以及自己的儿子们：“我们宋家受国家厚恩，应当以死报国，千万不能自恃高位而对人傲慢。”又勉励朝臣们要忠贞为国。宋混很快就去世了，凉州百姓听到噩耗，路人都为之落泪。张玄靓以宋澄为领军将军，代宋混辅政。
四个月之后，凉州的右司马张邕厌恶宋澄专权，起兵将其诛杀，并将宋氏灭族。张玄靓即以张邕为中护军，任命自己的叔父、时年十六岁的张天锡为中领军，由二人共同辅政。张邕党同伐异，多所刑杀，并且十分淫乱，又与张玄靓的祖母马氏私通。张天锡的亲信刘肃、郭增二人都十八九岁，晚上睡觉的时候对张天锡说：“国家之事难以安定！”张天锡吃惊地问道：“你们说的是什么意思？”二人就说：“张邕的行为就像往日的张祚！”张天锡大有同感道：“我也早有怀疑，但不敢出口，你们说应该怎么办？”刘肃说：“正应该除掉他！”张天锡说：“到哪找这样的人呢？”刘肃回答：“我就是此人。”张天锡说：“你还太小，还是找一个更合适的人选。”刘肃说：“赵白驹和我两个人就足够了。”
到了十一月，也就是在张邕诛杀宋澄两个月以后，张天锡带领四百卫士，与张邕一起上朝，赵白驹与刘肃都拔刀出鞘，跟随着张天锡。在宫门遇到张邕之后，刘肃上前就砍，没有砍中，赵白驹接着又砍，还是没有砍中。两人惊吓之下，赶紧与张天锡一起进入宫中，而张邕得以逃脱。张邕脱身之后，带领三百甲士反攻宫门，张天锡登上屋顶，大喊：“张邕凶残无道，宋氏有什么罪过，他却诛灭了宋氏三族，现在还想倾覆社稷。这是我们自己的家务事，诸位将士世代都是凉州臣子，怎能忍心相互残杀！今天，只诛杀张邕一人，其他全不追究。天地神灵，我不会食言！”张邕的部众于是全部溃散，张邕只能自杀而死。
于是，张玄靓他任命张天锡为使持节、冠军大将军、都督中外诸军事、辅政。升平五年（公元361年）十二月，张天锡决定接受东晋年号，东晋政府任命张玄靓为大都督、督陇右诸军事、凉州刺史、护羌校尉、西平公。又过了一年，到了晋哀帝兴宁元年（公元363年），张玄靓的祖母马氏去世，于是，尊庶母郭氏为太妃，这个郭太妃又与张钦等人密谋，企图杀掉张天锡，结果事情败露，反被张天锡所杀。张天锡一不做二不休，顺便又将自己的侄儿张玄靓诛杀，对外宣称得急病而死，时年十八岁的张天锡自称使持节、大都督、大将军、凉州牧、西平公，尊母亲刘氏为太妃，并将东晋派来的御史俞归送回建康，请求东晋政府的任命。
再说一说仇池杨氏。仇池国是魏晋南北朝时期氐族杨氏建立的政权名称，因其立国之时政治中心在仇池山而得名。仇池杨氏来源于略阳的杨氏，东汉时期，略阳杨驹为了躲避战乱，最先居住于仇池。到杨驹的孙子杨千万，被曹魏封为百顷王；杨千万的孙子杨飞龙时期，由于社会安定，加上部众数量大增，仇池容纳不下，又返迁回了略阳。杨飞龙收养自己的外甥令狐茂搜为子，到西晋惠帝元康六年（公元296年）的十二月，杨茂搜（即令狐茂搜）为了躲避关中齐万年之乱，再次率领部众回到了仇池，自此，开始了长达数百年的仇池半独立状态。
二十二年后，东晋元帝司马睿建武元年（公元317年），杨茂搜去世，他的两个儿子杨难敌、杨坚头分领仇池部众，其中，杨难敌称左贤王，屯下辨；杨坚头号右贤王，屯河池。
到了晋成帝咸和九年（公元334年），杨难敌去世，他儿子杨毅自立为龙骧将军、左贤王、下辨公；任命叔父杨坚头之子杨盘为冠军将军、右贤王、河池公，并开始向东晋朝廷称臣。
到了晋成帝咸康三年（公元337年），杨毅的族兄杨初袭杀杨毅，兼并部众，自立为仇池公，杨初背叛了东晋，转而向石赵王国称臣。桓温灭掉蜀国之后，杨初为了自保，在仇池公国向石赵称臣十二年之后，于晋穆帝永和三年（公元348年），再次向东晋称臣，被东晋政府封为使持节、征南将军、雍州刺史、仇池公。
到了永和十一年（公元355年），仇池公国再次发生内讧，原仇池公杨毅的弟弟杨宋奴，指使他的表弟梁式王刺杀了现任仇池公杨初。杨初之子杨国随之又诛杀了杨宋奴和梁式王二人，杨国自立为仇池公，桓温上表朝廷任命其为镇北将军、秦州刺史。到了永和十二年（公元356年），仇池公国再次发生变乱，杨初的弟弟杨俊诛杀了自己的侄儿杨国，东晋朝廷以杨俊为仇池公，而杨国的儿子杨安只好投奔了前秦。
四年后，到了升平四年（公元360年），杨俊去世，儿子杨世立为仇池公。面对复杂的局势，杨世采取了同时向前秦和东晋称臣的策略，东晋以杨世为秦州刺史，以杨世的弟弟杨统为武都太守；而前秦也以杨世为南秦州刺史。
上述是截至东晋中期北方除了前秦和前燕外几股残存地方势力的概况。此外，前秦的北方领土紧挨着匈奴族的铁弗部，铁弗部的北方是鲜卑族所建立的代国，当时的代王是拓跋什翼健，这两处地方经常与燕秦两国搞摩擦，但因为与东晋不接壤，就不一一述说了。