桓温班师返回荆州后，遣西阳太守滕畯出黄城，讨蛮贼文卢等，又遣江夏相刘岵、义阳太守胡骥讨妖贼李弘，皆破之，并将此两贼的首级传送建康。此后，南方在很长的一段时间里面再无重大纷争。但是，北方的战火却继续燃烧。
鲜卑族首领段龛自永和六年（公元350年）七月从陈留引兵东进，占据青州，他以广固（山东省青州市）为大本营，自称齐王。数月之后，到了永和七年的一月，他就以青州投降了东晋，被东晋朝廷封为镇北将军、齐公。驻守在厌次（山东省阳信县境）的前燕乐陵太守慕容钩自恃宗室身份，总是欺辱顶头上司的青州刺史朱秃。永和十年（公元354年）七月，朱秃率军偷袭慕容钩，并将其杀死，率众南逃到广固，依附于段龛。同年八月十一日，燕主慕容儁大规模调动军队，准备讨伐段龛。
永和十一年（公元355年）一月，段龛奔袭慕容儁的部将荣国，在郎山将其击败。取得胜利之后，段龛下书慕容儁，指责慕容儁称帝是一种背信弃义的行为。慕容儁得书大怒，永和十一年十一月，他命令太原王慕容恪为大都督、抚军将军，阳鹜为副将，与慕容尘所部一起发兵南下，攻击段龛。
永和十一年年底，慕容恪的前燕军队来到黄河北岸。段龛的弟弟段罴对段龛建议说：“慕容恪善于用兵，并且前燕军队人数众多，如果听任其渡过黄河，兵临城下的话，恐怕到时候即使是再想请降也办不到了。请兄长固守城池，我愿率领精锐部队前往黄河南岸抵御，万幸如果战胜，那么，哥哥再率领大军随后增援，一定能获全胜。如果我不幸战败，那还不如早早投降，尚不失为当上个千户的侯爷。”但是段龛却对自己的弟弟放心不过，拒绝分兵给段罴带领，也拒绝离开广固。由于段罴还没完没了地继续请求，段龛因此大怒，就将其诛杀了。
永和十二年一月，前燕太原王慕容恪率领大军渡过了黄河，段龛率领三万步骑兵前来迎战，正月三十日，慕容恪在淄水大破段龛军，抓获了段龛的弟弟段钦，斩杀了段龛的右长史袁范等人，段龛仓皇逃回了广固城固守，慕容恪进军围住。
其后，段龛整顿军队，又趁着慕容恪大胜之后军队出现懈怠的机会，突出城来，大败了慕容恪军。慕容恪其后整军卷土重来，分遣部将四处招抚段龛所属各郡县，从南边远距离地包围了广固，遮断了段龛与东晋军队的联系。
慕容恪一直包围了广固半年之久，段龛眼看再这样下去就只能坐以待毙，于是，派遣他的亲属段蕴突出重围，前往东晋求救。晋穆帝为之下诏，命令驻守下邳（江苏省邳州市）的徐兖二州刺史、北中郎将荀羡领兵北伐。
荀羡（322年—359年），字令则。颍川郡颍阴县（今河南许昌）人。东晋大臣，曹魏太尉荀彧六世孙、光禄大夫荀崧之子。荀羡七岁的时候，遇上苏峻反叛，随父在石头城，苏峻很喜欢这孩子，常置于膝上。荀羡耳语其母说：“得一利刀子，足以杀贼。”母连忙掩其口说：“你可别胡乱说话！”。荀羡十五岁的时候，被晋元帝司马睿之女寻阳公主看上了，但荀羡因为不想与皇室结为姻亲关系，竟奔外远走逃婚，不过，还是被负责监察的官员捉住而被逼成婚。成年后，荀羡与王洽齐名，并与刘惔、王濛及殷浩交好。
荀羡后拜秘书丞、义兴太守。后又任征北将军褚裒的长史。永和四年（348年），时任扬州刺史的殷浩擢升荀羡为建威将军、吴国内史，共同抗衡桓温。永和五年（349年）十二月，当时兼领徐州刺史的褚裒逝世，殷浩让他任北中郎将、徐州刺史，假节监徐、兖二州及扬州之晋陵诸军事，镇守京口（今江苏镇江）。当时荀羡以二十八岁之龄担就当此重任，亦成为了东晋以来最年轻的担任州刺史职务的官员。永和六年（350年），荀羡入朝述职，当时领司徒蔡谟三年以来坚拒接受司徒一职，终被弹劾，蔡谟亦到廷尉等待判罪。当时殷浩打算加蔡谟死刑，并询求荀羡的意见。荀羡说：“蔡公一旦遭遇不测，明天就一定会出现齐桓公、晋文公那样举兵问罪的行动（指桓温可能会借此机会称兵犯阙）。”殷浩听后，才打消杀害蔡谟的念头。
段龛被围后，燕将王腾、赵盘分别进攻琅琊（山东省诸城县东南）、鄄城（山东省鄄城县），引起了臣属于东晋的各个北方州郡的一片惊恐。荀羡在前方形势不利的情况下率军北上，首先进攻了王腾的老巢阳都（山东省沂水县南）。运气不错的荀羡军正碰上天降瓢泼大雨，阳都城墙因此崩塌，荀羡的北伐军趁机攻入城内，将王腾抓获斩杀。然后，荀羡率军继续北上解救琅琊，赵盘望风而逃。
而荀羡驻军琅琊后因忌惮燕军的强盛，也不敢继续前进了。
看到东晋援军即将到来，前燕众将纷纷建议慕容恪立即发起对广固城的强攻，而慕容恪却决心要以持久之法来攻下广固。他下令在广固城的包围圈之外，建设房屋，开垦农田，构筑堡垒，深挖堑壕。当时山东之民争着运粮接济燕军，而城内却由于粮食断绝，出现了人吃人的惨剧。段龛无奈之下，将城内的部队全部组织起来进行突围，经过多次失败的突围行动后，段龛再无斗志，十一月十四日，段龛双手反绑着走出城门投降，并交出朱秃。慕容恪大力安抚齐地，将三千多户鲜卑、匈奴、羯族民众迁往蓟城，留下慕容尘镇守广固，以尚书左丞鞠殷为东莱（山东黄县东南）太守，以鲜于亮为齐郡（山东省临淄市）太守。
被送到蓟城的朱秃被慕容儁命人依次用在脸上刺字、割去鼻子、砍掉脚趾、鞭打致死、斩首并剁成肉酱的残忍办法处死；而对于段龛，慕容儁则先将其封为伏顺将军，在其投降半年之后，慕容儁又残忍地将其双眼熏瞎之后诛杀，并同时坑杀了鲜卑段氏部落三千多人。
听说广固沦陷的消息后，荀羡留下将军诸葛攸、高平太守刘庄等三千多人驻守琅琊，参军戴逯、萧鎋率领两千多人防守泰山（山东省泰安市），自己则率领主力大军从琅琊南撤，退回到下邳。当时，前燕将领慕容兰率兵数万驻军在卞城（山东省泗水县东南），经常骚扰东晋北部边境，荀羡从洸水至汶水，一直追击至东阿（山东阳谷县东北），临阵斩杀了慕容兰，晋穆帝要进封荀羡，但荀羡坚决推辞不受。
到了公元357年的一月一日，晋穆帝司马聃的虚岁已经到14岁了，他在这一天按照规定加成人服，大赦天下，改元升平，并开始临朝听政。皇太后褚蒜子下诏自己不再听政，还居崇德宫。
朝廷又加谢尚为都督豫州、冀州、幽州、并州诸军事，可是，谢尚这时的病情却加重了，朝廷只好将其任命为卫将军，加散骑常侍，征回朝廷养病，没想到当年风靡一时的大帅哥万人迷谢尚只回到历阳就因病去世了，终年五十岁。
谢尚在豫州刺史任上凡十二年，他去世后，朝廷将桓温的那位“方外司马”、谢安的哥哥谢奕任命为安西将军，豫州刺史，都督豫州、司州、冀州、并州诸军事，假节，基本上接替了其堂兄谢尚的职务。
此时，桓温的二弟桓云已被任命为江州刺史，阻挡桓温染指朝堂的绊脚石就只剩下了豫州和徐州。不过，谢奕与桓温有布衣之交，桓温对这个安排也没什么意见。然而，好景不长，到了升平二年的八月，在豫州刺史任上才满一年的谢奕却又去世了。
司马昱赶紧将尚书右仆射王彪之招来，让其举荐合适人选。王彪之含糊其辞，只是笼统地说当今的朝中贤达，都可以作为备选的人才。司马昱试探说：“有人建议用桓云，你以为如何？”王彪之回答：“桓云到任以后不一定就不称职。不过，既然桓温居于长江的上游，已经将天下差不多一半的土地都割去了，要是他的弟弟再处于京师的西侧，兵权集于一家，这恐怕不是巩固朝廷的良策。人才行不行很难预先判断，但至少应该找一个在可见的将来不会与殿下作对的人才行。”
司马昱经过反复的掂量后，任命了谢奕的堂弟、吴兴太守谢万担任豫州刺史，兼淮南太守，监司州、豫州、冀州、并州诸军事，假节。谢万，字万石，比他的哥哥谢奕还要荒诞不羁得多。他不但目中无人，还特会作秀。司马昱以前曾听说过他的盛名，就邀其见面，在约定见面的那一天，谢万头戴白色纶巾，身穿鸟毛制作的宽大衣服，脚蹬木屐，一路前去与司马昱清谈。就凭谢万这一身的杀马特，恐怕在路上就能引起不少的尖叫，不过，司马昱倒是很欣赏他的逼格，与他长谈竟日而不倦。另外，在他的岳父王述被拜为扬州刺史时，谢万戴着平时喜爱的白色头巾，坐着两人抬的小轿，就这样直接地来到了扬州刺史衙门的厅堂前，对王述说：“人们都说你傻，你还真傻。”王述则是客气地回答道：“贤婿你可不是胡说，当真有这回事。不过，我晚年的名声已经变得好些了。”又有一次，谢万在其兄长谢安的面前，站起来就索要夜壶小便，名士阮裕当时也在场，就说道：“新兴的土豪，真诚却没有礼貌。”
不过傲慢的谢万也不是没有吃过瘪，有一次支道林东还，建康的名士们都到征虏亭去送行。蔡系先到，坐于支道林身侧，谢万后到，座位便离支道林稍远，但这家伙居然趁蔡系离座的期间占据了其座位。当蔡系回来后，发现自己的座位被谢万占了，一怒之下竟将谢万连人带坐垫都掀翻在地，就连谢万的帽子都跌落了。不过先理亏的他却毫无愠色，整理衣冠后还继续从容就坐，并对蔡系道：“你真是个奇人啊，不过差点弄伤我混饭吃的这张脸。”蔡系则回答道：“我本来就没有就没考虑过你的脸。”还有一次，谢万和谢安两兄弟路过吴郡，谢万欲拜访当时的吴郡內史王恬。谢安劝道：“王恬是不会理你的，还是别去了罢！”谢万不听，便独自前往。王恬陪他坐了片刻，便入内洗头。谢万以为王恬是要厚待自己，显得非常高兴。过了很久，谢万见到王恬散发而出，坐在院中的胡床上晒头发，神情傲慢，一点也没有应酬谢万的意思。谢万吃瘪返回后向谢安诉说委屈，谢安叹道：“阿螭（王恬的小名）是不会做作啊！”
谢万在担任司徒府掾属时，曾与兄长谢安等四十二人一同参加兰亭雅集，并在会上赋诗一首。王羲之对于谢万平时的荒诞行为怕已经是很清楚了，不过王羲之觉得比荒诞的谢万更荒诞的是对谢万的这道任命，因为在王羲之看来，在做实事的能力上，这谢万实在要比当年的殷浩还要殷浩得多。已经隐居多年的老愤青王羲之实在是忍不住了，加上其对谢万的岳父王述早有不满，就写信给桓温吐槽说：“谢万的才能是一流的，让他留在朝堂之上，自然会成为后起之秀，而把他放在地方上，去安抚残破的地区，似乎是用错了人，这将会严重耽误事情的。”不过在这事情上，在朝廷中枢里面还没有什么话语权的桓温确实是鞭长莫及、爱莫能助的，要怪的话，应该怪你们琅琊王家的王彪之没把好关呀！还有，他的岳父王述难道对此一点责任也没有吗？王羲之只好又给谢万写信说：“以你那种高视阔步、不屑俗务的态度，却必须要处理俗务，这的确很难。但是，所谓的全才，就应学会与时俱进，才能走得更远。但愿你能够与最底层的士兵们同甘共苦，这样的话，就尽善尽美了。吃饭简单到不吃两样的菜肴，睡觉简单到不铺双重的被褥，这又有什么了不起的呢？但古人却将其传为美谈。成败之间，实在是在于从小事做起，积少成多的缘故罢了。请你一定要记住我的话。”但是，能够听从王羲之嘱咐的，还能算是那个不断引领潮流的杀马特谢万吗？
在谢万上任后不久，徐兖二州刺史荀羡也生病了，朝廷以郗鉴的二儿子、御史中丞郗昙为荀羡的军司。
升平二年（公元358年）十月，东晋泰山太守诸葛攸趁着前燕慕容评出军并州、邺城空虚之际，率兵攻入了前燕的东郡（河南省濮阳境内）。当晋军进入到武阳（河北省大名县东），并进逼前燕的国都邺城后，慕容儁马上命令大司马慕容恪率领将军阳鹜、乐安王慕容藏回师阻截，诸葛攸与前燕的军队交锋后大败，只得率部撤回到泰山（山东省泰安市）。于是，慕容恪率军渡河南下，在黄河沿岸设置州郡，任命官吏。在慕容恪任命的官吏中，包括了领兵驻守在山庄（山东高官清县）泰山太守贾坚。
针对前燕的攻势，病中的徐兖二州刺史荀羡亲自率军北上，准备把山庄这个鬼子的据点给拔下。当时贾坚所部有七百余人，而荀羡率领的部队有近万人。贾坚趁荀羡所部立足未稳，出城突击，杀伤晋军一千多人后又回到城内。荀羡遂将山庄团团围住。
贾坚无奈之下只好打开城门准备突围。当晋军从四面八方围上来的时候，贾坚立马在护城河的吊桥上，左右开弓，涌上来的晋军无不应弦而倒。晋军仗着人多势众，有的跳到护城河下面，将木桥的桥墩砍断，木桥便轰然倒塌，贾坚连人带马都掉到了桥下，遂被晋军生擒。
荀羡对贾坚说：“你的父亲、爷爷都是晋朝的大臣，为何忘本不降？”
贾坚回答道：“这是你们晋朝要抛弃我们，并非我背叛啊！百姓们没有了领导，遇到强有力的人物，自然就要依附他们，这仅仅是为了保全性命。我既然已经投靠了人家，怎能轻易变节！我从结发以来，曾为石赵帝国效力，如今又为燕国效命，从不改变志向，你为何匆匆就来劝降呢！”
荀羡又想学诸葛亮骂王朗那样羞辱贾坚，谁料贾坚大怒说：“你这黄口小儿，竟然敢教训起老子来了！”荀羡恼羞成怒，将贾坚放到大雨之中，过了几天之后，贾坚就因愤怒怨恨而死了。
十二月，前燕青州刺史慕容尘派遣司马悦明领军前来解救泰山，荀羡又一次被打得大败，前燕军队再次收复了山庄。前燕皇帝慕容儁授予贾坚的儿子贾活为任城（山东省微山县境）太守。
山庄大败之后，荀羡因病被征回建康，到了升平三年，荀羡就因病去世了，时年三十八岁。晋穆帝叹息说：“荀令则、王敬和相继凋落，股肱腹心将寄予谁人呢？”王敬和，就是王导的三儿子王洽，为中领军，与荀羡齐名。荀羡自永和十二年解救段龛开始，诛杀王腾，还曾率军击败过慕容尘三万大军，其功业甚至一度可以与桓温的北伐相媲美；升平二年，其将诸葛攸更是深入到前燕的东郡，威胁邺城，一直到山庄之战而成为转折。虽说荀羡的每次北伐均被前燕所击败，但是他毕竟是东晋朝廷里面唯一能够与桓温相抗衡的军事人才，一旦荀羡这位驸马陨落，晋室的另外一位驸马可就不得不被更加地倚重了，哪怕是一直对其放心不下。
荀羡被征还之后，东晋朝廷以郗昙为北中郎将，都督徐州、兖州、青州、冀州、幽州诸军事，徐州、兖州刺史，镇守下邳。到了第二年（即升平三年，公元358年）九月，徐州、豫州部队再次实施北伐，东晋泰山太守诸葛攸率领两万水陆部队，从石门（在山东平阴县北、长清县西南）进入黄河，驻扎在黄河中间的一个小岛之上。前燕的上庸王慕容评、长乐（河北省冀州市）太守傅末波，率领五万步骑前往迎击，两军在东阿（山东省阳谷县境）激战，诸葛攸所带领的东晋军队再次大败。
十月，晋穆帝下诏命令谢万率领豫州军队驻军下蔡（安徽省凤台县），谢万派遣征虏将军刘建（刘牢之之父）整修在马头（在安徽省寿县西北二十里）的城池，自己则亲率大军从涡水和颖水西上，增援洛阳，而郗昙则率领徐州军队驻军高平（山东省巨野县南）。东线郗昙的前锋诸葛攸在东阿大败之后，前燕将军傅末波等人又领军与郗昙的主力交战，郗昙所部再次被击败。恰巧此时郗昙也生病了，于是，东路军开始南撤，退回到了彭城。
西路军的统帅，豫州刺史谢万自从上任以后依然是“矝豪傲物”，总是以吹口哨和吟诗为本分，自以为自己很了不起，从不安抚部众。此前一直在东山隐居的谢万之兄谢安对他的这个弟弟很不放心，就跟着他驻在军中，自军中的小队长起乃至谢万的部将，谢安无不与之交流接洽，加以勉励。谢安对谢万说：“你是军中的主帅，对于手下将领要时常接见，要让大家对你心悦诚服，哪有象你这般傲慢怪诞而能成大事的？”谢万倒是愿意听从哥哥的忠告，他于是就召集诸将开会，等大家到来之后，面对着这些他一向所认为的俗人，清谈时往往能够口若悬河的谢万在这一时之间竟不知道该说些什么话，他憋了半天的劲，才抬起手中的如意指着大家说：“诸君皆劲卒。”他没想到当时的将帅都愿意被称之为儒将，都以兵、卒的字眼为忌讳，谢万却妄称诸将为卒，惹得诸将愤恨不已。
升平四年（公元359年）春，谢万派征虏将军刘建修筑的前进基地马头城（今安徽蚌埠西郊）修好了。蚌埠这地方位于淮河中流，交通四通八达，是经略中原的重要据点。谢万要先在这里修好要塞再出发，是摆明了对北伐不抱信心，所以预先留定了退路。见马头城已经修好了，谢万才心不甘、情不愿地率大军继续向洛阳进发。走到半路上，谢万听说东路的北伐将领、徐、兖二州刺史郗昙突然退兵，当场就被吓傻了：郗昙可是前任太尉、北府军创始人郗鉴之子，其手下所率领的是天下雄兵，难道这么快就被前燕打败了？虽然报信的使者一再解释说“郗昙不是打了败仗，而是突染重病才退军的，请谢大人宽心云云”，谢万却早就不相信这种鬼话了，他判断敌人将因此而大举南下，自己如果不能及时退兵，难免就会被敌军抄了后路。
谢万因此连忙下令全军撤退。他在临逃走的时候，还嘱咐属下一定要找到自己的玉饰马镫，谢安以往在军中一直都很少正面劝谏过弟弟，这时，也只是缓缓地说了一句：“眼前还需要这样讲究吗！”听到撤退的命令后，这支军心本来就很涣散的队伍还未等敌军攻击过来，马上就一哄而散了，军中甚至还有些将士想趁乱结果了谢万的性命，谢安对这些将士们劝慰说：“这种人还是应该留着他回去做隐士算了。”由于顾及到谢安的面子，将士们才没有动手，谢万才得以单身匹马逃回淮南。前燕朝廷听说东晋的北伐军就这样的不战自溃，喜得他们乐滋滋地放心派遣大军南渡黄河，将东晋放弃的地盘统统接收。
因为这次的大规模溃败，朝廷将郗昙降为建武将军，将谢万废为庶民。谢万的被黜，给桓温带来了一个入主豫州的良机。很快的，东晋朝廷就加授桓温的二弟、江州刺史桓云为司州、豫州两州诸军事，兼镇蛮校尉，西阳太守，假节。主政豫州的桓云有鉴于东晋军队的数次惨败，同时也为了提防前燕继续南侵，他开始在豫州地区大规模地实施征兵活动，弄得豫州各地民怨沸腾，由于朝廷忌惮桓温，也没人敢弹劾他。
自从升平三年的谢万、郗昙北伐失败之后，许昌、颍川、谯城、沛县等城池相继都被前燕势力所占领，自石赵末年以来晋军在历次北伐中所取得的战果几乎被丢个精光，前燕兵锋甚至直抵淮河北岸，故都洛阳又一次突出成为了孤岛。与此同时，自东而西活动的燕军也开始逐渐地威胁到了桓温所控制的荆州的侧翼了。看到自己第二次北伐所取得的成果就这样被轻易地丢个精光，桓温既气恼不已又无可奈可，只能在心中一再埋怨司马昱的执政无能。不过，抱怨归抱怨，桓温很清楚地知道，由于在身份上与殷浩完全不同，只要不是犯了谋逆的大罪，无论再犯有多大的过失，这碌碌无为的司马昱在朝中的地位也是不会发生任何的动摇。