建康城中所迭遭的一系列变故让志在北伐的庾氏兄弟措手不及，这两兄弟刚刚把荆、江二州连成一片，康帝突然就病故了，失去朝权的庾氏兄弟只能眼睁睁地看着有拥立之功的何充在朝中大行其道。庾氏精心培养起来的褚太后一家现在反而成为自己的政治对手。
建元二年（公元344年）十一月，在埋葬了康帝之后，褚蒜子为了弥合两大家族间的裂痕，下诏征召庾冰入朝辅政，而此时的庾冰却已经身染重病。同月九日，庾冰病死在武昌，时年四十九岁。《晋书，庾冰传》称，庾冰“天性清慎，常以俭约自居。”他的一个儿子曾经问公家借了十匹绢，庾冰听说后，大怒，用棍棒捶打他，并从市场上买来十匹绢还给公家。临终之时，他对自己的长史江虨说：“我将死了啊，只恨报国之志来不及施展，这是命啊，又能有什么办法呢！我死后，用穿着的衣服入殓，不要用公家的东西。”庾冰死后，家里没有绢来做覆盖尸体的被子。另外，庾冰既没有姬妾，也没有私产。
虽然庾氏与褚氏颇有渊源，然而，褚裒的妻子就是谢尚的姐姐，因此，褚家与谢家关系更密切。当听说庾冰去世的消息之后，褚蒜子下诏任命自己的舅舅谢尚以本号都督豫州四郡，并兼任江州刺史，而此前谢尚是庾翼的下属，他原先官职的全称是建武将军，都督江夏、义阳、随三郡诸军事，江夏相，南中郎将。这样，庾氏控制下的江州又得而复失了。
然而，强硬的庾翼怎么能让自己的理想因此而半途而废呢？他的反应迅速而强烈。他马上命令长子庾方之驻守襄阳，因庾方之年轻，他让征西参军毛穆之任建武将军司马，辅佐庾方之，自己则率领大军从襄阳迅速南下，还镇夏口，将庾冰所领的江州之军全部划归自己所有，并任命庾怿之子庾统为浔阳太守。
一时之间，庾氏为了门户利益与朝廷的摊派似乎已经不可收拾了。看到庾翼的反应如此激烈，朝廷不得不有所退缩，颇有政治智慧的褚蒜子为了安抚庾翼，重新下诏将江州刺史一职交给了庾翼，并甚至将豫州刺史的职务也一并给了庾翼。
然而，庾翼想要的只是江州。江州刺史到手以后，他见好就收，回镇夏口，推辞了豫州刺史的职务。于是，朝廷又改任谢尚为西中郎将，都督扬州六郡诸军事，豫州刺史，假节，镇守历阳。
这样，双方的面子都保住了，一场迫在眉睫的危机暂时得到了化解。后来庾翼还想移镇乐乡，但朝廷不许，这次，庾翼也没再坚持，他开始修缮军器，徐图后举。庾翼后来派益州刺史周抚与西阳太守曹据讨伐成汉，在江阳击败成汉将领李桓。
对于庾冰的逝世，南康长公主难免又是悲伤一场，但是桓温却没有太多的感触，可能是因为地位悬殊和性格不合的缘故，他与庾冰从来就没有进行过多少的交流。不过为了安慰和陪伴长公主，桓温经常借故留在建康，已经很少呆在金城了。
永和元年四月，年轻的皇太后褚蒜子希望父亲能够留在朝中，让自己身边有一个依靠，于是下诏征召父亲卫将军褚裒，想任命他为扬州刺史、录尚书事，但是，褚蒜子的这一计划，却遭到了朝中司马氏皇室势力的抵触，褚裒进京之后，吏部尚书刘遐、长史王胡之劝褚裒说：“会稽王司马昱，有美好的品德，是国家的周公，足下应该将国政交给他。”
于是，褚裒就坚决地辞让了女儿的这份美意，又回到了京口。因此，太后下诏任命司马昱为抚军大将军，录尚书六条事。
前途未卜的桓温又开始收拾起清谈的爱好，趁着金城离建康比较近的这个优势，经常回建康参加脱口秀，想从旁打探一下朝中的动向。他还在清谈活动中结识了一位非常重要的人物——被召为抚军大将军，录尚书六条事的会稽王司马昱。
会稽王司马昱是晋元帝司马睿的幼子，母为简文宣太后郑阿春。永昌元年（公元322年）二月，元帝下诏封司马昱为琅玡王，以会稽、宣城两地作为司马昱的食邑。咸和元年（公元326年），司马昱的母亲郑阿春去世，当时年仅七岁的司马昱非常悲伤，请求晋成帝司马衍让自己为母亲服重丧，成帝因为怜悯他而允许，咸和三年十二月（公元328年）成帝徙封司马昱为会稽王，并拜其为散骑常侍。司马昱幼年时就聪慧异常，深得其父宠爱。当时的名士郭璞就评论司马昱说：“将来振兴晋朝的，一定是这个人。”不过，司马昱成年之后，清虚寡欲，擅长玄学。
司马昱进京担任任抚军将军后，他坐床上的灰尘从不让仆人擦去，见到老鼠在上面走过的脚印，却认为这样很好。有个参军看见老鼠白天走出来，就拿手板把老鼠打死了，司马昱为此很不高兴。他的门客站起来批评劝告他说：“老鼠被打死了，尚且不能忘怀；现在又为了一只老鼠去损伤人，恐怕不行吧？”
司马昱曾经有次看见田里的稻子，但他不认识，就问这是什么草，近侍回答说是稻子。他回去后，接连三天没有出门，还叹气说：“哪里有依靠它的末梢活命，而不识其根本的呢！”
在清谈上，司马岳虽然没有达到顶级水平，不过也足以进入一流的行列，与桓温可谓是惺惺相惜。后来有一次司马昱与桓温一同上朝，二人多次互相谦让，要对方走在前面。高迈爽出的桓温最后实在忍受不了司马昱的磨叽，不得已只好走在他前面，于是一面走一面说：“伯也执殳，为王前驱（我手里拿着殳，为会稽王您做先驱）。”司马昱回答说：“所谓‘无小无大，从公于迈（这就是古人所说的‘无论大小臣子，都跟着公出游’）’。”
总而言之，司马昱是个清心寡欲、人畜无害的人物，难免庾氏兄弟在康帝驾崩后想推举他继位。桓温觉得司马昱清谈还可以，但在根本上缺乏治国的才能，不过他最近所征的抚军掾郗超尽管年轻很轻，倒是一个不凡的奇才。
所谓“一朝天子一朝臣”，晋穆帝的即位，已经让东晋门阀格局发生了巨大的变化，庾氏再无舅氏之尊，朝中的新贵变成了皇太后家里的褚氏和皇太后的舅家氏谢。不过，这还不算完。
就在其兄庾冰去世的数月之后，也就是晋穆帝司马聃永和元年的上半年，庾翼在上厕所的时候，发现一个方形的怪物，并就此染病，背上长出了一个毒疮。他自知将死，就上书朝廷，请求在他死后，让自己的二儿子庾爰之代理辅国将军、荆州刺史。并任命司马朱焘为南蛮校尉，以一千多人把守巴陵（湖南省岳阳市）。
庾翼的上书发出去之后没多久，这位心比天高、命如纸薄的奇磊英雄就抱憾离世而去了，终年四十一岁。当真是应了“出师未捷身先死，长使英雄泪满襟。”的这句诗了。庾翼后来被朝廷追赠为车骑将军，谥号为“肃”。
听到庾翼的逝世消息后，桓温悲痛万分，他向褚裒递交了休假申请，还没等答复就直趋夏口，要跟这位自己人生当中最知心的导师兼朋友见上最后的一面。在庾翼的葬礼上，桓温想到了庾翼生前的音容笑貌，想到了庾翼生前与自己一同空许的那些大志，想到了庾翼生前对自己的多番提携，他象失去至亲般的嚎啕大哭，他的哀痛表现甚至感染了庾氏的众多亲朋好友和部下。
至于南康长公主，这些年来这么多至亲接二连三的陆续离世，她已经变得欲哭无泪了，她曾经不断地抱怨上天的不公，可惜上天还是不断地把不幸降下来要她承担，她都快要到心如死灰的地步了，幸亏身边的桓温和几个孩子都没出什么意外，这也算是不幸中的万幸了。于是，她也就不再抱怨些什么了。
庾翼于永和元年（公元345年）七月三日去世后，庾氏家族的影响力一下子从顶峰滑到谷底。庾氏的败落主要不是来自他人的打击，而是源于庾氏几根顶梁柱接二连三的倾倒。庾亮兄弟共有五人：庾亮、庾怿、庾冰、庾条、庾翼。庾亮在咸康六年因北伐失败忧愤而死；庾怿因毒杀王允之不成，于咸康八年自杀；庾冰于建元二年病死；庾条在政治上无甚建树，仅做到临川太守就到顶了。
庾亮有三子，长子庾彬在苏峻之乱中被杀；次子庾羲为散骑常侍；三子庾龢。一年前庾翼将要迁镇襄阳之时，庾龢年仅十五岁。
庾怿有一子庾统，此时有二十多岁，为浔阳太守。
庾冰共有七个儿子：庾希、庾袭、庾友、庾蕴、庾倩、庾邈、庾柔。女儿庾道怜嫁给成帝司马衍的二儿子司马丕。
庾翼两个儿子，即现任义城太守的长子庾方之和庾翼上书请求任命为荆州刺史的次子庾爰之。
那么，庾翼临终前想为庾家保留下最后一点势力的想法能够得到建康方面的同意吗，毕竟执政的何充也是庾家的女婿之一啊!
庾翼死后，朝廷官员大多以为庾氏家族长期驻守在荆州，应该同意庾翼的临终要求。何充却说：“荆州是国家的西面门户，户口有百万之众，北面与胡人相接，西边又与蜀国为邻，地势险阻，方圆有万里之遥。荆州托付得人，那么中原就能平定；托付不得人，社稷就堪忧。陆抗曾经说过，荆州保全，吴国就保全，荆州失去，吴国就失去，就是这个意思。怎么能让一个白面少年去担当此任呢？桓温英勇善谋，超过常人，文武双全，荆州刺史人选，没有超过桓温的。”
何充还说：“陶侃临终前推荐贤能，丞相王导在世的时候，一直不肯为儿子王恬升值，至今仍为四品将军。就算是他的亲侄——庾亮的儿子庾羲，现在也不过就是一个散骑常侍，没有这样越级提拔的。”
朝臣有人说：“庾爰之会回避桓温吗？如果兴兵相抗，将会给朝廷带来耻辱。”何充回答道：“我相信桓温一定能够控制住局面，大家不用担心。”
不过，还有一个人明里不敢出来反对，暗中却想做些手脚。他正是桓温的酒肉朋友兼清谈损友刘惔，也许现在他还在为桓温把他结成连襟而耿耿于怀呢。
司徒左长史刘惔与桓温是老相识，二人均是晋明帝的女婿，桓温娶的是明帝的南康长公主司马兴男，而刘惔娶的是庐陵公主司马南弟。刘惔虽然知道桓温有奇才，但却隐隐觉得他将来会有不臣之心，他对抚军大将军司马昱说：“桓温的眼睛如紫色的水晶，胡须象刺猬的毛刺，这是孙仲谋、晋宣王（司马懿）之类的人物啊！可不能让桓温这种人身居形胜之地，而且对他的官职也要经常的压抑着。”
刘惔规劝司马昱自己来做荆州刺史，镇守上流，而让自己担任军司来辅助他。但是，司马昱没有同意，他觉得清谈是世上最美妙的事情，他无论如何无法想象到了荆州这个野蛮之地该如何与当地的土人以土语展开清谈。刘惔干脆亮出了底牌，要求司马昱推荐自己去当荆州刺史。司马昱不敢相信的瞪大眼睛看着刘惔，他感觉这家伙实在有点扯。因为刘惔这个人虽然很有才，不过他的懒和他的才能一样的出名。
桓温手下的头号马仔袁乔有一次去拜访刘惔。刘惔当时正在帐内睡懒觉，还没有起来。袁乔便作诗嘲笑刘惔道：“角枕粲文茵，锦衾烂长筵。”意思是：华丽的褥子配上角枕有着多么的鲜艳；长长的竹席铺着丝被有着多么的灿烂。弄得刘惔的老婆庐陵公主看了这诗后很不高兴地说道：“这袁羊肯定是个从古代穿越而来的狂徒！”
于是，司马昱就对刘惔说：“桓温的才能大家都看得见，他的野心就只有你一个人知道，你让我如何去说服大家呢，况且现在最能够说话的是何充呀！不过你放心，我会有办法对付他的。”
永和元年的九月十三日，朝廷下诏，任命原徐州刺史桓温为安西将军，持节，都督荆州、司州、雍州、益州、梁州、宁州六州诸军事，荆州刺史（二品），领护南蛮校尉，镇夏口。
庾爰之果然不敢抗拒朝廷的任命。由于看到庾爰之的无所作为，朝廷紧接着又任命刘惔为监沔中（今汉水）诸军事，兼义成太守（治所在襄阳），以代替庾方之。于是庾翼的两个儿子都被迁徙到了豫章郡闲居。也许司马昱用于抑制桓温的计策就是派似乎忠心耿耿的刘惔去监视看来野心勃勃的桓温。
虽然才干不足的庾氏两兄弟顺从地听从了朝廷的安排，但是，庾翼的死以及随后朝廷的一些处置也产生了一些动荡：庾翼的部将干瓒、戴羲等人发动叛乱，杀掉了冠军将军曹据。庾翼的司马朱焘和安西将军长史江虨、建武将军司马毛穆之、将军袁真等共同出兵讨伐，将叛乱扑灭了；而原苏峻部将、现任豫州刺史路永也率部叛逃，投奔石赵王国，石虎让其驻守在寿春。
桓温到荆州赴任前先去拜见了自己的举荐恩人何充。只见何充捻须得意地笑着说：“元子，你是朝中这一代年轻人当中我最瞧得起的人，今天终于有用武之地了，我实在是为你和国家感到欣慰呀！不过荆州那边人际关系复杂，民风彪悍野蛮，你又没在那边呆过，一切都要小心啊！”
桓温自信的回答道：“请何大人放心，在下已经准备了一些对策和方案，只要再借重一个人的帮助就可以把荆州的局势稳定下来，使之成为朝廷西面一道稳如泰山的可靠屏障。”
不过，桓温在徐州刺史的任上吃过亏，就向何充打探朝廷的意思是让自己暂时整顿一下荆州还是让其在荆州做长远打算。何充为了让他安心，就向桓温保证只要他能够继续在朝中立足，就会继续支持桓温在荆州发展。桓温得到何充的保证后放心了很多。
桓温到荆州赴任前还专门绕路去了一趟晋陵，晋陵太守谢奕见前刺史大人亲自登门拜访，连忙吩咐家人设置家宴款待桓温。桓温在谢家也没有说什么特别的话，只是比平时对谢奕客气了许多。谢奕对此也不以为意。桓温告辞后，只有谢奕二弟谢据的妻子王氏领会了桓温的意图，就对家人说：“桓荆州今天的用意很特别，一定是要和晋陵一起西行了。”大家都说她是瞎猜的。
荆州在东晋皇朝的战略地位当中显得非常的重要，由于东晋定都处于长江中下游的建康，上游的荆州是朝廷的“外阃”，“兵强财富，地势逼危”，可以说得到荆州本身就已经具备了威胁京师的能力，晋室东渡以后，琅琊王氏先后任荆州刺史十年之久，自王敦死后，陶侃又镇荆州九年，史书称其“据上流，拥强兵潜有窥窬之志。每思折翼之祥，自抑而止。”陶侃在历史上获得的评价甚高，然而还是获得了这样评语，这与陶侃长期占据对军事和政治有举足轻重作用的荆州有直接关系。庾亮在镇守武昌时也有“亮虽居外镇，而执朝廷之权。既据上流，拥强兵，趣向者多归之”的记载。这就是“匹夫无罪，怀璧其罪”的道理，无论你是谁，只要屁股坐在这个炙手可热的位置上，难免无差别的遭到朝廷猜疑和忌讳。
桓温本质上不是一个遭到猜疑就不思上进的懦夫，不过当他出任荆州这个一方重镇的刺史的时候，桓温才过三十三岁，朝中只有何充一人可以依靠，自己的弟弟都还没成长起来，在荆州的势力几乎为零，而庾氏盘踞荆州多年，荆州官吏大部分是庾氏的门生故吏。桓温至今在军事上最拿得出手的经历，就是在庾翼主导的北伐当中作为为前锋小督帅众进入了临淮一带，不过桓温只是在东线以偏师的姿态配合庾翼的正面作战，其所面对的战场并未承受多大的压力。其后在徐州广陵一带与石赵军队对抗，经常打的又是些小摩擦，并没有很突出的战绩。因此，桓温一开始在荆州除了打着驸马的招牌外似乎还没有太多能够镇住属下的本钱。
那么，桓温又该如何在荆州站稳脚跟呢？