桓温的第一次北伐先胜后挫，最后不得不以退军收场。虽然他在北伐的过程当中给予了对方重大的杀伤，就连秦方的两名主帅，太子苻苌和丞相苻雄的死也与这场北伐有关，但是最后不得已撤军的这个结果自然是很难让桓温自己满意的。
在朝廷方面，并没有任何大臣对这次不算成功的北伐进行指责，因为这是一次事先得到朝廷允许的军事行动。在朝廷看来，这次北伐虽然没有取得成功，但是没有令桓温再立新功的结果也不算太糟糕，况且北伐的绝大部分损失也是由桓温自己的力量来承担，无需朝廷为之付出多少。在这次功败垂成的远征当中，尽管桓温一路血战，他的军事力量却没有因此而受到重创，由此可见，桓温所调教出来的这支荆州部队还是有很强的战斗力的，用于远征固然有所不足，但是用于防御却是能够令朝廷放心的，甚至这正是朝廷主流所愿意看到的一个结果。因此，当九月份桓温从北伐前线回到襄阳的时候，晋穆帝还专门派遣了黄门侍郎前去犒劳。
不过，虽然能够得到朝廷方面的理解，但是对自己的要求颇高的完美主义者桓温却总是为这未遂的北伐事业而觉得怏怏不乐。有一次，桓温在外出抚慰那群从关中带回来的百姓的时候，他看见一个老妇人一看到自己就潸然泪下，桓温觉得事有蹊跷，就上前问其缘由，原来这老妇人当年曾经做过刘琨的伎女，这老妇人还说：“因为你长得很像当年的刘司空，所以我忍不住就哭了起来。”这孤胆英雄刘琨对桓温来说可不得了，他一直以来是桓温人生当中的精神偶像，所以作为刘琨粉丝的桓温很开心，就退到屋子的外面把衣冠整理了一番，再走进来让老妇人细看。老妇人又上下多打量几遭，说了一句令桓温郁闷不已的话，“面甚似，恨薄；眼甚似，恨小；须甚似，恨赤；形甚似，恨短；声甚似，恨雌。”桓温闻言大失所望，为此而闷闷不乐，一连几天都是无精打采的。
当桓温驻军灞上的时候，他的一个部将顺阳太守薛珍曾经擅自领军渡过灞水攻击零散的秦军，还斩获颇丰。回到荆州之后，薛珍屡次在公开场合自夸勇武，谴责桓温的谨小慎微。桓温为此恼怒不已，羞恨交加之下，于是就下令把薛珍直接给砍了。这薛珍被杀固然是咎由自取，但也与桓温这时的恶劣心情不无关系，毕竟这是宽厚为怀的桓温平生第一次对自己的部属下狠手。由此可见，对于这一次北伐的功败垂成，完美主义者桓温的内心是多么的失落，耿直哥薛珍选择在这个时候触上司的霉头，不是找死是什么？
王猛的关于初升的太阳和落山的太阳的比喻也经常萦绕在桓温的心头。当桓温得知其曾经的对手当中的厉害角色苻雄和苻苌先后离世的消息后并没有感到多少庆幸，而是发出了更多的感慨。桓温心想，这李势的祖先当年创下基业的时候，手头上肯定也是有着一帮子如同苻雄和苻苌一样的亲族成员为他拼死出力的。“一个再厉害的对手都能够对付，难对付的是一帮子相互信赖的人呐。”桓温心里感叹道。
桓温随后又恨恨地想道：“这关中历代乃四守之地，是恢复中原的最佳跳板。而且这关中与自己的辖区接壤，在兵力调动和后勤支援都比直取中原方便。可是自己的北伐建议却屡受朝廷打压和置之不理，以至于错过了经略关中的最佳战略时机，只是后来在西凉张重华的一再要求下朝廷才同意了自己的第一次北伐。现在回想起来真无可挽回的损失呀！”
当苻健在关中开创基业和建立政权的前几年，桓温也是苦心地在荆州经营着自己的事业，他主要做了搜罗人才、劝课农桑、整军经武和大兴土木这四方面的事情。
在延聘人才方面，平蜀之后，桓温加征西军号，开府仪同三司，封临贺郡公。桓温作为军府的府主，特别喜欢招贤纳士，甚至常常亲自躬身造访。桓温不仅能选贤任能，而且能够知人善任：习凿齿博学洽文，富有史才，桓温就命其处机要；罗友以记功胜人，桓温就让他做人力资源管理；袁宏才气横溢、文章绝美，桓温让他专综书记。总而言之，桓温能够让自己的各部属各遂其志，各擅胜场。不过，桓温终其一生，还是未能找到一位能与袁乔相媲美的军事幕僚，这方面人才的缺失也铸就了桓温的终生遗憾。
在政务上，桓温推行轻徭薄赋、劝课农桑，察吏能否等政策，让荆州的人口和经济得到了持续的稳定和发展。农业持续良好的发展必然会导致人口的增加。关于荆州的人口，由于史册中无东晋的人口统计，又要考虑到该时期严重的逃籍、隐户、侨立等现象，只能从东鳞西爪的史料中加以推测。晋武太康初，荆州有人口357，548户，若以平均每户6.57人计算计，则有230余万人。桓温出督荆州时，荆州所辖范围较前缩小，仅实领太康初之十郡197，200户，约130万人。荆州在晋武太康后人口一直在增长，一方面是北方流民和巴蜀流民汇集荆州，使该地区人口顿增，史称“于时流人在荆州十余万户”；另一方面是招抚与抄掠山谷蛮夷人口出山，桓温除了荆州刺史，都督四州军事外，还有护南蛮校尉之职，其职责所在可想而知。由于桓温的宽和政策，荆州的人口一直是在持续流入的。援引王育明先生的研究成果，当时人口的自然增长率千分之八点九，那么至永和元年，荆州人口为原来的1.78倍，即在籍人口至少为351，000户。此外，荆州地区的商业也非常发达，由于地处长江水运的枢纽，益州和扬州的商品流通与转运必须经过此处，其地“良皮美罽．商赂所聚”。同时荆州又处南北对峙的前哨，双方相互聘使，因此，荆州之商业税也相当可观。良好的社会经济条件和稳定的政局，使荆州逐渐成长为一个相对独立的经济中心．何尚之言：“荆、扬二州，户口半天下，江左以来，扬州根本，委荆州以阃外”。沈约则发挥云：“民户境域，过半天下，晋世幼主在位，政归辅臣，荆扬司牧，事同二陕。”桓温治下的荆州在东晋的社会经济地位越来越高，逐渐成为了一个可以与扬州相抗衡的经济中心。
在军事上，桓温花大力狠抓了常备军的日常操练。大凡练兵的要务是要把士兵们锻炼成一个能够相互配合和相互支援的作战团体，荆州军队在陶侃的多年熏陶下一直有着完备的军事制度基础，桓温也曾经师从蔡谟学习兵法，依葫芦画瓢，倒是把士兵操练得有声有色，荆州部队可以说是当时各州当中战斗力最强的部队，只可惜南方不易养马，否则的话，以南方士兵的服从和组织纪律性，是完全可以与北方的骑兵一决高下的。
在基础设施的基本建设方面，桓温为了巩固其在荆州的影响力，指令建筑砖家陈遵将江陵城的旧城与新城合并为一，建造了一座宏伟壮观的江陵城。陈遵善长土方工程，他让人打鼓，从远处听之，可以知地势的高下，再依着山势修建城池，全无半点差错。江陵城西有栖霞楼，下面临通护城河，吐纳江流，城南有马牧城，城的西侧有一条马径。江陵城完工后，桓温会集宾客僚属出汉江渡口，从远处遥遥观赏城景。他对大家说：“如果谁能恰当地品评这座城，我就给谁发红包。被桓温评价“痴黠各半”的大画家兼诗人顾恺之当时是桓温的幕僚，正当其他人还在搜肠刮肚、抓耳挠腮的时候，顾恺之就冒出了：“遥望层城，丹楼如霞”的金句。这句话好在什么地方呢？这与古代神话中的昆仑山有关，郦道元《水经注，河水一》：“昆仑之山三级：下曰樊桐，一名板桐；二曰玄圃，一名阆风；上曰层城，一名天庭，是为太帝之居。”这八个字的意思是：遥望这无上的天空之城，红色的楼阁就像天上的彩霞。顾恺之既不着痕迹地拍了桓温的马屁，辞藻又相当的优美，明白其中意思的桓温当即就赏给他两个婢女。除了建造江陵城外，桓温也令陈遵同时修建了江陵城外的一道堤防——金堤。《水经注，江水》载“江陵城地东南倾，故缘以金堤，自灵溪始，桓温令陈遵造”，桓温所筑金堤除了巩固城防的因素外，也是为了保护农业生产，由于水稻的栽培技术有了提高，当地已经有一年三熟的记载。
不过，尽管桓温治下的荆州有着辉煌的建设成，但是与失去了经略关中的大好机会相比较，却是完全无法弥补的。
这时的桓温又不禁为自己在永和七年冬率军移驻武昌的轻妄举动举动而有点后悔，当年的试应手无疑是积压多年的郁闷之气的一次集中发泄，痛快倒是痛快了，但是朝廷对于自己的疑忌却加重了，对于自己今后的行动并没有任何的帮助。若不是这次鲁莽的行动弄僵了自己与朝廷的关系，自己说不定还可以趁苻健在关中立足未稳，再来一次拜表辄行，直接就进行北伐也不是不可能的。不过要是再这样做一次的话，若是成功了，朝廷自然无话可说，可万一失败了的话，就要直接面对无数的明枪暗箭了。而且当年的西征得到了亲信大将袁乔的大力支持和积极筹划，现在自己身边虽然合格的幕僚不少，可是最缺的是顶尖的军事人才呀。当桓温正为王猛不肯跟从自己南下而痛惜不已的时候，突然，他心里猛地颤动了一下：“他该不是去投靠了那个初升的太阳去了吧，要真是这样的话，他甚至有条件成为古往今来的第一号大汉奸的哩。”
这时，桓温的脑袋中又开始萦绕起已经忘却多年的宋祎的《行路难》一曲的音调，久久的盘旋不去。
第一次北伐归来之后，桓温的情绪在很长的时间里都很低落，不久之后，他又遭到一次重大的打击——他的母亲孔氏去世了。桓母孔宪出身于江左会稽郡山阴的大族，山阴孔氏原出梁国，东汉末年避乱迁至会稽山阴，数传之后，才成为江东大姓。宛陵桓氏与山阴孔氏原属世交。在纯粹的衣冠南渡南渡集团看来，由于龙亢桓氏一直居住在江南的宣城郡宛陵县，几乎可被南渡集团成员视为南人或者是南方大族，又因为与南方大族联姻，因此桓氏家族在门户的声望上常被南渡士族的成员所贬低，但这在一定程度上反而激发了桓氏家族成员的发奋自强。
桓母孔宪在产下桓冲之后身体一直就不太好。桓温年轻的时候，就曾经为了给母亲治病，不得不产生了把幼弟桓冲抵押给羊主以换羊肉为母亲做药引的想法。当年孤儿寡母的辛酸经历，并没有因为桓温的崛起而被忘记得干干净净，过去所遭受过的种种苦难却反而成为了今后往上攀升的精神动力，也许这正是桓温在官场中显得与众不同的原因。
桓母丧后，朝廷派“侍中吊祭，谒者监护丧事，旬月之中，使者八至，轺轩相望于道”，在待遇上远远高于当年死难的桓彝。桓温有云、豁、秘、冲四个弟弟，这时他们都有所成就了。二弟桓云，袭爵万宁县男，历位建武将军、义成太守，迁西阳太守、假节。桓豁“甚有器度”，曾征聘于司徒府，授以秘书郎，不就。后任当时为抚军将军的司马昱属下的从事中郎，后转任吏部郎，不过这时桓豁正因为患病而辞官。桓秘更是“少有才气，不伦于俗”，初拜秘书郎，迁辅国将军、宣城内史，不过桓温觉得这个弟弟花花肠子太多，并不怎么喜欢这个他。也许是当初准备以桓冲为抵押的愧疚感在起作用，所以桓温最喜欢和最关照幼弟桓冲，伐秦后桓冲凭军功迁都督南阳、襄阳、新野、义阳、顺阳、雍州之京兆及扬州之义成七郡军事、宁朔将军、义成新野二郡太守，镇襄阳。
桓温的子侄辈中也是人才济济。其中桓豁生有二十八个儿子，桓豁将自己的儿子们都取名“石”，其中，桓石虔、桓石秀、桓石民、桓石生、桓石绥、桓石康最为知名。论武功最出色的要数桓豁之子桓石虔，论玄学风度则有桓豁子石秀和桓冲子桓嗣，“并为桓氏子侄之冠”。
桓家兄弟有此成就，最大的功劳除了桓彝之外就是孔氏了，若不是桓彝的以身殉国，桓家的名望当不至于引起朝廷和州郡中正的如此重视，而孔氏在丧夫和生活极度拮据的情况下能够把这几个孩子教育成材，其实也很不容易。
桓彝和妻子孔氏原是北人，按照古老的丧葬观，逝者的遗体应该回归故土。不过，由于桓彝南渡后已经把宣城的宛陵当做了家居之地，桓彝也已经把他母亲的遗体葬在了宛陵的符里镇，温母去世后理应依彝母为茔。
母亲去世后，桓温特意上书朝廷，请求解除自己的所有官职，他要求回到宛陵为自己的母亲扶灵守孝。桓温觉得是母亲把自己带来这个世界的，那么她就是自己与这个世界的纽带，现在这个唯一的纽带已经断了，已经成年多时的桓温也不禁为自己活在这个重新变得陌生的世界上而感到孤独和凄惶，他这时甚至觉得如果没有母亲存活在这个世上，那么自己拥有什么样的功名利禄其实都是多余的。他在西征成汉的途中曾经想过要象父亲一样为国尽忠，因此，他此时心里倍觉对不起生育自己和抚育自己多年的母亲。现在母亲既然已经离世而去了，那么，在母亲生前无法尽孝的自己无论如何都得为母亲守孝的。
居中执政的司马昱是个慢郎中，他处理政务的速度能把人活活急死。但是对于桓温的丁忧申请，他的处理速度却快得惊人，他迅速地代表朝廷给予了桓温一个夺情。这其实也是司马昱所领导的东晋朝廷的一大悲哀，司马昱与王导一样，都是清谈的发烧友，在以他为首的核心领导层里面，清谈和玄学高手不少，但是具有熟练行政管理能力和军事指挥才能的人才却没能挑出一、两个来，司马昱做事的能力不行，识人的眼光倒是有的，司马昱打心眼里同意刘惔的政治魔咒，他打压桓温的愿望是真的，不过，他在政治现实当中离不开桓温也是真的。如今桓温主动提出了丁忧，他何尝不想顺水推舟，趁机用自己信得过的人拿下荆州，但是这事说起来容易，操作起来却很困难。若是接替桓温的人不能拿出点水平来有效管治桓氏家族深耕多年的荆州，以桓温的能力来说迟早能够再闹出点事情来的。另外，如果桓温真的按足惯例守孝满二十七个月的话，这期间若是真有外敌入侵的话，可就麻烦大了。如果桓温只是为了试探朝廷的态度倒问题不大，若是桓温真心实意要守孝的话，这事情反而有点不妥了。因此，司马昱怕夜长梦多，马上就通过有名无实的皇帝给了桓温一个夺情。
桓温的本意是要趁为母亲守孝的期间进行精神方面的自我疗伤的，可是因为在朝中一直没有涌现出其他能够独当一面的军政人才，所以，司马昱不得已才驳回了桓温的申请，这又在无形中又抬高了桓温的政治价码。
真正能够离职为母亲守孝的是桓云。在孔氏的葬礼结束后，桓云被起用为江州刺史，桓云推说自己有病疾，庐于墓次。在皇上的诏书的一再敦逼下，坚持原则的孝子桓云以殷浩为榜样坚决不上岗，一直拖到孝期结束后才莅职，起为江州刺史，加都督司豫二州军事、领镇蛮护军、西阳太守、假节。
江州物产丰饶，贸易发达，是当时与会稽并称的两大粮仓之一。桓温就任荆州刺史期间，司马昱任命了与桓彝早有渊源的徐宁担任江州刺史，作为桓温与建康之间的缓冲，桓温第一次北伐之后，徐宁也在江州刺史的任上逝世了，东晋朝廷为了怀柔安抚桓温，就将江州刺史的职务让给桓温的二弟桓云。当年的庾怿为争取江州的控制权付出了生命的惨重代价，如今江州竟然毫不费力地落入桓氏手中，不仅平添了桓氏的政治基础，更让桓氏的荆州大本营从此免去了下游的直接威胁，可以说是桓氏势力发展史上的一座里程碑。