桓温个性雄豪，自负才力，内心有着极大的自信，这从桓温“拜表便行，孤军平蜀”的行动中可见端倪。用现代心理学的术语来说就是内驱力充足，自我实现欲望强烈，桓温的这种心理特征很能体现在他的政论散文当中。桓温的此类文章较多，《隋书经籍志》著录有“晋大司马《桓温集》十一卷”，下注“梁有四十三卷。又有《桓温要集》二十卷。”《旧唐书》、《新唐书》都载有二十卷的《桓温集》。清严可均《全晋文》辑有桓温的奏疏十二篇，其余为檄文一篇、书信四篇。
桓温的文章以表疏、信笺与檄文等政论散文为主，内容与时政密切相关，多涉及国家的用人、君王的素养、吏治的整肃以及对外的军事问题等内容，其文章韵散结合，结构疏宕有致，文字典雅，注重对仗，用典精切，情辞相称，比喻恰当，体现出不俗的文学功力，是他在政坛上的投枪和匕首，他的犀利文风在这篇弹劾殷浩的上书中可见一斑。在这篇上书当中，桓温指斥殷浩的罪过主要有三点：一是对德高望重的蔡谟试图使用大刑；二是耗尽国资、党同伐异而无所作为；三是逼反姚襄，以致军败于外。
东晋朝廷在收到桓温声色俱厉的上书后，迫不得已，只好将殷浩废为庶人，安置在东阳郡（浙江省金华市）的信安县（浙江省衢县）。
此时，郗的儿子郗超已经从司马昱那里改投桓温的门下，被任命为征西大将军掾。郗超，一字景兴，又字嘉宾，是一位非常之人，史书称其为“有旷世之度，交游士林，每存胜拔，善谈论，义理精微。”当时之世能入桓温法眼的人很少，而其与每次郗超言谈，桓温总是有深不可测之感慨，因此他深为桓温所赏识。此时，桓温对郗超说：“殷浩品格高洁，能言会道，假使让他担任尚书令和仆射，足以成为朝廷百官的楷模，是朝廷用人不当，才以致有今日啊！”
殷浩虽然被罢黜流放，但没有说过半句无怨言，神情坦然，一切听天由命，依旧不废谈道咏诗，即使自家亲人也看不出他有什么被流放的悲伤。只是整天用手在空中写“咄咄怪事”四个大字而已。由此我们能够体会他对自己此前的失败还没有真正的释怀。
殷浩的外甥韩伯，素来受到殷浩的赏识和喜欢。殷浩被废之后，韩康伯陪着舅舅来到信安居住，一年之后，司马昱将其升为中书郎、散骑常侍。韩康伯告别舅舅回京，临别之时，殷浩将其送到河边，随口吟咏曹摅（音：数）的两句诗：“富贵他人合，贫贱亲戚离。”吟罢，殷浩伤感地流下眼泪。宝宝虽不说，宝宝心里苦呀！
客观的说，殷浩的北伐之所以未能成功，固然有他个人的原因，但也不能把全部责任推到他身上。殷浩再怎么差，也至少要比那些赏识他和抬举他的人强。殷浩的失败是外在的因素加上他本身的性格弱点共同作用的结果。
在外因方面，殷浩所面临的困难主要在于：
一、东晋的国力偏弱。东晋毕竟国小兵少，整个东晋所有的人口也不过三四百万而已，而北方虽然屡遭战乱，人口都一直有千万人左右的规模。当时北方的各方势力，动辄就能够拉出数万的军马，冉闵全盛之时甚至有三十万之众，前燕军队也至少在二十万以上，想当年慕容恪大战冉闵的那一仗，慕容恪所带的可是满满的十四万兵马，而且还是清一色的骑兵，就这兵力东晋能拿得出手吗？况且北伐远征需要千里运粮，就需要耗用多几倍的劳力，这自古以来就是难事。兵员不足的问题这蔡谟和王羲之均早已提及，殷浩本人对此也是深有体会，因此，他才一直没有迅速出兵北上，而是先将收复后的淮河南岸的荒地开垦出来作为军屯，以做好北伐的粮食储备，在这一点上，殷浩还是在稳妥地做实事的。不过若是得不到桓温势力的支持，再怎么努力都很难凑够令北伐有所成就的人马。
二、中央权力太弱，藩镇难以号令。支强干弱一直以来就是东晋朝廷的痼疾，各大家族势力盘根错节，方镇势力权力过大，中央政府根本无法把各个方镇的力量整合起来一致对外。如果不能够做到中央集权，所有关于的北伐倡议都是耍流氓。光是在这个问题上看，其实贯穿整个东晋历史的绝大部分的北伐设想都如同镜花水月般的不切实际。
三、东晋的政治体制对于招降纳叛的策略运用很不利。为了解决兵力短缺的问题，殷浩还是能够很策略地采取了种种手段去招抚和使用北方的降将，尽管这些降将时而出现反复，但也有不少最终能为东晋所用的，如刘启等人。不过，由于东晋渡江后的各个大族为了维护渡江之后的自身家族利益，数十年以来，一直按照过江的先后评定高门或者寒门，久而久之，在东晋当权者心中自然而然地形成了对后到北方士族的鄙视，更不用说是出身寒门、庶民甚至是少数民族的降将了。这一点在谢尚激变张遇、殷浩逼反姚襄两事上表现得最为典型。由于来自思想深处的层根深蒂固的隔膜，导致了东晋主流社会很难接纳来自北方的降将，从而真正起到为我所用。
四、严重缺乏各级军事人才。东晋以来，从王导开始，一直以清谈为高贵，而将做事作为末流，尤其是从事武事更被视为最末端。王导的二儿子王恬就是因为从小喜欢习武，而不为公门所重。桓温也经常被刘惔当面讥为“老贼”，被谢奕、王述嘲讽为“老兵”。因此东晋一代自始至终都严重缺乏高级军事人才，否则桓温怎能到最后造成尾大不掉之势。另外，在魏晋时期已经形成了所谓的“兵家”，世世代代当兵，著有“兵籍”，不为主流社会所容，后来由于社会动荡，将领们又自行招募部曲，一个地方官离任可以割走一部分部曲，因此，士兵与将领之间的人身依附关系逐渐加深，平时形同奴仆，从事农业生产，战时充当士兵，冲锋陷阵。在这种社会氛围下，社会对于士兵和将领都多少存有一份歧视。当搞军事的人缺乏社会荣誉感和感觉不到出路的时候，是很难自觉成为优秀军事骨干的。因此，殷浩想在自己手下挖掘出几个真正能够带兵打仗的人才是难之又难。
在内因方面：
首先，殷浩根本就不是一个合格的军事统帅。作为一个率领千军万马的统帅，就要有举重若轻、遇事不乱、意志坚强、头脑冷静和胸怀全局的气质禀赋。殷浩长期隐居养望，朝廷屡次征辟作官都推迟不就，钓足了天下人的胃口，最后才被会稽王司马昱硬请出来作为抗衡桓温的棋子，其实他的军事能力连二十出头的姚襄都不如。对殷浩知根知底的桓温就认为殷浩的才干只是在于处理案牍文书方面，在军事韬略方面却一没素养，二没实践，所以从不担心他能够抢了自己的功劳，只是觉得他老是在自己的前面碍手碍脚。
其次，殷浩的情商严重有问题。司马昱虽然对他有知遇之恩，但是虽说桓温与他从小到大一直磕磕碰碰的，但那些都是些鸡毛蒜皮的小事情，两人之间没有根本的利益冲突，殷浩屁股坐在执政者的位置上，就应该有执政者的气度和眼光，他应该能够看清形势，懂得妥协，控制住自己的情感。明摆着桓温就是一个绕不过去的实力派，殷浩就应该懂得如何利用自己处于权力中枢的优势与桓温和衷共济，无论是哄也好，骗也好，激将也好，怀柔也好，只要能和桓温处理好关系，调动一下桓温的积极性，不见得桓温就会拒绝与他合作。而他却心甘情愿地作为司马昱的棋子，象闹了别扭的的小朋友一样，一味的打压桓温北伐的积极性，总是搞的桓温很闹心。
最后，殷浩所选择的应对的策略也很不妥。如果他清楚地知道自己的长处和短处，就应该扬长避短，努力做自己所擅长的事情。可是他过去的超凡脱俗的名声把他给害了，他因为被别人捧得过高，自不量力，非要削尖脑袋费尽心思地证明自己能够成一个比桓温更优秀的军事统帅不可。站在殷浩的位置上其实有三种选择：上策是利用自己与桓温的发小关系进一步做到衷诚合作，肝胆相照，甚至升华成蔺相如和廉颇那样的将相和，这非常有可能令两人同时成就一番大业。中策是既然桓温要出兵，就让他做计划，走流程，跟他虚与委蛇，但是却别摆明了要挡他的道，还可以利用自己位于权力中枢的地位和优势，既牵制，又扶持，让他欲罢不能，又找不到翻脸的借口，还不得不时时求自己帮忙。下策就是被桓温逼着亲自来北伐，可惜我们的耿直哥殷浩最后还是选择了下策。
后来，桓温掌权后也觉得自己过去对殷浩的落井下石确实做得有点过分，打算推荐殷浩作尚书令，他在给殷浩的去信中谈了一下自己的想法，意思是我们都是成年人了，不应该象过去的小孩子一样的相互斗气了，你的才能我是看在眼里的，让我们携起手来为国家多做点贡献怎么样？殷浩看了之后十分的激动，在要寄送回信的时候，总是担心在自己的回信当中有那里写得不妥，因而反复地开合了信笺十几次，最后竟然鬼使神差地误将一张没有任何内容的白纸封上并寄给了桓温。桓温见到这样一封空白的回信后，不禁想起了过去殷浩所讲过的一句话：“我与我周旋久，宁做我”，觉得他始终还是对自己不服气，故意以一个空白的回信来表达一个无声的拒绝，他叹了一口气，于是从此就不再与这位相爱相杀多年的发小联系了。
永和十二年，被废两年之后，殷浩死于信安，终年五十四岁。
后来，在殷浩改葬的时候，顾恺之的父亲、殷浩的故吏顾悦之，上书为殷浩鸣冤，他说殷浩“声盖当时”，“出镇寿阳，驱其豺狼，翦其荆棘，收罗向义，广开屯田，沐雨栉风，等勤台仆”，被废之后，“杜门终身，与世两绝，穷而无怨”。北伐失败不过是兵家常事，应该追复本官。于是，朝廷恢复了殷浩的官职，以礼改葬。
总而言之，性格决定命运。