永和十年（公元354年）初，就在桓温伐秦的同时，曾经把殷浩狠狠地坑了一把的机会主义者姚襄在淮南的盱眙附近经过一段时间的休整后，终于下定决心向前燕送上降表了。不过，所谓的投降，实际上只是一个表面上的形式，他本人和军队并没有进入前燕帝国的领地，仍然在淮河流域打野食。
同年五月，在姚襄的蛊惑之下，江西（江苏省全椒县以西淮河南岸）的乞活郭敞等人，在堂邑（江苏省六合县北）聚合了一千多人，在绑架了东晋的陈留内史（此时陈留郡郡治暂设在谯县）刘仕之后，投降了姚襄。堂邑与建康近在咫尺，因此，建康城内一片惊恐，唯恐姚襄南攻建康。朝廷命令吏部尚书周闵为中军将军，驻屯中堂（江苏省南京市江宁区）；又命令豫州刺史谢尚从江北的历阳（安徽省和县）渡江南下，以保卫京师安全。
其实，东晋朝廷的担心完全是多余的，对于已经投降了前燕的姚襄来说，淮南绝非久留之地。因为他很清楚地知道，以自己目前所拥有的实力来衡量，根本就不足以渡过长江而占有江南的地盘，而淮南地区又紧接着东晋的腹地，自古以来有道是“守江必守淮”，卧榻之侧岂容他人鼾睡，东晋政府一直是把淮南地区视若禁脔的。何况，东晋方面战斗力最强的桓温部队也已从伐秦的前线撤回。加上姚襄的部众大多数是关中人士，他们纷纷向姚襄说宝宝怕怕，要带头大哥姚襄带领他们赶紧离开淮南这个是非之地。于是，在永和十一年（公元355年）的春天，姚襄开始率领部众向北开拔，他自称为大将军、大单于。开始的时候，这支部队看起来似乎是要北上投靠前燕的，到了四月，姚襄所部抵达外黄（河南省杞县东），被驻守在那里的东晋边将，冠军将军高季所击败，幸亏高季不久之后就病故了，否则姚襄都不知道能不能重整旗鼓。
姚襄是个机会主义者，打仗往往是输多赢少，但却能够屡败屡战，靠的是深得民心。无论他走到哪里，总是有人争先恐后地前来依附。有时候谣传他战死了，还有人哭得如丧考妣一样。这次战败后，姚襄收拢散兵游卒，尽力加以抚慰照顾，于是又重新得以振作，姚襄率领所部在豫北一带游食，到永和十二年（公元355年）三月，他率军南下占领了许昌，准备到河东以图取关右。姚襄其后从许昌进攻洛阳，花了一个多月都没有攻克下来。
此时，虽然东晋在黄河以南并没有太多的部队，但是，豫州地区、兖州南部地区，甚至就连青州的段龛都在表面上对东晋称臣。因此，从理论上说，洛阳以东、黄河以南的大部分地区都已经收归在东晋政府的名下。早在永和七年张遇投降东晋之后，桓温就曾有迁都洛阳的政治正确的提议，桓温在其母亲的葬礼结束后重新视事，于是又旧事重提，史载桓温“欲修复园陵，移都洛阳，表疏十余上”。
由于桓温所提出的迁都洛阳的主张占据了政治理念上的制高点，在政治正确的问题上，朝廷方面是不愿意与桓温展开论战的，只好又用上一个“拖”字诀，先提出了一个中原地区尚不稳定的问题——也就是说得先解决盘踞在许昌的姚襄的问题。作为交换，朝廷不得不授予桓温北伐的领导权，“委以专征之任”。
永和十二年（公元356年）三月，东晋朝廷正式任命桓温为征讨大都督，加督司州、冀州诸军事，委托以征讨之事，桓温时年四十五岁。这时，距离他灭成汉的时候已经整整过去了十年，在这长长的十年里，桓温发动了一次北伐，最后却寸功未得，难免令他心有不甘。桓温这次受到朝廷的委派，他是憋着一口气要趁此机会尽情地把心中的郁闷完全释放出来的，他这次北伐的目的就是消灭盘踞在许昌的姚襄，进而收复故都洛阳。
四月，桓温率军从江陵出发，开始北上讨伐姚襄，他先是派遣都督高武进抵鲁阳（河南省鲁阳县），又命令河南太守戴施屯兵黄河岸上，然后自率大军接着北上。当得知桓温即将讨伐自己的消息之后，姚襄估计自己打不过桓温，当月就率军北撤，他打算占领洛阳作为自己的根据地，于是，就开始进攻盘踞在洛阳已打两年之久的石赵将领周成。
姚襄所部围困了洛阳一个多月，却仍然没有能够攻下。当姚襄顿兵在坚城之下，而桓温却在背后虎视耽耽的时候，姚襄的长史王亮劝谏说：“您的英明谋略超过天下之人，士众都愿意为您效力牺牲，因此不可损害威势和辛劳官民。与其守着这座孤城，不如直接回河北，以弘扬能够持续发展的战略。”姚襄则说：“这洛阳城虽小，但是四面都有险要的山河作屏障，也是用武之地。我想先占据洛阳，然后再以此为基地开创大业。”不久之后，王亮就去世，眼泪哥姚襄为此哭得很悲痛，他悲痛地说：“难道就连老天爷也不想成全我的事业吗？为啥王亮要舍弃我离去呢？”
桓温的大军一直等到六月后再继续出动，显然是在等姚襄和周成先碰个鱼死网破。因为谯梁的水道已经打通，桓温便请徐州和豫州的友军随后顺着淮水和泗水进入黄河。当桓温率大军进入黄河后，在进军的途中，桓温和幕僚们登上到了一只平乘舫的顶层，他们一起向北眺望黄河北岸的中原大地。桓温望着望着，一时之间感慨万千，不禁说道：“神州大地沦陷于敌手，百年的繁华之地变成一片废墟，这都是王衍等人的罪过啊！”王衍是西晋末年的执政大臣，官至司徒。同时，王衍又是学富五车的大名士兼清谈高手，当清谈时挥舞拂尘的杀马特就是王衍所创的。但是王衍在为人上却毫无政治操守可言，一味只知道清谈和自保，对于西晋宗室间为了争权而展开的内讧却置之不理，八王之乱后少数民族在北方纷纷自立，汉人失去了统治权。当王衍后来被石勒俘虏后，还劝其登上帝位，然并卵，他最后还是被石勒所杀，他的这一番劝进只能为自己留下了最后的污名。
桓温的这番宏论显然是有感而发的，作为其手下就算不随声附和也不应该直接去扫他的兴。不过，这个时候偏有一个愣头青式的人物不识趣地跳出来说：“王朝的兴废自有天命，不一定就是那几个人的过错。”这个不识趣的人就是小名袁虎的袁宏。袁宏和袁乔是叔伯兄弟，其人文采斐然，不过与他的叔伯兄弟袁羊相比，这典型的文艺青年袁虎就很不会体察领导的意图，所以他在桓温的身边时，他的官职一直都没怎么提升。
本来桓温的腹中已经草就了一首一时兴起的咏怀诗，他想等听到幕僚们的一片附和声后就把自己的作品意气高昂地朗声吟诵出来。当听了袁宏这样不识时务的直接打脸的话后，桓温当场就气得连那首诗都忘了，顿了一会儿，他板起脸来对幕僚们一本正经地说到：“我今天要跟大家讲一个故事。你们听说过吗？当年刘表在荆州曾经养过一只牛，它体型巨大，一天能吃十头牛的饲料，但是让它拉车，还不如一头瘦牛拉得远。曹操占领荆州后，就把这头牛杀掉犒赏士卒了！”
当桓温说完这段故事后，站在他身边的幕僚们面面相觑，他们都在猜想这只巨牛到底是指谁呢？“是王衍，还是袁虎？这领导的意思真不好猜”。其实桓温的意思是把袁虎比作是刘表，这袁虎虽说有点楞，但毕竟才华横溢，怎么可能是只无用的牛呢？如果把袁虎比作是巨牛，那桓温自己岂不是变成了刘表。只是领导不点透，大家就只能挠破脑袋地瞎猜。众幕僚都在心底里埋怨袁宏这个说话不经大脑的家伙，这袁宏也是当场发愣了，他一时间柔肠百结，不知道该说些啥来补救。不过这家伙的脾性就是这样，此后也没长多少记性，该怎么干还怎么干，幸亏他遇到的是桓温这个还算有涵量的领导，否则要是落到王敦这种枭雄的手里，都不知道要死上多少回。不过这袁宏也是怪人一个，既然桓温不怎么待见他，他却愿意一直待在桓温身边不离不弃的。
八月六日，桓温的大军抵达洛阳近郊的伊水，姚襄不得已解除了对洛阳的包围，转而全力阻击桓温军队。
姚襄如同当初给殷浩设套的那样故技重施，他先将精锐部队藏匿在伊水北岸的密林之中，然后派出使者到桓温的军中献上降表：“承亲帅王师以来，襄今奉身归命，愿敕三军小却，当拜伏路左。”
姚襄的诡计是想趁着桓温军队后撤之际，发起突然袭击，可是，桓温并没有上当，他回答：“我自开复中原，展敬山陵，无豫君事。欲来者便前，相见在近，何烦使人！”见桓温没有中计，姚襄只好率军从树林中走出来，在伊水北岸结阵，准备凭借伊水阻击桓温大军的推进。
桓温为了激励士气军队，亲自披上铠甲上阵，力督弟弟桓冲及诸将强渡伊水，对姚襄的部队发起了主动的攻击。在训练有素、阵容严整的桓温部队的猛烈冲击下，姚襄所部根本无法抵挡，他精心部署的战阵很快就被冲得七零八落，还被斩杀了数千人。姚襄本人见到大势已去，不得不率领麾下数千骑兵向北逃往洛阳北面的北邙山上。姚襄素有仁义之名，过去他每次战败之后，手下百姓只要知道他下落，总是扶老携幼地奔赴追随。当夜，百姓知道姚襄所在后，抛弃妻子前去投奔他的就有五千余人，随后，姚襄渡过黄河，往东而去，屯驻在阳乡（河南省沁县西南），百姓知道以后，又有四千户尾随而去。当时，还有传言说姚襄已因伤重而死，被拘押在桓温军中的姚襄部民，无不北望落泪。
原冉魏的徐州刺史周成投降东晋之后，就曾经被安置在南阳。当桓温北上攻打苻秦的时候，周成担心桓温借北伐之机顺路行兼并之实，惊恐之下，他率军反叛，离开了驻地南阳，北上攻陷了东晋河南太守戴施所占领的洛阳，戴施则往东退守鲔渚（在今河南省巩义市西南）。
桓温乘胜追击，没能追上姚襄，于是而返回洛阳。困守孤城的周成知道大势已去，丝毫不作抵抗就率众出降了，桓温于是得以雄赳赳气昂昂地领军进入了洛阳城。
桓温在自己四十五岁的时候带兵收复了沦陷四十五年的洛阳，这个巧合对桓温自己本身来说似乎更具意义，也因此对他产生了一些心理暗示。
洛阳因地处古洛水北岸而得名，它东临嵩岳、西依秦岭、南望伏牛、北靠太行，以洛阳为中心的河洛地区是华夏文明的重要发祥地，“中国”二字也因此而生。
桓温在洛阳城的正南门——宣阳门接受了周成的投降后，就跟着周成一路往北走去。宣阳门的后面是一条一主两辅三道并行，宽度共有约十五丈的宽敞大街，这就是当时洛阳城南北轴心的所在的铜驼大街，它北接皇宫，南连城门，两侧对称布置有衙署和寺庙等，是当时洛阳最繁华的大道，周成在投降仪式前就已经让自己的部众将城中的中轴线——铜驼大街尽力地清扫了一遍。
踏着大街上铺砌规整的红砂岩石板，桓温看见铜驼大街的两旁尽是瓦砾碎石，桓温几乎不敢相信眼前的事实，他是经历过苏峻之乱的人，可是偌大的洛阳城目前这番凄凉的景象，也是远远的出乎他的想象力。
我国汉代以前的都城是没有轴线大街概念的。铜驼大街开创了我国古代都城轴线建筑的先例，是我国都城中最早的轴线大街。史料记载，“丝绸之路”的东起点在长安，也就是今天的西安。其实，在东汉及隋唐的很长一段历史时期内，洛阳曾取代长安，成为“丝绸之路”的东起点。满载着宝物的骆驼，曾经悠然地从洛阳城中穿过。那时候的人们主要依靠骆驼来进行东西方物资贸易的运输，人们都将骆驼视为吉祥物，象征着平安和富贵。从西汉时起，人们便开始铸造铜驼，，将其放置于重要集市或商贾云集的繁华街道两侧，或放在水旱码头的货物集散地，增添繁荣。
西晋诗人陆机的《洛阳记》中有“金马门外聚群贤，铜驼陌上集少年”的诗句，描述了当时铜驼大街上的热闹景象。
这铜驼大街是洛阳的灵魂，它曾经有过世上最荣耀的辉煌，有着洛阳城最密集的楼苑台阁，这里曾经商贾云集，尺土寸金，也是贵人们诗酒逐欢、弦歌呕哑之处，但是现在，在铜驼大街的两侧满目可见的尽是颓垣败瓦以及零星可见的临时搭建的遮风挡雨之所。这时，桓温不禁想起了“荆棘铜驼”的典故。
西晋是中国历史上一个既短暂而又黑暗的王朝，公元265年，由晋武帝司马炎取代曹魏政权而建立，定都洛阳。这个统治集团既腐朽不堪，又热衷于相互之间争权夺利，所以为时仅五十一年就亡国了，倘若从灭掉东吴开始计算，则只有三十六年。当时有一个名叫索靖的人，早早就看出了西晋存在的严重问题，对它的灭亡作出了精准的预言。
索靖，字幼安，敦煌龙勒（今属甘肃省）人，出生在一个官宦之家，是东汉著名书法家张芝的姐姐的孙子，父亲索湛担任过北地太守。索靖年少时就有“逸群之量”，与同乡汜衷、张彪、索介、索永在洛阳太学读书，因为才艺过人，驰名海内，时人称“敦煌五龙”。索靖年纪轻轻就被拜驸马都尉，随后历任尚书郎、酒泉太守、大将军、荡寇将军、散骑常侍等官职，封安乐亭侯，他看问题细致入微，目光长远。西晋建立不久，就出现了官僚争相夸富、政治腐败等种种社会现象。他认真分析这些现象，预见到天下行将大乱，晋朝将走向衰亡，但自己又无力改变这一局面，于是郁闷不已。一天，他指着洛阳宫门外的一对铜驼叹息道：“在我的有生之年将会看到你们卧伏在荆棘中！”后来，索靖的预言果然应验。公元291年，西晋发生了著名的“八王之乱”，各个皇室宗亲之间争战不休，持续时间长达十六年，都城洛阳遭到了空前严重破坏。继而，又爆发天崩地裂的永嘉之乱。
时光荏苒，造物弄人，如今的洛阳城经过这四十五年来的风风雨雨和一连串兵燓的洗劫后，早已成为一片人烟稀少的废墟，只余一条空旷的的铜驼大街能够让人依稀感受到当年的恢弘大气。
桓温在周成的引领下一路行至阊阖门，这阊阖门是汉魏洛阳故城的宫城正门，也是当年举行帝王登基或接见四方朝贡者等重大活动的地方，它与宫城正殿太极殿、都城正门宣阳门构成了洛阳城的南北轴线。当初魏明帝为了装饰洛阳城，下令从长安把金人、铜驼、承露盘等各种装饰文物统统移来。一路上历经艰辛，耗费了大半年的光景，最后却只有很少一部分文物能够成功地被运至洛阳，其中最出名的就是那一对高达一丈的汉武铜驼，相传是当年汉武帝为了纪念开通西域而特意铸造的。后来，魏明帝就把这对铜驼安放在了宫城阊阖门外的大街两侧。在铜驼的后面，当年还依次排放着铜马、铜龙、铜龟、辟邪、麒麟、天禄等。
当桓温行至阊阖门时，曾经的那对巨大的铜驼，早已不知去向。桓温沉默了一会儿，心里叹息道：“我已经来了，你却到哪里去了呢？”桓温入得宫城后，满目所看到的只是一片瓦砾场，他一下子惊呆得倒吸了一口凉气。
洛阳是东汉旧都，宫廷及苑囿都毁于董卓之手，曹魏自邺城迁都洛阳之后，就将原来的旧址予以重建。魏明帝曹睿于青龙三年（公元235年）在京师洛阳大兴土木，起太极、昭阳诸殿，筑总章观，又增饰芳林园（后避魏齐王曹芳讳，改称华林园），以示国家的太平景象。
太极殿是新皇登基、大朝会和处理重大事件的正殿，由正殿、东堂、西堂和四周的廊庑组成宫城中最大的殿庭院落。太极殿落成之后，即成为曹魏皇宫的正殿，这时中国太极殿制度的肇始，大凡国家政治活动、元旦大朝、新皇即位、大赦改元、政治决策等重要国事活动都在太极殿内进行。
西晋建立时仍定都洛阳，只是对原有的宫殿和御苑进行了一番的改建和扩建
晋怀帝永嘉五年（公元311年）四月，刘渊子刘聪的部下石勒歼晋军十余万人于苦县宁平城（在今河南省鹿邑县），并俘杀太尉王衍等人。同年刘聪又遣大将呼延晏率兵攻洛阳，屡败晋军，前后歼灭三万余人。六月，呼延晏到达洛阳，刘曜等人带兵前来会合，攻破洛阳，纵容部下抢掠，俘虏怀帝，杀太子司马诠、宗室、官员及士兵百姓三万余人，并挖掘陵墓和焚毁宫殿，史称“永嘉之乱”。“永嘉之乱”中，汉赵（前赵）将领在皇宫纵兵抢掠，尽收晋宫中的宫人和珍宝，其后还纵火焚烧洛阳城，洛阳为之成为废墟。
晋王朝衣冠南渡之后，在都城建康也仿建了太极殿，因此桓温对于太极殿的模样还是有丰富的感性认识的。桓温一边仔细地查勘大殿里的基址、柱础石、础石槽以及四壁的残垣败瓦，一边联想大殿原先的情形和这里面曾经发生的故事。在这里，齐王曹芳曾经被废黜，高贵乡公曹髦曾经被弑，魏元帝曹奂曾即皇帝位，司马炎曾经受禅。也曾经有不少的乱臣贼子对这里趋之若鹜，以致最后都粉身碎骨了。桓温心想，这杨骏、贾南风、司马伦等人为了自己的野心和梦想，他们不惜以败坏朝廷纲纪为代价的，最后不但没能实现自己的目的，反而造成了天下大乱，这又是何苦呢？要是他们当初能够预见最后的结局会是这么一个样子，他们还愿意这么干吗？
随后桓温又跟着周成来到了金镛城。这里是洛阳西北角上的一座小城，城南北成长方形，东、西、北三面城垣各有几处曲折，在曹魏、西晋时为帝后游乐的别宫，魏晋时被废的帝、后都安置于此，城小而固，为防维戍守要地。在这里，贾南风曾经被迫饮毒酒自尽，功败垂成的司马乂在这里被带到火场烤死。在八王当中，桓温对以长沙王司马乂的际遇最为惋惜，这个年轻人对王室忠心耿耿，却被东海王司马越暗算，司马乂被烧死前鸣冤喊痛的声音传出后，三军将士皆为同情他的际遇而落泪的。白云苍狗，世事悠悠，“好人就一定有好报吗？”桓温问自己，也问苍天。
这金墉城虽历经战乱，却能够在大体保持完好，困守孤城的周成平时就在这里署理公务，这里的生活设施也相对的比较完善，因此，他请桓温将行辕暂时设在这里。