升平四年（360年），桓温一招不大不小的试应手起作用了：大名士谢安居然肯应邀出任为自己帐下的征西司马。桓温虽然对此略感诧异，但也为此而感到不少的兴奋。
说到谢安，不得不提起这个对于东晋中期的政局产生过重大影响的家族。据说谢氏出自姜尚（姜子牙）一脉。话说当年姜尚的幼子姜佐，曾被册封于申（即河南省南阳市），这是申侯的始祖。据《竹书纪年》记载，在西周后期，即周宣王七年（公元前821年），申侯的长子申伯（名字叫姜诚），因协助大臣尹吉甫征伐猃狁有功，被封到谢邑（今河南省南阳市宛城区谢营村）这个地方，姜诚也改姓为谢，成为中华谢氏的始祖。江南谢氏公认来源于陈郡阳夏县谢家堂村（今河南省太康县老冢镇谢家堂村），一世祖为谢缵，在曹魏时期为职位不高的典农中郎将，其子谢衡，为西晋太子少傅，进入了权力中枢，谢衡生三子：谢鲲、谢裒、谢广。
谢鲲，就是那位因调戏邻居美女，被对方投梭而撞断两颗牙齿的大名士，谢鲲有二子一女，即谢嵘、谢尚，女儿谢真石。
谢裒有六子，分别为谢奕、谢据、谢安、谢万、谢石、谢铁。
谢广子嗣不详。
先简要介绍一下谢鲲这一支：
谢鲲的女儿谢真石，就是褚裒的妻子，生女褚蒜子，嫁给晋康帝，即褚太后。大帅哥谢尚就不再赘述，他娶了同郡袁耽的妹妹袁女正，只生下两个女儿：谢僧要和谢僧韶，后来，谢尚将堂弟谢奕的次子谢康过继为子。谢尚的长女谢僧要嫁给了庾亮的幼子庾龢，生子庾恒，后为尚书仆射；谢僧韶嫁给了殷浩的堂弟、殷融的儿子殷康，生子殷顗。
接下来介绍一下谢裒这一支：
谢裒的长子谢奕，就是桓温的方外司马，他有三子：谢渊（小字川）、谢靖、谢玄。谢渊早亡，生子谢焕，谢焕生子谢诲。谢靖二子谢肃、谢虔。谢玄，小字羯，为淝水之战主将之一，立下大功，他生子谢瑍，愚钝且早死，谢瑍生子谢灵运。隔代遗传的谢灵运天生聪明伶俐，文采斐然，他爷爷谢玄曾说：“我尚且生下谢瑍，谢瑍却怎能生下灵运！”谢奕有女儿若干，其中长女就是大名鼎鼎的谢道韫，嫁给王羲之的儿子王凝之；幼女谢道辉，嫁给桓温三弟桓豁的儿子桓石民。
谢裒的次子谢据早死，生子谢朗、谢方、谢允。谢朗，小字胡，隆安元年为东阳太守，也称谢东阳，谢朗生子谢重，谢重为会稽王司马道子长史，谢重生子谢瞻、谢晦等五子。谢方早死，无子，过继谢安儿子谢琰第三子谢混为子。谢混的文章号为江左第一，娶妻孝武帝女晋陵公主，后因党附刘毅被杀。谢允生子谢裕、谢纯、谢甝、谢述。谢裕的女儿嫁给了宋武帝刘裕的儿子、庐陵王刘义真。谢述之孙就是谢眺。
谢裒的三子谢安有两个儿子三个女儿，儿子是谢瑶、谢琰；三个女儿分别嫁给太原王坦之的儿子王国宝、琅邪王洽（王导第三子）的二儿子王珉、陈郡文士袁质。谢瑶早死，生四子：谢该、谢模、谢澹、谢璞。谢琰，在淝水之战中与堂兄谢玄一起，以八千精兵大破前秦军队，十余年后，在与孙恩交战中失败，被部下所杀。谢琰共生三子，分别为谢肇、谢峻、谢混（过继给堂兄谢方为子）。
谢裒的四子就是谢万，谢万有子谢韶，小字封，被称为谢家子弟中最优秀者，谢韶的儿子谢恩曾做过武昌太守。
谢裒的五子谢石，字石奴。为淝水之战中的最高指挥官，谢石子谢汪早死，以从兄谢翀子谢明惠为继子，谢明惠在孙恩之乱中被杀。
谢裒的六子谢铁有三子：谢邈、谢翀、谢胜，其中谢邈、谢翀均在孙恩之乱中被杀。
谢氏一向非常重视与其他大族的联姻，在谢鲲一代，谢鲲结婚中山刘氏，即刘琨家族，而中山刘氏又与太原郭氏、范阳卢氏、清河崔氏、河内司马氏联姻，这为谢家逐渐靠近上层铺平了道路；到了谢安一代，又与太原王氏、琅邪王氏、陈郡袁氏、高平郗氏、河南褚氏、沛郡刘氏、琅琊诸葛氏、泰山羊氏、长乐冯氏等大族联姻。谢裒早年就想与高门诸葛恢联姻，而当时的诸葛恢却还看不上谢家，直到诸葛恢去世，谢裒才为儿子谢石娶到了诸葛恢的小女儿诸葛文熊。
陈寅恪先生认为，东汉丧乱之后，学术文化重心由京太学转至地方豪族。陈先生说：“所谓士族者，其初并不专用其先代至高宫厚禄为其唯一之农征，而实以家学及礼法等标异于其他诸姓。”又说：“夫士族之特点即在其门风之优美，不同于凡庶，而优美之门风实基于学业之因素。”由于汉时的选官制度使得世家子弟明白了修习儒学的利益，以儒学起家者众多。王伊同先生说：“东京以降，门第渐盛，其初多以经术进，累世清贵，遂成名门，杨袁是矣。”
然而，到了东晋标志门阀清雅的是玄学清谈。“麈尾扇是王谢家物”，琅琊王氏、陈郡谢氏、河北裴氏等家族中便有大批玄学名士产生。这不仅仅是一种时髦，更重要的是可以从中获得实际利益。士人以玄谈方可招致令誉，这在特重人物品评的魏晋时极为重要。只有获得舆论注意，才能获得跨入仕途的机会，为家族利益谋取保障。到了谢氏家族的谢尚、谢奕、谢万的那一代，他们以“狂诞”的名士声誉获取了一定的政治地位，奠定谢氏家族崛起的基础，不过，要保证家族利益的不被侵害，还需要与其他大族结成盘根错节的政治攻守同盟。
东晋门阀士族之间相互提携的手段很多，主要是：一是相互品评、赏慕；二是结为政治婚姻，比如琅邪王氏中的王羲之父子与高平金乡郗鉴家的联姻，就是王导与郗鉴之间的政治联姻；三是在仕途中相互提携。东晋门阀士族门户的高低攀比，并不取决于“冢中枯骨”，也就是说与先祖官位的高低关系不大，而更取决于近代门户的政治实力，因此，这些温文尔雅的东晋名士的内心当中的价值观和婚姻观，并不总像他们所表现出来的那样隽永淡然，而是非常现实，甚至非常势力眼的。
由于本身家学渊源深厚，又重视婚姻经营，本来门第不高的谢氏经过数代的努力后越来越接近权力的中枢。谢安本人不仅对各个大族之间的关系了然于心，而且对此种关系的运作也是非常重视的。不过，门第的婚姻关系不过是锦上添花，要真正能够让家族站起来的，就是要培养出优秀的门户出仕代表。
对谢氏家族来说，在隐抑或朝仕的问题上，起关键作用的还是从整个家族的利益来考虑的。东晋时先后处于权力中心的王、庾、郗、桓、谢诸家，或凭借与司马睿的历史关系，或由于南渡的特殊贡献，得以列入当朝门阀政治的尊显位置，这就形成东晋门阀重门第兼重人物的风气，假如无适当人物为家族代握权柄，其门户统治地位必然为其他士族家族所替代。王导死，则琅琊王氏哀；庾翼死，颍川庾氏沉。可见，一个家族如果能够出现一个杰出人物作为当家人，则整个家族都可以获得兴盛。士族重视本家门户重于国家存亡，在他们看来，世上最重要的是他们家族世代相传的基业，只要不触及这一根本利益，他们可与任何性质的政治力量合作，甚至包括异族的势力。因此，士族子弟的出处仕隐尤以家族利益为重。这一点在谢安身上有极大的代表性。
谢安的人生可分为两部分：前期的隐和后期的仕，在这两个阶段，他都获得了极高的声誉。在他早期的隐逸生活阶段，其从兄奕、尚、万已经先后就任豫州刺史，按照门阀士族排资所看重的当今家族成员官宦状况的标准，谢氏家族因此已经稳居统治阶层的上流甲族。在谢奕等人的荫佑之下，家族利益已经有了根本的保障，这正是谢安得以高卧东山的基本条件。自从郭象和向秀的“独化论”提出后，东晋的士风较西晋有所变化，士人们已经从“狂放”、“任诞”、直接对抗礼教的表面化行动转而追求内在精神上的逍遥与自在，这是往“放达”方面发展的高层次的精神性转化，而谢安无疑是此风的典型体现者：他是士林清谈的领袖，与当时的名僧支遁、竺道潜等频频交往，与王羲之、孙绰、许询等人同为好友；他因鼻炎而作“洛下书生咏”，一时人众纷纷模仿；他就是随便拿一把蒲葵扇，做一件布衣，都可以成为杀马特的标杆。可以说，谢安的“东山高卧”是一种封建士大夫所向往的一种归隐式的理想生活。
早在谢安还是一枚小鲜肉的时候，扬州刺史庾冰就曾因谢安的鼎鼎大名而要将其招到自己的幕府之中，他多次下书郡县去催促，谢安在不得已之下就到了建康，然而，他仅在庾冰府中呆了一个多月，就因受不了枯燥乏味的行政工作而辞职回家了。之后，朝廷分别起用他为尚书郎、琅琊王友，都被他坚决地推辞了。好事多为的吏部尚书范汪曾经举荐谢安为吏部郎，谢安竟然因此给范汪写了绝交信。谢安对于出仕的这种傲娇的态度既获得很多人的赞许，但也招来了不少人的非议，还有人还因此建议朝廷对其“禁锢终身”，永不录用。
谢安自己固然很享受风平浪静的隐士生活，不过世事难料，自从谢安的堂兄、豫州刺史谢尚去世之后，继任豫州刺史的谢安的大哥谢奕在豫州刺史任上仅呆了一年左右，也去世了，而继谢奕为豫州刺史的谢安弟弟谢万呢，也只是在任上呆了一年多，就于升平三年（公元359年）的十月，因兵败而被废为庶人。随即，豫州这一谢家苦心经营了十五年之久的半世袭的方镇，也落到了桓温的弟弟桓云之手。谢氏作为一个曾经有政治实力支撑的门阀士族突然间走到了一个十分危险的十字路口：要么继续沉沦，成为象琅琊王氏那样在政治上无足轻重的逐渐边缘化的高门；要么通过在官场上的打拼，重拾昔日的辉煌。
即便是处于极其适意自在的隐居生活当中，谢安还是念念不忘他的家族利益。谢安曾经问诸子侄：“晚辈的事又跟长辈有什么关系呢，而为什么长辈们都希望自己的晚辈成材呢？”其他人都不知道该怎么回答，只有谢玄回答道：“譬如芝兰玉树，欲使生于阶庭耳。”谢安在平时的家庭生活里，很注重以自己的言行来教育晚辈们。他曾经问侄女谢道韫：“《毛诗》何句最佳？”谢道韫称：“吉甫作颂，穆如清风。仲山甫永怀，以慰其心。”谢朗则说：“昔我往矣，杨柳依依；今我来思，雨雪霏霏。”而谢安却说他很欣赏《诗经》里的那句“訏谟定命，远猷辰告。”意思是以胸怀宏大的谋略来确定政令，把长远的计划昭示于众。有一次，当谢安正与几个晚辈呆在一起闲聊的时候，不一会儿就下雪了，谢安考大家说：“这雪象什么？”谢安二哥谢据的长子谢朗说：“撒向空中的盐与此差不多。”而谢道韫则说：“不如说象柳絮被风吹起来。”谢安听后十分高兴。谢安的妻子是刘惔的妹妹，曾对谢安说：“怎么从来没见到过你教育孩子。”谢安却说：“我时时刻刻都在用我自己的言行来教育孩子。”谢安的三哥谢据在其小时候曾经上屋顶熏老鼠玩，谢据去世后，他的儿子谢朗曾经听人说有个呆人干过这种蠢事，就经常拿这个故事当做笑话讲给人听。有一次，谢朗当着谢安的面又提到此事，谢安知道他不了解此事就是自己的亡父所为，就平淡地说：“世人常拿此事诽谤中郎，还说是我与他一起干的呢。”谢朗听罢，羞愧得一个多月都不曾出门。有一个夏日的清晨，谢安来到侄儿谢玄的家里，谢玄正仰面大睡，听说叔叔到来，谢玄还来不及穿衣，就赶紧跑到屋外，等穿上衣服鞋袜后，再恭恭敬敬地回来拜见，谢安笑着说：“你这就是所谓的前倨后恭吧！”从上述例子可见，谢安对子侄辈的成长是充满着关怀之情的。
因此，为了确保本家族的既得利益，为了子孙后代们的长远利益，当此门户势力面临沉沦之际，谢氏家族当中必须有人挺身而出，执掌起朝廷的一方大权，这个家族才能维系崇高的士族地位，也才可以允许家族中另外的一些人物过着优哉游哉、沽名钓誉的理想生活。在众多家族成员的热切期盼下，欠了家族这么多年帐的谢安这次终于下定决心出山还债了。