西晋时，在北方战乱不断的情况下，江南一带却相对安定。朝廷任命琅琊王司马睿为安东将军，坐镇建业，都督扬州军事。当时司马睿年纪尚年轻，又没有什么功绩，因此文臣武将对他此番出任扬州并不看好，这给司马睿造成了极大的心理负担。
司马睿有一个最亲信之人叫王导，王导出身于世家大族，在朝廷中颇有名望，且有胆有识，有谋有略；审时度势，纵观全局。所以，司马睿非常尊重王导，当他从下邳到江南任职时，带着王导一道同行，让王导担任自己的司马，军政大事都向王导请教。
王导观察到江东一带经济、文化都很发达，人们看重身份、地位及声名，因此，要想在江东站稳脚跟，必须得是名威身重之辈，才能获得当地贵族官僚的支持。王导便为司马睿策划了一个办法。
当地有一个风俗，每年清明节前后，居民们都到江边去修禊，乞求上天保佑能够消灾免祸。这一天，江边、集市上人山人海，所有的大小官僚、有钱人都在，王导便陪着司马睿也到江边去看热闹。
王导让司马睿乘着肩舆（一种用人力扛抬的代步工具，有的上面有顶，有的无顶）在前面走，王导则带领着各级官员随护在左右，毕恭毕敬地侍候着，随行士兵，各个气宇轩昂，很有气势。当地的有钱人和大小官僚都知道王导是大家族中的名流，他都对司马睿这么尊敬，别人谁还敢不尊重呢？都认为这个司马睿肯定大有来头。
江东的大贵族顾荣、纪瞻等也在，他俩看到王导和司马睿的风采，心里也很佩服，便主动地在道路旁边向司马睿下跪行礼，司马睿马上让队伍停下来，亲自下地向他们两位还礼，谦逊、待人亲切，这使顾荣和纪瞻都深受感动。
回城后，王导对司马睿说：“今天外出，效果已经很好，下一步应该将顾荣、贺循、纪瞻等人请出来做官，只要他们一来，其他来求见您的人就会络绎不绝。”司马睿便写一封信，让王导拿着，亲自去请贺循、顾荣等人，这些人见王导亲自送信，都觉得荣幸万分，均表示很乐意出来做官，跟着王导来见司马睿，司马睿将他们一一封官，收在自己的门下。
由于司马睿能够广招天下贤士，且以礼待之，又能知人善任，广开言路，在王导等人的辅助下，不到几年，江东一带人民生活安定，地方出产丰富，官家府库充盈。北方的许多贵族士大夫们纷纷跑到江东来避乱，王导和司马睿又乘机招揽人才，共得到一百零六人，司马睿将这一百零六人征集到一起，任为掾属（帮助主要官员办事的官员，不需朝廷任命），当时称作“百六掾”。
众官员以王导为领袖，北方初到之士皆以为司马睿难成大气候，不足为之效命。但一与王导相交，便觉其乃天下奇才，随即归附，共同为司马睿服务。
在建业城南有一座劳劳山，山上有七个亭子，名叫“新亭”，王导经常和同僚们去新亭游览，有一次，他们在新亭集会，饮酒做诗，周喝了几杯，便情思涌动，念及北方故土战乱，不觉潸然泪下，道：“风景年年都是一样的，可这大好江山却变样了！”情及悲处，竟失声痛哭，众人受感染，一时间亭内外竟泣声一片。王导从容地放下酒杯，站起身来，慷慨激昂地说：“男子汉大丈夫自当心系天下，拯救苍生。今日我等聚在一起便应该同心协力，以恢复晋室大好河山，怎能这么精神不振，只会流眼泪呢！”一席话说得大家心服口服，一齐拜谢王导的指教。后来的“新亭对泣”说的就是这段故事。
317年，司马睿在建康（313年，因避晋愍帝司马邺的名讳，将建邺改为建康，即今天南京市）称帝，史称晋元帝，从此后，晋朝的国都设在建康，晋朝的国土也就在江东一片，所以历史上称这个朝代为东晋。
东晋的建立，在很大程度上归功于王导的王氏家族，所以当时又有“王马共天下”的俗语，“王”指王导家族，“马”指司马氏皇帝。
