唐朝开元四年，有个姓张的大官被贬到岳州当太守。有一天，太守带着随从转到西门外湖边上，看见前面有个圆形石台，上面建了个小亭阁，亭上挂着“阅兵台”匾额。原来这里是三国时期吴国大将鲁肃在洞庭湖操练水兵时修的。
张太守登上阅兵台，远望无边无际的洞庭湖，顿时感到心胸开阔多了。一个随从对张太守说：“老爷，这里既可登高望远，又可观赏湖光山色，如果在高处筑座楼阁，那该多好呀！”
张太守听了，觉得有些道理，便打定主意，只等良辰吉日，动工建楼。第二天立即出榜，招聘名师巧匠。
有一天，从潭州来了一个青年木工，名叫李鲁班，自称擅长土木设计，无论什么亭阁楼台、宫殿庙宇，都能设计得尽善尽美。张太守便命他主管工程，限他一个月内，画出一座三层、四角、五梯、六门、飞檐、斗拱、盔顶的楼阁图样来。
李鲁班成天躲在房子里，画了又画，算了又算，整整搞了七七四十九天，纸样画了一大堆，不是绘成一座土地庙，就是画成一个过路亭。累得满头大汗，还是没有一点结果。
张太守气极了，他对李鲁班说：“眼下工匠来了这么多，只等你的图了。再宽限你7天，到时候交不出来，绝不轻饶你！”
李鲁班吓得冷汗直冒，想来想去，也想不出什么好办法，一个人坐在湖边上哭起来了。木工、石匠见他哭得实在伤心，都跑去劝他说：“哎哟！你这个青年人，何必这样认真呢！不知道就不知道嘛，好好地在张大人面前认个错就是了。”
这时，有位白发老人站到人群前面来了，他对李鲁班说：“我看李鲁班也是从小苦学出来的，如果光躲在房子里画图，是难得画出个好楼阁来的。还是要和别的师傅多多商量才好。”
“看样子，你一定也是个木工师傅了？”李鲁班恭恭敬敬地对老人说：“你老人家见多识广，请你费神帮帮我的忙好吗？”
老人说：“我没有画过图，只不过呢，我这里有些小玩意儿，你若喜欢，不妨拿去摆弄摆弄，或许会摆出一些名堂来的。”老人把背着的包袱打开，里面装的是一大堆长的、短的、圆的、方的，还编了号码的木柁柁。
李鲁班抱起那堆木柁柁，蹲在工棚里苦思冥想，摆来弄去，也没有摆弄明白。
老木匠们也一个个坐下来和李鲁班一起按着木柁柁上面的号码，慢慢地摆弄起来。他们摆了又摆，突然，大家高兴地齐声喊叫起来：“快来看呀！一座顶漂亮的楼阁模样儿做好啦！”
这时，张太守听说楼阁模型造好了，急急地赶来一看，果然气派不凡。他高兴极了，连声称赞说：“如此壮观、雄伟，真可谓天下第一楼矣。”
木工、泥匠师傅们按照那白发老人设计的式样造成了楼阁，并以西城门拱洞作为楼基。由于这个楼阁位于天岳山之阳，所以大家就称它为“岳阳楼”。
