据说，会仙观所在的山坡上，原来并无如此规模的道观，只有一座很小的土地庙。因庙小神卑，香火不盛，故而很少有人光顾。其西隔河相对的五龙山应感庙内，有一修行道士，名叫贾志韬。年复一年，他潜心修炼，每夜子时，都要到庙前坪地上盘膝打坐，苦练吐纳导引之术。一日，他正端坐练功，眼观鼻，鼻观心，以意领气，气归丹田，忽觉丹田气息涌动，沿督脉而上，直冲头顶泥丸宫。贾道士感觉有异，微启双目，只见东边二里之处的山坡上，有一股紫色祥光冲起。他仔细辨认，发现紫气出自那座年代已久的土地庙。贾道士心中诡异，疑是神人天降，就想前去看个究竟。
贾道士下得出来，一路奔行，腿轻脚快，似有神助，路上的洼坎坷似乎突然不复存在。在接近土地庙时，为了不惊动神人，他放轻脚步，屏声静气地慢慢靠近庙门，想从门缝中瞧瞧这股祥光到底发于何物。当他正要向内看时，忽然们内传话来；“贾道友，既然来了，不进门偷看咋得？”
贾道士吃了一惊，果然是真神降临，不然他怎么会在黑天瞎地里洞苦观火！于是神案上坐着一位道袍道帽，长须飘拂，一派仙风道骨的道士。他仔细端详，似曾相识，莫非这道人就是应感庙壁画“八仙过海“中所画的那仙人吕洞宾？于是他试探着问：“仙人莫非吕祖师？”那道人颔首到：“贫道吕洞宾是也。”贾道士连忙磕头，口称：“弟子不知祖师驾临，怒罪怒罪。”那道士呵呵一笑，说声：“不罪，请起。”贾道士忽觉一股力道凭空将他托起，他不敢造次，躬身垂手站在一旁。
吕祖说：“召你前来，系因你虔诚求道，当有所成，故而格外眷顾。今夜八仙特邀道祖在此聚会，让你前来瞻仰仙容，你要小心伺候，不可托大。”
贾道士一听今天能亲眼目睹众仙和道祖，喜从天降，连声诺诺，动手收拾庙内庙外。
须臾，东方天际霞光万道，瑞气千条。霞光瑞气中，李铁拐、汉钟离、张果老、何仙姑、韩湘子、曹国舅、蓝采和一众仙人驾着五色祥云相随而至，徐徐降落在土地庙前。吕洞宾呵呵笑着从庙内迎出，和众仙见礼：“各位道友，请了。”众仙拱手还礼：“请了，请了。”一时间天地氤氲兰香馥郁，笙歌嘹亮，笑语声声。吕洞宾问：“何不见刀俎同来？”众仙说：“就来，就来。”话音未落，只见莲花万朵从天而降，一派仙乐缭绕中，太上老君头顶光华四射，骑青牛，执拂尘，缓缓降下。众仙急忙稽首相迎。
贾道士见状，急忙脱下身上道袍，铺在院内一块大石之上，就请道祖上座。吕洞宾用手一指，石块化作一个锦礅。道祖微微颔首，跳下青牛，上前坐了。李铁拐用手一招，一架几案出现在道祖面前。于是众仙各实神通，相继变换出一应陈设及各种应用物件，然后依次重新参拜道祖。贾志韬拉过青牛，栓在庙旁的一棵树上，返回后亦随众仙参拜。接下来，各位仙人争相献上仙桃、仙果、龙肝、凤髓、千年佳酿、万寿仙丹，围着几案团团而坐，听道祖讲道。这时，丹凤飞舞，瑞鹤蹄鸣，杯盏交错，众仙欢饮。
俄顷席散，道祖说：“我等仙人难得一聚，这里应有一座宫观，往后我等有空，可常来聚会。”众仙称善。于是，道祖起身，手中拂尘一摆，随后深呼一口仙气，一道闪光过后，原来的土地庙不见了，只见一座规模宏伟的宫观出现在眼前。道祖召贾道士近前，说：“志韬，你成仙有望，可先在此担任道长，管理此处宫观，飞升有日，望你好自为之。”说罢，跨上青牛腾空而去。众仙送别道长后，亦互道珍重，相继散去。
又过了若干年，贾志韬羽化成仙，白日飞升。
再后来，不知到了那个朝代，皇帝闻知，御笔亲书金字牌匾，封这座宫观为“会仙观”。据说，此后太上老君和八洞神仙，还有天上的其他仙人，曾多次在此观中聚会。所以，传至今日，便有人将“会仙观”称“天上众神仙的‘人民大会堂’。
