东晋时，葛洪举家南迁，在罗浮筑庵修道炼丹。咸和五年（公元330年），在广州刺史邓岳的帮助下，葛洪在麻姑峰下修筑了南庵，名曰都虚（又称玄虚）。以后又陆续在罗浮山东、西、北面修建了东庵、西庵和北庵。葛洪在罗浮山采药治病，筑灶炼丹，修道授徒，著书立说，终成中国道教史上魏晋丹鼎道派最杰出的代表。东晋义熙初年（公元405年）扩建都虚庵，增建“葛仙祠”，祭祀葛洪。
《新唐书》载，唐玄宗天宝元年（公元742年），“天下大旱，终南山竹结实。岭南亦然，竹并枯死。是岁大饥，（民）取竹实食之。”唐玄宗派道士申太芝至罗浮，在都虚庵前设百尺石坛，祭山求雨，并下诏循州（今惠州）官员一同祭祀，继而改葛仙祠为都虚观，设置守祠十家，看守打扫道观，同时安排两名道士，专司祭祀之事。自此之后，都虚观声名大振，道众如云，游客如潮。正如宋代名道士白玉蟾所说：“此时大显，遂兴观像。”而罗浮山中葛洪的东、西、北庵，也陆续分别被改修扩建为白鹤观、黄龙观和酥醪观。罗浮道观成为葛洪所创立的岭南道教南宗灵宝金丹派的发祥地及活动中心。这样的道观格局，一直延续至今。
宋元祐二年（公元1087年），宋哲宗赵煦下诏赐“冲虚观”额匾，把都虚观改名为冲虚观。此名近千年来沿用至今。现在观门额匾“冲虚古观”，乃清代督粤使者瑞麟所书。至于都虚观为什么要改名为冲虚观？“冲虚”一词的含义是什么？对此问题，众说纷纭，回答不一。有的说是出自道家经典《太玄真一本际经》所云：“元始天尊生于太元之先，禀自然之气，冲虚凝远，莫知其极。”对一般人来说，这个解释过于深奥难明。其实，在宋哲宗时期，罗浮山除都虚观外，已陆续建成孤青观、九天观、白鹤观、酥醪观。按道教传统，一山同有五间以上道观者，其为首之观，应冠以“冲”字，道教称之为“五观一冲”。宋哲宗依道教习俗，为罗浮首观赐匾为冲虚观，说明他对道教传统还颇有研究。这就是“都虚”改名为“冲虚”的最简单明了的原因。
据（宋）霍《冲虚古观记》称，宋徽宗政和元年（公元1111年），冲虚古观因“观创已久，因循不葺。三清殿与仙圣祠象，风摧雨漏，罅挠拂支者过半。”住持梁智芳募捐重修，得到各方支持。被宋徽宗封为“金坛郎”的邹葆光“亦出钱五万，赞其成事”。对冲虚观这次重修，霍在《冲虚古观记》一文中作了详尽记述：“富者出财，壮者出力，智者献画，匠者效工。去其腐败而易之以新坚；增其基之卑薄而筑之以高峻。草陋就华。靖功既告，可支百年。”重修工作于政和五年（公元1115年）全面完工。冲虚观重塑“罗浮二山，诸观为甲”的首观形象，为历代游人所推崇。以致“车马相属于道不绝，而游人逸士、幅巾杖履往来无虚日也。”
正因为冲虚观所在之地，实乃稚川成仙得道之处，丹灶俱存。历代王朝遣使祭醮降香，府郡监司祈祷降雨接福，其祭坛都设在冲虚古观。唐玄宗天宝元年（公元742年），天下大旱，唐玄宗派道士申太芝到罗浮冲虚设坛求雨；宋孝宗淳熙元年（公元1174年），惠州太守王宁受命祭山；元大德十一年（公元1307年）七月，惠州路总管完颜遣武奉皇命到冲虚观，请道士黄闲真开坛设国醮；至大元年（公元1308年）十一月，惠州路同知完颜可山祭罗浮山求雨。冲虚道人黄菊岩祀毕，“阴云流布，么凤幽鸣，油然雨意，见者鼓舞。”这些活动，都使冲虚古观成为历代祭祀的圣殿，而盛名远播。
据明人尹守衡《募修罗浮名胜疏》记，到了明代，自嘉靖到崇祯年间，群盗流窜罗浮，劫掠寺观，冲虚损坏更甚。又经风雨摧残，日渐颓废。以致“葛仙翁丹灶药炉，狐邱虎穴；文皇帝金书玉简，荆束铜驼；冲虚观一洞道房，十崩九破”。官至礼部尚书的博罗名人韩日缵更惊叹：“历览佳境，非一木未有厄运如兹。”于是他牵头汇集粤中名人，如东莞名将袁崇焕、中山名儒何吾驳、博罗名儒张萱、南海名士陈子壮，以及尹守衡、崔奇观、李孙宸等人，每人各写一篇《募修罗浮诸名胜疏》，利用他们在粤中声望，四处募捐巨款，重修冲虚及罗浮佳景。在各方人士的鼎力支持下，冲虚古观终于重展辉煌，香火再续。当时的名士冯元飚还写了一篇《朱明道院上梁文》以记此事。
清代，冲虚观也屡有废兴（参见第五章第二节）。
民国初年，住持余宗耀、梁信友先后对冲虚古观作了较大的维修。在观西扩建了几十间砖瓦客房以备香客之需。
1945年2月，东江纵队的江北支队、西北支队和纵队领导机关先后集结在罗浮山。司令部设在冲虚观，政治部设在白鹤观，《前进报》报社设在朝元洞。中共广东省临时委员会和广东军政委员会都设在冲虚观内。1945年7月6日至20日，中共广东省临委在冲虚观召开扩大会议。此时，冲虚古观成为中国共产党广东省党政和军事指挥中心。
全国解放后，1950年春至1951年春，博罗县政府在冲虚古观复办罗浮中学，先后招收二个班80人，不久，校址迁到九潭赤沥。1953年，解放军部队进驻罗浮山一带。冲虚古观被用作一九九医院，观内部份建筑被改为办公室、宿舍、食堂。部分建筑被修改或拆除。至此，冲虚古观的道教活动全部停止。但是，正因为人民解放军的进驻，冲虚古观特别是三清宝殿及三清塑像能得以完整保存下来，逃过文化大革命“破四旧”那场浩劫，这不能不说是一个历史奇迹。
冲虚观于1979年被广东省列为省级文物保护单位。1983年又被国务院批准为对外开放的全国重点宫观之一。随着开放改革的大好形势，1985年3月25日，冲虚古观由驻军医院正式移交回当地政府接管。由全真龙门派道人黄诚通、余信昌、赖保荣管理，并处理观中维修事务。县政府拨出维修专款，港澳同胞特别是香港圆玄学院等道门中人鼎力扶持，冲虚古观重修全面竣工。1986年1月4日，举行了隆重的开光仪式。从此，千年古观沐浴着开放改革的春风，翻开了崭新的一页。焕发着时代光彩的千年古观一展新姿，向千百万游人展示千年的历史和今日的辉煌。
冲虚古观现在的冲虚古观，坐北向南，主体建筑为四合院式庭院，含山门、正殿两廊和偏殿等，总面积为四千四百多平方米。进门是王灵官殿。正门屏风后，过中天井，便是主体建筑三清宝殿。三清宝殿左侧有“葛仙祠”，右侧有“黄大仙祠”，葛仙祠东南有“纯阳宝殿”，三清宝殿前有百年丹桂，黄大仙祠右侧有明代古卉九里香。冲虚古观外，有稚川丹灶、洗药池、东坡亭、会仙桥等古迹。
1990年，冲虚观被列为国家级重点文物保护单位。广东省道教协会成立后，冲虚古观就成为该协会的驻地。现任冲虚观住持赖保荣是全国政协委员，中国道教协会副会长，广东省道教协会、惠州市道教协会和博罗县道教协会会长。
