关于香妃的传说，主要有两种。第一个是喜剧结局：香妃天生丽质，身有异香，美貌绝伦。她家世居南疆，兄长因不满霍集占虐政，举家搬到伊犁。其兄在反对霍集占之乱中，心向清朝，并立下功劳。他们受召到了京师，后来长住北京。香妃入宫，受到皇太后的喜爱和乾隆帝的宠幸，生活过得很幸福。香妃死后，乾隆帝闻讯，悲痛不已，恩准将香妃尸骨运回新疆喀什入葬。现在新疆喀什的香妃墓及香妃木棺依然完好。当地维吾尔族流传的也是这个传说。
另一个是香妃的悲剧结局：香妃是乾隆年间平定回部大小和卓木叛乱时，被掳进皇宫的。乾隆因其貌美，且体有异香，而册封为香妃，并对她大加恩宠。但香妃矢志守节，随身怀刃，准备杀乾隆帝报仇。皇太后闻讯，召她入宫，赐死，后葬到清东陵。
然而事实并不如这两种说法那样。
乾隆皇帝一生多情，然而在众多的嫔妃中，有着一个特殊的少数民族姑娘却是他一生最为宠爱的，她就是维族名门霍卓氏之女。当年，霍卓氏入宫的时候已经二十七岁了，似乎已经过了风华正茂的年龄，但是由于她身着维族的服装，而且还遍体生香，与其他女子很是不同。
曾经有一天夜里，乾隆皇帝梦见了一个来自西域、跨骑黄龙的仙女，一手捧镀金白玉天印，一手执钢枝银叶金瓣花，腾云驾雾来到面前，自称奉真主之命嫁于陛下为妃。事后，乾隆皇帝觉得只是一个梦，就没在意。但是，当他看见这个维族女子，玉容未近，芳气先来，既不是花香，又不是粉香，别有一种奇芬异馥，沁人心脾。走近御座前，乾隆皇帝见她柳眉微蹙，杏脸含颦，粉颈琢玉，低鬟垂云，柳腰袅娜，香肩双斜；双手玲珑纤洁，几乎是白玉雕成似的，这才恍然大悟，于是非常怜爱她，并立即封她为和贵人。二十九岁时，又被册封为容妃，她的哥哥也被封为辅国公。1765年乾隆皇帝南巡的时候，容妃随行，到过扬州、苏州、南京、杭州等地。乾隆皇帝曾特意按维族习俗，赏她羊肚片、炖羊肉等清真食物。而在容妃随乾隆皇帝到盛京之时，在塞外的中秋之夜，还特意赏赐了她“奶子月饼”。乾隆皇帝为容妃安排了维族厨师，为她做维族清真饭菜。最为重要的是，为了照顾容妃的饮食习惯以及宗教信仰，乾隆皇帝还特地为她修建了宝月楼。
宝月楼就是今中南海新华门门楼。清朝在乾隆以前，没有维族妃嫔的先例。容妃以维族女子嫁给皇帝，乾隆皇帝不把她安置在后宫，特营建西苑宝月楼，作为金屋藏娇之所。当时，八旗以外的所有百姓都住外城。唯独回回营近在咫尺，依靠九重，这是乾隆皇帝爱屋及乌的缘故。
容妃是维族姑娘，从小就讲维语，不便与那些后宫的妃嫔进行交流，所以，乾隆皇帝为了容妃能够舒服自在地生活，就将她单独安置在宝月楼，这里同皇宫既联系又分割，环境幽雅，湖水涟漪。而乾隆皇帝会维吾尔语，可以同容妃用维语直接交谈。而且，饮食习惯上容妃也与其他嫔妃不同。皇后的正宫坤宁宫兼作萨满祭祀的场所。坤宁宫每日进猪两口，在神案上宰猪，在大锅里煮猪肉，祭祀敬神。春、秋两大祭，元旦祭祀等等，各宫的妃嫔自当侍从。那个时候需要食用一种猪肉米饭，这是回教徒所万万不能忍受之事。所以乾隆皇帝为容妃单独安置一个生活区域。
乾隆皇帝筑宝月楼于瀛台之南，则随时可以驾幸西苑，而不必如临圆明园，路途既远，又烦出驾。容妃在这里则可免去与其他妃嫔争宠之忧。当然还有一点至关重要的就是，容妃与其他嫔妃乃至整个清朝王室的宗教信仰是不同的。满族的宗教是萨满教，乾隆皇帝又崇奉喇嘛教。维族信奉伊斯兰教，要做礼拜。容妃所居之地，隔长安街而对回回营，建回教礼拜堂及民舍，并使内附之回民居住，屋舍皆沿袭回风。容妃站在楼上，可以望见对面的“回回营”，可解思念之情。
1766年，乾隆帝的皇后去世了，但他没有再立任何人为皇后。虽然他很想将这个维族女子扶上正位，但是无奈宫中的规矩，也只能通过赏赐等办法来弥补这一缺憾。
1788年四月十九日，容妃因病去世了，享年五十五岁，陪伴了乾隆皇帝近三十个春秋的异族女子就这样离开了，乾隆帝将她葬在了清东陵，待自己百年之后还要与她再续前缘。
