霍元甲的家乡是天津市西青区南河镇小南河村。小南河的霍氏先祖名叫霍利通，其人三世单传，至霍文宣生有三子，为霍大勇、霍大智、霍大信。霍大智又生三子，为霍恩荣、霍恩第、霍恩福。因大勇、大信无子，大智将长子恩荣过继给了大勇，将三子过继给了大信，自己仅留霍恩第一个儿子。后来，霍家三兄弟共生十子，分别为元贞、元善、元栋、元甲、元和、元卿、元良、元祥、元忠、元臣，其中元栋、元甲、元卿为霍恩第的亲生儿子。
霍元甲生有二子，长子东章、次子东阁。霍元甲嫡孙有7人，分别为寿嵩、寿臣、寿昆、寿金、雅亭、文亭、文亮。再往下枝繁叶茂，人口越来越多。
那么，霍氏的祖籍原来是哪里？霍利通又为何到的小南河？
据一代又一代人的传说，霍利通本是三兄弟，原籍河北东光县北安乐屯。三兄弟因受富贵有势力的人家欺辱，为报仇雪恨闯下大祸，不得不逃离家园。三兄弟逃到这里，一个在小南河扎下了根，一个在静海县的阎琢村定了居，另一个则向东北方向逃去，从此没了音信。霍文亭先生在世时曾去东光县安乐屯叙家谱，得知霍氏家族于明、清时代均出过高官。明朝天启元年春二月叙霍氏家谱的霍维华（字钟西），便是当朝癸丑科进士，同年中进士的还有霍天昭。霍维华人称“钟西公”，为安乐屯霍氏第八代，上面第五代的霍氏文所公也中过进士……
东光安乐屯霍氏家谱上说，霍氏原为晋泽高平人，即山西泽州（今晋城）高平县人。
霍氏原为霍叔之后。霍叔乃周文王第八子叔度，因封地在霍国，故人称霍叔。霍国人原姓姬，因沦陷，为纪念霍叔，便以国为姓。后来，霍氏因战乱频仍，几经迁徙，散失各地。汉代的霍去病、霍光其实都是霍国的同姓族人。
