据《常氏家乘》记载，常氏的南祠堂里曾长期供奉着一把始祖用过的牧羊铲，而常氏宗图上又画着一个牧羊的人。常氏族人说，常家祖先最初是以牧羊为生的。同每一个白手起家、富甲天下的家族一样，常家由贫到富也经历了一个相当漫长的奋斗过程。
常威是常氏家族在张家口经商的第一人。他生于康熙二十年（1681年），始祖常仲林是在明朝弘治年间迁徙到榆次车辋村的。常家世世代代以务农为生，并不很富裕，有时候连解决温饱都很困难。在当时的山西，大多数孩子读几年书便去学做生意了，这是很正常的事。常威幼年时，虽然聪明好学、博览群书，学下去也许会是个仕途之才，但受当时“学而优则商”思想的影响，他一点都不为仕途所动，更不甘心当一辈子从土中刨食的穷人，便决心到外面去闯荡一番。
于是，常威就挎起一条破褡裢，带上前辈放羊时用过的鞭子，开始了自己的淘金之旅，走上了寻求致富的漫漫长路。一路上，他省吃俭用，以给人打卦算命为生，暂时算是谋了个职业，以混口饭吃。他就这样一路风尘仆仆地徒步走到了河北张家口。
靠着自己算卦占卜攒下的银子，在动脑筋摸清市场行情之后，常威用小本钱购进了一些棉布，做起了行商。他走街串巷、沿街叫卖，开始了商业旅程。不管天气多么恶劣，他都坚持不懈。这样经过两三年的艰辛努力，常威渐渐有了一笔小小的积蓄，他用这笔小钱在张家口开了一个规模不大的布店。至此，常家算是有了正式经商的人。
常氏布铺专门销售榆次的大布。榆次大布线紧、幅宽、耐磨，在北方市场很有名气。张家口是关内外商品的集散中心，常氏布铺经营颇有自己的特色，在商铺林立的张家口生意逐渐兴旺起来。常威因从小熟读四书五经，经商遵循儒家道德、恪守诚信、视信义为生命，这也使常氏布铺很快就名声大振。
张家口，也叫东口，口外是茫茫的蒙古大草原，口内是广阔富饶的中原。常威运用商人独到的眼光，瞄准了张家口这个潜力巨大的市场。凭借着淳厚的品质、坚韧的毅力、吃苦耐劳的精神，到康熙五十年（1711年），短短几年间常威已由一个小小的“行商”发展成为拥有铺面的“坐商”，但铺面并不大，甚至连个正式的店名都没有，只是简单地叫做“常布铺”。
据说，有一天，—个金头发、高鼻子、蓝眼睛、西装革履的俄国人走进了“常布铺”。在张家口市面上经常能见到外国人，这本不足为奇，但这位名叫彼得列夫的人是来自顿河流域的哥萨克人。他进店之后，常威很热情地招待，介绍布匹，拿出各种样品供对方看，但彼得列夫对货架上的布只是默默地扫视了一番，他从腰间掏出一把三寸长的小匕首，径直向货架上的样品布射去，只听见咣当一声，刀在接触到布之后应声而落。彼得列夫上前审视这匹布被刺的地方，发现只有微微的一点白痕。他弯腰捡起小刀后对常威说，这把小刀产于北欧芬兰，锋利异常，在整个欧洲大陆都广为人知。榆次大布能经得起这一刺，令他大为惊讶，可见布的结实性。
原来哥萨克人生活在顿河草原，那里的人们强悍尚武，人人骑马，常年打猎游牧，穿行在灌木之间，居无定所，他们喜欢穿一种宽松的长衫，耐磨耐划是他们选择布匹的最重要的标准。经过这番试探，彼得列夫订购了大量的常氏布匹。从此，常布铺开始了它的跨国经营，并且一发不可收拾，常家逐渐兴盛发展起来。
雍正六年（1728年），常氏父子在张家口创立了一个颇具规模的“大德玉”铺号，仍以经营布类及日用杂货为主。后来，常威又从大德玉中抽出资金，成立了一个新字号“大德常”，并将“大德常”与“大德玉”分别交给长子常万玘和三子常万达经营，使常家分离为两个大的商业集团。这两个集团，互为援引，共同发展，成为张家口的重要商家。
长子常万玘注重在国内市场的发展，稳扎稳打，继承了父亲常威创办的事业，以经营布匹和百货为主。常万玘与其子孙在“大德常”的基础上，奋斗百余年，在成都、大同、汉口等地创办了大德美、大德川、大德瑞、大德成、大德亿、大德正、大德旺等十个以“德”字为标志的字号，号称“十大德”，形成了以张家口为中心，遍及大江南北的商业网络，使得常家在晋商藏龙卧虎的张家口，成为众所皆知的商界翘楚。而常万达在张家口老营深深扎根的同时，眼界放得开阔起来，他看到了张家口外的那片大漠荒原，在他的眼中那不是层层涌动的黄沙，而是一个个商业机遇，是沙中的黄金。
常家在山西省的太原、榆次、太谷、大同和省外的北京、沈阳、天津、苏州、上海、汉口等地开设分号，既经营商业，又贩运货物，贸易往来中在沟通商业信息、办理转汇资金、服务经营决策上，起着重要的作用。这些众多商号，除经营大宗的绸缎、茶叶外，像朝鲜的高丽参、长白山的人参、四川的夏布业务都有涉及，做得特别红火，形成了良性发展的局面。
常家从出走张家口的一个小小的算命先生起步，日益壮大发展起来，成了沙漠中的一颗耀眼明珠。
