1840年鸦片战争以后，一系列的不平等条约使得清政府的势力迅速衰落。一系列的对外战争，无一例外的是以割地赔款告终。为解决国库空虚，清王朝不得不大肆进行卖官鬻爵，向全国富商巨贾兜售官职敛取钱财。而作为天下巨富的山西商人无一例外地成了最主要的“捐输”对象。到同治年间，晋商们“前后捐输已经五六次，数逾千万两”。常氏家族也通过“捐输”获得了很多虚衔，前后受封者就达126人。
19世纪中叶，太平天国运动爆发，通往武夷山的茶路被摧毁，彻底阻断。失去茶源的常家受到了沉重打击。此时，主持商务的十二世常怿只得南下湘鄂、巴蜀寻访新的茶源。几经考察，选定了湘鄂交界的羊楼峒、羊楼司为新的茶叶基地。但是当地人并没有种茶的经验，常家只好代为引种，聘请技师指导生产，并在当地开设工厂，历尽艰辛，终于建立了一个新的茶叶基地，常氏家族才得以渡过难关。
然而，第二次鸦片战争又接踵而至，俄国以“调停有功”胁迫清政府签订了中俄《天津条约》和《北京条约》。清政府被迫允许俄国商人在库伦等地自由贸易，还给予其免税的特权。
1863年，俄商在常家新开辟的茶叶集散和加工中心羊楼峒成立了顺风茶厂，侵入了常家苦心经营的大本营。俄商采用蒸汽机压制砖茶，每日产量可达80多筐，废品率仅为5%，而常家仍采用较为落后的手工压制，相比之下，输赢立显。俄商利用免税的特权和水陆并运的优势，迅速扩大茶叶贸易的数量，抢占了常家刚刚兴盛起来的所有市场。早在俄商大举入侵的时候，无能的清政府就一边压制本国商人，一边禁止晋商水陆并运，同时还强加给晋商很多重税，把茶叶贩运到张家口，仅晋商所交的税金就高出俄商十几倍。因此，晋商的茶叶贸易量急剧下滑，到1868年，在恰克图的晋帮商号就由120家下降到了4家。
在俄国茶商的排挤下，从小百姓发家的常家和其他晋商们并没有退缩，而是选择勇敢地应战。他们采取“以其人之道，还治其人之身”的战略，先后在多木斯克、莫斯科、赤塔、新西伯利亚等城市设立商号。1869年，晋商在俄国成立商号，第一年就输出茶叶11万担，与俄商贸易量基本持平。两年后，增加到了20万担，超出俄国商人的一倍。山西商人靠自己的智慧与团结精神终于打了个漂亮的翻身仗。
在俄国，常家和其他晋商们大量采用赊销的办法与俄商进行竞争，这本身就存在极大的风险。1910年，俄国政局也逐渐动荡起来，恰克图就有5家俄商先后倒闭，亏欠16家华商60多万两货款，其中常家就占了31万两之多。
在茶叶贸易日渐窘迫的时候，常家又想方设法开始涉足票号业务，并迅速成为后起之秀。光绪十一年（1885年），常家十三世常立训将“大德玉”茶庄改组为票号，总号设在太谷城。由于资金雄厚，经营有方，“大德玉”票号一度与“蔚泰厚”、“日升昌”等持平发展并居山西十大票号之首。光绪初年，常家的商号遍及大江南北，关内关外，最远达到俄国的莫斯科等地，形成辉煌一时的极致。
但“覆巢之下岂有完卵”，国之不存，民将焉附？20世纪初，中俄政局连续动荡，常家成了最大的受害者，好不容易振兴起来的家业渐走下坡路。1904年，日俄战争爆发，常家在关外的商号被俄军抢劫一空，损失甚为惨重。1905年，西伯利亚铁路通车后，俄国商人改走海路经海参崴转铁路运输茶叶，这样一来不仅便捷而且运费低廉，但俄国铁路明令禁止中国商人使用，使得常家的茶叶贸易再度受创。铁路通车两年后，通过海参崴运到俄国的茶叶由20.53万担激增到了79.82万担，而晋商从恰克图输送到俄国的茶叶则由39.53万担骤减到了19.05万担。
1911年，辛亥革命爆发，内战中常家设在全国各地的商号再次被抢掠一空，损失更为惨重。清王朝彻底覆灭，而常家票号贷给清政府的近千万两款项更是有去无回，其他满清贵族的贷款也基本上无法收回。
1924年，蒙古在前苏联的策动下宣布彻底独立，常家在蒙古的财产便全部被没收充公，由此，常家苦心经营二百余年的“万里茶路”从此彻底消失。
