1898年（光绪二十四年戊戍），康梁维新变法失败。就在这一年，陈独秀与高晓岚的第一个儿子陈延年在大南门培德巷东口一号出世了。他便是中共五大中央委员、中央政治局候补委员、中共广东区委书记、中共江苏省委书记——陈延年。因庆元的三个儿子遐年、遐勋、遐永比延年大，延年小名叫小四子。延年脑门阔，像陈独秀，瓜子脸像高晓岚。延年的出世，对高晓岚是个安慰。陈独秀年纪轻轻做了父亲，喜上眉梢。
陈独秀和哥哥庆元虽然都是秀才，但赋闲在家，没有生活来源，一家人粗茶淡饭，幸亏有陈昔凡支撑。白胡子爹爹去世后，家中一切，由嗣父陈昔凡做主。昔凡脸色慈祥，眉清目秀，鼻隆耳大，一副富人吉相，此时在辽阳州任过班升道，分省补用，以知府赏戴翎（四品）。延年出生这年春节，陈昔凡回家省亲，临走带陈庆元、陈独秀弟兄俩去东北，一来帮助自己做事，一来减轻家庭负担，此外，也帮助小兄弟俩增加见识。社会混乱，将兄弟俩放在自己身边，可以随时训导。
到了东北，陈独秀帮助嗣父抄写文稿，做些杂事。一次，陈独秀随陈昔凡在东北乘火车，天黑大雨，几个喝醉酒的俄国士兵将中国人赶下火车。陈独秀十分愤怒，中国人买了车票，为什么还被赶下车？甚至被打死？无奈中东铁路的路权属于沙皇俄国。此事，给陈独秀留下了深刻印象。
当时，义和团朱红灯大闹山东，朝廷朝夕不安，东北不如南方安定，陈独秀兄弟于1899年底南还。此时正是隆冬季节，一路天寒地冻，惊鸿四野。弟兄俩日夜兼程，风餐露宿。1900年春节前夕，赶回安庆。本想和母亲查氏过一个团圆的年，不料母亲在两个儿子离开后，已去世。陈独秀靠在门边，泪如雨下。哥哥十年后去世，陈独秀写《述哀》云“关东遭丧乱，飞鸿惊寒弦。南奔历艰险，意图骨肉全。辛苦归闾里，母已长弃捐。”
对于义和团，陈独秀一直印象不好，认为义和团排外，少数人之罪恶。1924年9月3日，陈独秀在《向导》周报第八十一期发表《我们对于义和团两个错误的观念》，纠正了从前的两个错误观点，说：“义和团的野蛮，义和团的顽旧与迷信，义和团时的恐怖空气，我都亲身经验过，我读八十年来中国的外交史、商业史，我终于不能否认义和团事件是中国民族革命史上悲壮的序幕。”
陈独秀回来时，延年已三个年头，开始学走路了。偶尔，陈独秀带着儿子到江边玩一会。1900年年底，高晓岚生下了女儿玉莹，小名筱秀。筱秀出生后，高晓岚更忙了，成天围着锅台和孩子转。陈独秀是闲不住的人，要么在家读书，要么邀上一帮朋友，高谈阔论，很少问延年在做什么。母亲忙着烧饭时，延年经常被吆喝到摇篮前，照看一会襁褓中的妹妹。更多的时间，延年和伯父家的孩子在一起，玩斗蟋蟀、滚铁环等各种游戏。偶尔，陈独秀揭开砚台盖，拔下笔套，写一会毛笔字。嗣父陈昔凡练隶书，擅长绘画，叫陈独秀从小临摹碑帖，少习馆阁体。
1901年4月3日，励学译社在苏州创刊《励学译编》，发行所在苏州胥门内养育巷北女冠子桥墩，并在安庆设代售处。父亲曾在苏州教书，苏州与陈独秀有千丝万缕的联系。他们请参与该刊的发起，《励学译编》第一期卷末记载了“助资诸君姓氏”，其中有“陈仲甫先生捐银三元”。第一期还刊登了安庆代售处及代售人是：“安庆，南门内名利栈隔壁陈仲甫先生”。因为陈独秀打算离开安庆，第二期（1901年5月3日出版）后改为：“姚家口藏书楼何春台先生”。何春台后来也去了日本，第五期后仅写了安庆代售点“姚家口皖省藏书楼”。
《励学译编》是陈独秀最早参与的报刊工作，“南门内名利栈”，是陈独秀家隔壁的商号。“姚家口藏书楼何春台先生”，是藏书楼的小主人。
春天，东北稍安。陈昔凡带信，要陈独秀和庆元再去东北。但陈独秀决定去日本留学，不去东北了。为了凑齐上日语速成班学费，陈独秀找高晓岚要金手镯，妻子怎么不肯，这可是娘家带来的啊！
初秋，庆元庆同弟兄俩相约启程。一个去日本，一个去东北。“相携出门去，顾影各涓涓；兄就辽东道，弟航燕海边。”陈独秀后来写《述哀》诗，追忆了他们弟兄俩分手的情景。那时，他万万没有想到，这是他们兄弟俩的永诀。
