“公杨氏，字士奇，其先华阴人，南唐虞部府君辂始居庐陵，再世徙吉水，后至允素乃徙居泰和，故今为泰和人”（《东里集》王直作《杨士奇传》）。自第十三世德明、德宽兄弟分县城东、西而居之后，始分两派，子孙多有迁徙，而士奇之上世有复居于清溪者，以诗书行谊，继世不断。如士奇之高高祖叔球，隐居不仕而博识精通，同邑学者有所疑惑，便去向他质疑，问无不答，因此，时人称他为“书橱先生”，叔球长子复圭有三子，第三子贤可（即杨士奇曾祖）名景行号吟窗，尤为出类拔萃，八九岁时从山东村（现隶属泰和县澄江镇）王先生就学时就不同凡响。某日，有一位王氏长者在门外池边散步，景行在室内“见而避之”，长者随口说了一句：人从门内闪。景行应声而对：公向水边沿。恰好王先生有位客人在侧，听后赞赏不已。元延佑二年（1315 年）登进士第，历官会昌、永新州判，抚州路总管府推官，转湖州路归安县尹，“所至皆有惠政”，离任时，“民皆立石颂之”。最后以翰林待制致仕，入《元史·良吏传》。东里，泰和地名，居城东之北，清溪之上。清溪，原系泰和始祖允素执教定居发祥之地。“祖公荣，父子将，皆不仕，皆以文学行谊重于时。”（同上）。可见杨士奇的祖先还是封建官僚，只不过到了他的祖、父这里，才下降为一般的封建知识分子。一三六五年十二月二十三日，杨士奇就诞生在泰和县（古称西昌）澄江镇东里的这样一个普通人家里。士奇的父亲名子将，讳美，一讳顺，生元统二年（1334）三月初四日。原系景行次子公辰三子，襁褓中以景行命为公荣嗣子，文学斐然，性至孝。时值元朝后期，到处兵荒马乱。元至正二十一年辛丑（1361），其叔父杨公武死于“寇”。子将不顾安危，去收葬叔父，被“寇”所执，问子将“你为何不出走？”子将手指叔父的尸体说：“这是我叔父，听说他被害，返回来安葬他。”“寇”重其义，竟释放了他。安葬叔父后奉父命避兵于深山中，那时子将27岁。迨父母死后不久，便又“携家避乱于袁州”（谱载）。
元至正丁未（1367），子将病重，想到“先人德义之事不可泯而无传”，于是在临终前三日，奋力撰写了《杨氏家传》，稿成，叫其弟子超誊录，当子超誊录完给他过目时，他已入弥留之际，当晚便谢世了，时为元至正丁未（1367）农历四月十九日，享年仅34岁。那时士奇一岁四个月。由此，士奇的家境日趋衰败。这一方面是由于元朝末年蒙元贵族的腐朽统治，严重破坏了当时的封建经济，而以江南遭到的摧残尤甚。残酷的剥削和压迫激起了农民的反抗，全国各地到处掀起了农民起义的浪潮，在元朝的主要力量被摧毁后，江南又出现了列强争雄的局面，而江西则成了朱元璋与陈友谅决斗的主要战场，内战的毒焰吞噬着百姓的家园，百姓们生活更加困顿不堪。父亲的亡故，剩下孤儿寡母，士奇家的境况愈加凄凉。士奇四岁时，母亲改嫁给了本县罗性（字子理）。于是士奇也随母下堂，改姓为罗。罗性为县城东厢人，明朝初年，按诏令在郡县立学时，聘为泰和县学教谕，洪武四年乡试中举，因学识德行出众，被敕免会试，直接任命为德安府同知。这样，幼小的士奇就跟随继父、母亲一起到了德安。幼年的士奇是个极聪慧的孩子，平时他“偶对语多奇绝”，曾被亲友们称为“千里驹”。但他也是个自尊心相当强的儿童。每年清明、冬至，罗府都要举行隆重的祭祀祖先的礼仪，凡罗家子弟一应参加，唯独不叫士奇。当士奇六岁时，私下里向母亲问个究竟，母亲向他哭诉了自家的身世及父亲死后的艰难经历。孤寒的身世，易姓的羞辱，以及封建孝道的影响，使士奇过早地成熟了。他仰慕自己的祖先，怀念早逝的亲父，以及一听到祖父和父亲的名字便潸然泪下。七岁时，他偷偷地在一间客室中设立了先祖神位，拿砖块作灵位，用虔诚的礼仪跪拜祭祀三世祖先。他天天早晨如此，时间一长，这事被人发现报到继父那里。一天清晨，士奇又来到小屋中拜谒，他继父携母亲一起在窗外偷看，见他那进退跪拜的样子，继父感动得流下了眼泪。罗子理也是个读书明理的正直知识分子，他看出士奇性格极其刚强，很理解孩子的心情，因此事后便命士奇恢复了杨姓，并亲自把杨家祖先的家世告诉了士奇，勉励他努力上进。但是不久，不幸又一次降临到士奇母子头上，罗子理“坐擅用枣木染军衣，谪戌西安”《泰和县志·罗性传》。于是便打发士奇母子回到了泰和杨氏老家。
几年无主的故园，已是一片萧索，家境更加败落。“余少时汲杵臼之事，皆亲执事（杨士奇作《慈训录》）。刚刚九岁的士奇，由于整天喝粥，饿得连打水杵米的力气都没有，但是贫家出孝子，少年的士奇已经深深懂得做人和读书的重要，学习也更加发奋。他每天早晚帮母亲做事，日里读书。他学习非常认真，据载：士奇在书院“读书作字，心不外驰，诸生以弄事，百方挑之，未尝一顾。暮归，挟书册独行，道间步履徐徐，貌如有所见者。道旁观者，啧啧以语其子弟曰：若曷不为然哉！”（《泰和县志·杨士奇传》）这段文字生动地为我们描绘出幼年士奇刻苦学习、言行谨慎的风貌。士奇这种性格的形成，是深受母亲影响的。杨士奇的母亲姓陈，名元贞，又名开年，本县柳溪陈以静先生之女，是一个书香门第出身的闺秀，十六岁嫁到杨家，二十九岁孀居。生于元朝至元五年己卯（1339）二月十六日，终于明洪武三十一年戊寅（1398）六月十三日，享年60岁。她从小曾从父兄念过书，当兄弟们讲论诗书时，她很留意旁听。对于《孝经》、《大学》、《论语》、《孟子》诸书都能背能解，对古往今来的史事，也能记下很多，有独立阅读和思维能力。她通晓诗书大义，每天都要亲自教授士奇“以先世文学行谊之盛”，激励士奇的上进心，因而士奇也更加勤奋自励。他把母亲的一言一行都记录下来，日子久了便积累成册，编成一本《慈训》。母亲的言传身教陶冶着士奇的禀情，因此直到他后来当了高官，仍在文中念念不忘老人家的“保育教训之恩。”（《杨氏祠堂复建记》）慢慢地，士奇这种持重好学的精神，博得了一位老先生的青睐，这人就是士奇母亲的伯父陈先生。陈先生曾经教过士奇的父亲，是位博学的宿儒。他看出士奇很有出息，能嗣父志，非常爱重，于是“召而教之”。后来甚至不管走到哪里都必带着他。由于战乱家贫，士奇没有书，所学的《五经》、《四书》、《左传》都是自己一笔一划手抄的。母亲见他这样用功，高兴地说：“我儿可以继承祖先的事业了！”的确，士奇没有辜负老人们的希望，不几年便学业大进，到了十二、三岁时就已经名传四乡了。十五岁时，他就应地方之聘开馆授徒，从此他便开始了二十年的教书生涯。
士奇幼年的生活是不幸的，但是这些接踵而来的遭遇却激发了他强烈的事业心进取心，艰难的生活也磨炼了他的毅力，增加了他对民间疾苦的了解，同时，他母亲和叔外公的言传身教，《四书》《五经》的熏陶，使得那种立志成名、振兴杨家的孝道观念和为之紧密相连的关心百姓和忠君思想，成为他一生活动的核心和准则。总之，他完全按照一个标准的封建知识分子的模式成长起来。
