林冲话也没说就上前挑战，二人刀枪相接，你来我往，打得难分难解，不分胜负。这时，只听有人喊住手。二人停住，只见王伦、杜迁、宋万对那人说：“这是我们兄弟林冲，人称豹子头。你是谁？也通个姓名。”那大汉说：“我是五侯杨令公之孙杨志，做过殿司制使官，因失陷花岗石不敢回京赴任，逃走他处避难，如今皇上赦免了我的罪，我正准备回京复职。”
“原来你就是青面兽杨志，我是白衣秀士王伦，前几年去东京应试就听过你的大名，今日有缘相见，就请杨制史到山上少叙片刻吧。”王伦极力邀请杨志。因为他看到杨志武功也非常高，是林冲的对手，如果只留林冲，后患无穷，把杨志也留下，这样他们就可以互相牵制。
于是，他杀羊备酒，款待杨志。
酒过三巡，王伦指着林冲对杨志说：“这位兄弟原是东京八十万禁军教头，因高太尉不容好人，被逼杀了人，才来到梁山。兄弟，你武功虽高，但毕竟是有罪的人，虽经赦免，但现在高俅掌权，他不会容你的，不如就留在这里吧，以后咱们就情同兄弟，有福同享，有难同当。怎么样？”但杨志一心想做官，不愿意落草为寇，辱没了祖上的清白。所以他就委婉地谢绝了王伦的好意。
第二天，送走杨志，王伦才肯让林冲坐了第四把交椅，朱贵坐第五把。从此，他们五个好汉一起在梁山泊打家劫舍。
杨志回到东京，变卖家产，求人疏通了关系，才见到高俅。不料高俅大怒道：“你失陷花岗石不来自首，如今又想来复职，你别做美梦了。”说完便命人把杨志轰了出来。
杨志没钱生活，便把祖上传下来的那把宝刀拿到集市上去卖。站了半天也没人问价，刚要走，却来了一个人，这个人是东京城有名的泼皮无赖，专在街上行凶、耍赖，连开封府都拿他没办法，人称毛大虫牛二。
这牛二来到杨志面前，一把抢过宝刀问道：“这刀怎么卖？”杨志说：“这是祖传宝刀，要价三千贯。”牛二喝道：“这破刀也卖三千贯钱，我三百文买一把，也一样切肉。你说这是宝刀，它有什么好处？”杨志说：“我这刀可不是铁匠铺里的白铁刀，我这刀有三样好处：
第一，能砍铜剁铁，刀口不卷；第二，吹毛得过；第二，杀人后刀口上没有血。”那牛二说：“你口说无凭，做一下让我看看，眼见为实。”于是，杨志便让牛二拿了十二个铜钱，叠在一起一刀砍下去，果然铜钱都变成了两半，围观的人都大声喝彩。牛二不服，又从头上拔了一把头发。杨志接过头发照着刀口用力一吹，那头发便齐刷刷地成了两截。众人热烈地鼓起掌来。
牛二这下就更加不高兴了。他非让杨志杀个人来验证第三个好处。杨志说：“不能随便杀人，就杀一条狗吧。”那牛二得理不饶人：“你说的是杀人，又没说杀狗。”杨志被他缠得不耐烦了，看他也不想买刀，就说：“你不买可以，别在这儿影响我卖刀。”不料那牛二真的耍起赖来，一把抢过宝刀说：“我要买这刀。”杨志对他说：“你想买刀，拿钱来便是了。”牛二说：“我没钱。”“没钱买什么刀呀。”说着就去抢刀，不小心推了牛二一把。那牛二一看杨志打了他，便大声嚎叫着：“你敢打我？”杨志也急了：“我没打你，你说我打你，好，我就打给你看。”那牛二更放肆了：“你打吧，是好汉就杀了我吧。”说着直向杨志身上扑去，杨志忍无可忍，举起刀朝牛二的头上砍去，牛二一下子扑倒在地，杨志又朝前走一步，照着牛二的胸脯连着刺了两刀。牛二顿时血流满地，没有了呼吸，而那把宝刀上一点血都没有。
杨志见牛二死了，便领着众人为证去开封府自首。管这个案子的人见杨志是个好汉，又为本地除了一害，便对他从轻发落，打了二十大板，在脸上刺了字，发配到北京大名府充军，那把宝刀却被没收了。
杨志被押着来到了大名府。大名府的留守司梁中书，名叫梁世杰，他是东京当朝太师蔡京的女婿，此人非常有权势。他看了杨志带来的公文，了解了杨志的情况。因为从前就听说过杨志，今日一见，果然是个人才，立即叫人打开了枷锁，留在府内使用。
梁中书一心想提拔杨志，又担心众将不服，便让杨志与府中副牌军周瑾、正牌军索超比试武艺。大败周瑾，而索超是周瑾的师父，人称急先锋，武功也不一般。杨志和他大战几十回合，不分胜负。梁中书怕有伤亡，就让他们住了手。从此，他们都得到了重用。
杨志在梁府，早晚殷勤，听候使唤，又加上武功高强，很受梁中书的宠爱，早晚与他形影不离。不知不觉到了端午节。
这天，梁中书和梁夫人在家宴上商量如何给岳父蔡京过生日。他说：“我已为岳父大人准备了十万贯金银珠宝，去京城庆寿。但是找谁押送呢？去年送去的财物被贼人劫去了，至今查无所获，今年一定要好好地选拔一个人。”梁夫人说道：“你不是常说那个杨志武艺高强吗？做事又细心，不如派他去。”梁中书说：“看来只有派他去了。”从此，梁中书更加关爱杨志了。杨志也不负重望，更加卖力了。
