杜林见隗嚣如此反复无常，每每有良言入耳，便能好上几日，可随后就又生自立之心，知道他终有一日会据汉自立，于是产生了离开的心。

杜林多次向隗嚣辞行，都被隗嚣拒绝，并将他软禁了起来。

众人听说隗嚣把大贤杜林囚禁了后，一时间议论纷纷。

隗嚣对众人说：“杜林这个人孤傲的很，天子也不能驾驭他，诸侯也不能做他的朋友，他大概就是伯夷、叔齐这样的人，宁愿饿死也不吃周朝的一粒粮食。我对他亦师亦友，可他偏偏要离去，我也并非囚禁他，我只不过是爱惜他的才华，不忍他弃我而去，我每日好酒好肉的招待他，不曾有过半点怠慢。”

众人听隗嚣如此说，也就不再所有议论。

可过了没几天，杜林的弟弟杜成暴病身亡，杜林再次向隗嚣请辞，说要把弟弟带回祖籍茂陵安葬（今陕西省咸阳市境内）。

生老病死，人生头等大事，这下隗嚣再也没有理由强留杜林，只得放他离去。

杜林走后，隗嚣颓坐在院中的墙边，心中生起悲凉之意。

原先他门下可谓贤者毕至，可自从他升起自立的念头后，这些大才却是一个个离他远去。先是马援，再是班彪，又是郑兴，如今就连杜林也走了，今后还不知道要走几人。

隗嚣越想越气，决心杀掉杜林。

可他毕竟是以君子的形象示人，这种事必然不能明火执仗，于是便暗中请刺客杨贤追杀杜林。

杨贤追上杜林时，杜林正独自一人推着灵柩赶路，他早就听说过杜林的贤名，几次想将剑拔出，拔了一半，却又插了回去。

杨贤心说：“父母给我起名叫贤，是为了让我做个贤者。可如今乱世，我不得已做这种为财杀人的勾当，可君子爱财，取之有道。若是杀个寻常之人，那杀了便杀了，可这杜林是出了名的贤德之人，我又怎忍杀之。”

于是杨贤走到杜林身后，就这样不远不近的跟着。

杜林发觉到身后一直跟着一个人，也不超过自己，也不远离，心中生疑，于是问道：“先生可是来刺杀于我？”

虽然放弃了行刺的念头，可作为刺客，杨贤亦有刺客的操守，宁死也不能出卖雇主，于是杨贤也不说话，杜林停他便停，杜林走他便走。

杜林一连问了几次，杨贤都默不作声，杜林心想，自己一介书生，若是他想杀我，那我也没有反抗的机会，不如就随他去吧，是死是活，全凭天意。

五日后，杜林出了陇西（今甘肃省东南部地区），杨贤也始终未能下杀手，若是没有机会行刺还则罢了，可有机会却不动手，况且自己也收了钱，那自然是违背了道义，于是拔出佩剑自刎。

此时的杜林终于想明白了，这杨贤必是隗嚣请来行刺他的，而杨贤始终没有动手，直至自己出了陇西方才自杀，由此可看出，这杨贤也是一位义士。

由于不知道杨贤是何人，身上也没找到证明身份的物件，杜林也只好把杨贤的尸首抬上了推车，一起推回老家安葬。

隗嚣一连等了数日，也没有见到杨贤返回，心想这杨贤为游侠，杀一个手无缚鸡之力的杜林自然是万无一失，可这么久都没回来，一打听方知，杜林已经回到了茂陵，而杨贤不知所踪。