吕布随后又被负责招贤馆的陈琳拦住，陈琳一定要让吕布去会见最近一个月内投奔中央军的贤才。
吕布那求贤似渴的名声已经响彻整个大汉，他不能自己砸自己的招牌，便跟着陈琳去了招贤馆。
历史上，东吴孙权设立招贤馆，命顾雍、张延接四方宾客，得到会稽阙泽、彭城严、沛县薛综、汝阳程秉、吴郡朱桓、陆绩、吴人张温、乌伤骆统、乌程吾粲等人，这些人都为东吴的兴盛立下汗马功劳。
吕布有念于此，便在邺城设立了招贤馆，让擅长待人接物的陈琳负责。
陈琳此时虽然兼任少府，但少府的权力已经被下面那些太医令、太宫令、太史令、尚方令等令、丞分担，陈琳每天要做的事情很少，吕布便让他兼管招贤馆，好发挥他巧舌如簧、长袖善舞。
招贤馆不单只是接待四方投效人员，还负责起草招贤布告、处理往来函件，正好可以发挥陈琳的文采。
这招贤馆名义上是朝廷设立的，所以让九卿之一的陈琳负责，也不会遭人非议，实际上这个招贤馆里的所有英才都会预先被吕布中央军甄选一遍，然后才把剩下的交给朝廷其他各司衙门。
招贤馆靠近邺城南门，共有十个院落，每个院落都有三层小楼，整个招贤馆总共能够容纳三百多名贤才居住。
吕布在外作战了将近一个月，在这一个月里陆续投奔的贤才足有五六百人·有些是吕布慕名已久，并派人征召的，这样的人很少;有些是没什么名声，却对自己才能很有信心，揭了吕布的招贤榜的。
当然也不排除有些招摇撞骗的·但吕布深感孟尝君得鸡鸣狗盗之辈相助、信陵君得侯嬴朱亥佐助的礼贤下士的典范，不再重蹈曹操错过张松、孙权错过庞统、刘备差点错过庞统的错误，便在领兵作战之前一再叮嘱陈琳，莫要轻视任何前来投奔的贤才，只要他能展露才能，不管是什么样的才能，都要让他住在招贤馆里，等待吕布回来面试。
吕布知道来了五百多贤士·心里甚是高兴·笑着对陈琳说道：“揽天下英才而为我用·何愁大业不成！”
陈琳却苦着脸说道：“主公，来得多是无名之辈，主公之前在洛阳派人征召的贤才大部分都拒绝前来。”
吕布非常平静地问道：“在洛阳的时候，我声名不显，没有多少贤才投奔是可想而知的，我们到了邺城以后，我大破白波贼、南匈奴、黑山张燕、黑山于毒，名声逐渐响亮起来，又有太傅卢植、太师蔡邕、太保马日、司徒杨彪、太尉刘虞、司空刘弘、尚书令黄琬、凉州牧皇甫嵩、并州牧朱为我盟友·慕名而来的贤才应该多起来才是啊。”
陈琳依然苦笑道：“主公说的没错，我们在洛阳的时候过于乐观，派了一些普通士卒前去征辟那些贤才，那些贤才多说‘未闻世上有吕布，而拒绝了我们，愿意来邺城的张机是因为主公答应委任他为太医令，华佗前来邺城是抱着跟张机竞争的心态，满宠则是因为跟郭嘉、徐晃有交情，真正因为我们的征召书信而来的没有一个！我们到了邺城，派出文吏前去征辟·并一一许诺官职，这才勉强招来了几个，还有十几个正在路上。”
吕布心里狂受打击，面上表情还依然是那么平静：“呃，你先告诉我，到底是那些人不肯前来？！”
陈琳看吕布表情如常，以为吕布心境好，先说了一下豫州的贤才：“豫州的许褚、刘馥拒绝前来。”