却说吕布伸手来接牌印，一时间却忘了陈宫嘱咐。原来来之前陈宫告诉吕布：“刘备天下枭雄，此时新管徐州，必提出相让徐州。若相让，绝不可接受，否则不但徐州得不到，反倒是没了落角之地丢了脸面被天下人耻笑。”此时吕布已聊至半酣且又是直爽之人哪里还记得这些。
吕布刚要伸手去接令牌，只觉一股杀气隐隐传来，当下不由一惊，也清醒了许多。原来竟是关羽、张飞脸现怒色看着自己，二人均以手搭剑柄之上，吕布似乎能从二人的眼睛里看的到火，几乎要生吞了自己，吕布心中不由一紧。此时陈宫又适宜的咳了一声，吕布突然想起陈宫来前之语，忙将伸出的手改为推辞，连摆了摆道：
“吕布一勇夫，怎能做州牧？万万不可，万万不可。”
刘备见吕布推辞又再三推让，身旁的陈宫见吕布虽是推辞，却是时不时盯着牌印，唯恐吕布‘盛情难却’忙道：
“强宾不压主，使君勿疑。”
刘备见陈宫此言甚是决决，这才收回令牌，又设宴款待吕布众人，并安排院落供吕布兵将安歇。
第二天，吕布按陈宫的意思又回请刘备，刘备与关羽、张飞同往（其实从这里我们就可以看的出来，如果刘备当真想要给徐州的话，自然便可以自己前往，再把令牌给吕布，刘备乃六爪金龙，好容易寻得落脚之地，怎会轻易拱手让人），当下二人把酒言欢，酒至酣处，吕布却邀刘备去后堂。
古时去后堂的本就是应邀方可，这和当初潘金莲的场景其实是相似的，吕布邀请刘备显然是想借机与刘备独处，刘备知道其意，欣然随他到了后堂。
陈登曾经告诉张飞切不可让吕布与刘备独处，加之张飞素来猛撞，见吕布鬼鬼祟祟，不知有什么居心，装作若无其事般拉着关羽便跟了进去。关羽虽然知道不好，但自己的三弟虎劲一上来，便是九头牛也拉不回来。关羽却也怕这张飞闹出事端，更担心刘备，便半推半就跟着张飞入了后院。
吕布本想私下里和刘备说些关于迎献帝的事，至少旁敲侧击探探口风，因为吕布心里觉得这刘备一是汉室宗亲，二又是仁义之士，却是忠君之人。只是关羽张飞却是不知道情况，此二人一直追随刘备，总不能别无所图吧，因此吕布却担心自己因为此事，反到被关羽张飞谋害了。谁知刚要说话却见这关羽张飞大踏步走了进来，吕布知道不是时机，忙拉着自己的妻室及貂禅拜过刘备。
这本是寻常事，岂知关羽看着貂禅却说不出的眼熟。事实上，关羽确曾见过貂禅，毕竟曾任天职，只是这眼神却非是那么简单，有惊讶更有几分别的味道。貂禅却并未注意，与吕布之妻依礼拜谢刘备收留，刘备连道不敢当再三谦让。刘备本来不敢看其妻妾，所以一直没敢抬眼，待其起身时刘备只是随眼一看，方才看清貂婵面目，不看则已，一看之下不由竟走了神魂，一时竟是看的呆了。吕布正好言招待刘备，却见刘备两眼发直，呆愣在当场，心中忽然一紧，无名之火便上了心头，只是在别人的地盘上，也不好发作，只狠狠的嗯了一声，刘备方才缓过神来。知道自己失态，一时失了方寸不知所言，便呆在那里，脸色一阵红一阵白，颇为尴尬。这样一直冷场下去自是不好，吕布毕竟远道是客，但这却也种下了个种子，只是此时吕布寄人篱下，不便冲动，只好忍下此气道：
“贤弟，为兄妻妾让你见笑了。”
吕布比刘备虚长几岁，且成名已久，叫声贤弟本无差池，但这一句话却正好让张飞抓到了话柄，只见张飞大骂道：
“俺哥哥金枝玉叶，你是什么东西？敢称我哥哥贤弟？来来来，咱们杀个三百回合！”
原来陈登给张飞出了一计，抓住吕布话柄，与其比武，趁此当口诛杀吕布。此计不可谓不毒，吕布与张飞比武怎敢拼尽全力伤张飞性命，因此必定畏首畏尾，而张飞则全无顾忌全力施为，张飞世之虎将，修为高深，这种情形若杀吕布也绝非不可能。
刘备、关羽急忙拉住张飞，令其住嘴。张飞双手被束，无法发狠，踢也踢不到，打也打不到，挣开刘关的手，不理众人就跑了出去，刘备只以为张飞气不过出去了，陪笑着对吕布道：
“让兄长见笑了。”
岂知不多时只听外面喊道：
“吕布，你给我滚出来与某大战三百合！”
众人大惊，出门一见，只见张飞竟提枪跨马，双目圆睁，气势汹汹的立于门外，长矛直指吕布，刘备见状连忙喝止，又有关羽在旁拉下张飞将其推出了门外，这才算做罢。
刘备见吕布脸色已非常难看，知道自己之前失态其弟又如此薄面，触及了吕布的自尊心，连声道：
“劣弟酒后乱言，兄长切勿见责。”
吕布闻言摇了摇头只是默然无语。
却说席散后，吕布送刘备出门，却见张飞早早的跃马提枪在门外等着吕布，见他出来大叫道：
“吕布，你来和我大战三百回合！”
吕布一见，心中愤怒不已，双拳紧握，似是已到忍无可忍的地步，心中已决定拼了不留在此地，也不受这窝囊气。这时一旁刘备忙令关羽劝住，又连声致歉，吕布冷脸不打笑脸人，只好作罢。
次日吕布与陈宫略一合计再这么待下去早晚成为张飞枪下冤魂，便意欲离开徐州，另谋出路，于是当日便来刘备府上辞别：
“蒙使君不弃，收留吕布，布感激不尽，但恐令贤弟不能相容，所以吕布思来想去，还是令投他处吧。”
刘备见吕布如此，心里担心吕布是因为自己觊觎其妾才要离去的，只好借着张飞，连声致歉并道：
“劣弟愚昧无知，将军切勿和他一般见识，但将军若因此离去，刘备罪责甚大，备实不敢当。在徐州城外有一小沛，乃是刘备昔日屯兵之地。将军如不嫌弃可先驻于此处全当歇马，至于粮草军需，自有刘备供应，不知将军意下如何？”
刘备此举可谓人至意尽，吕布本也没有去处，若在推辞就有些小家子气了，听刘备这番说也不推辞，连声道谢，引军便去了小沛。却不知此时朝中却又是令一副景象。