荀攸随营参赞军机，自然是第一个知晓了於夫罗与吕布要攻打洛阳。当下便大惊失色，进行力劝。於夫罗说不过荀攸，倒也干脆，把荀攸给关进小黑屋了，让留守将士严加看管。
这边前脚一走，后脚荀攸便说动看守将士，把他给放了出来。荀攸一出来，便急得不行，去追於夫罗吧，这人心意已决，再说也是无用。去朝廷和诸州报信吧，时间上又来不及了。思来想去，荀攸眼睛一亮，把突破点放在了吕布身上。
从之前吕布不远千里去投奔刘备的行为来看，这人还是值得挽救一下的。只要说明利害，想必他定然会醒悟过来。荀攸知道貂蝉对吕布有特别的影响力，于是便一头奔貂蝉这里来了。
见了貂蝉，荀攸心中一叹，好个秀丽的女子。旋又正色道：“夫人可知，吕将军危矣！”
貂蝉正为吕布担忧，闻言不觉一惊，乃道：“先生何出此言？”
荀攸沉声道：“吕将军竟敢冒天下之大不韪，以下犯上，以臣犯君，攻打洛阳。此番不管洛阳能不能打下来，这天下都将再无吕将军容身之地！”
“杀丁原、从董卓，此其罪也。诛董卓，此其功也。吕将军之前有过，而其之诛董卓，则有大功于天下、于社稷。若吕将军亲身入洛阳，觐见天子，尚有位爵之封。为何冒此粉身碎骨之险，不惜一错再错，欲攻洛阳乎？若真如此，四海之内，无人能容吕将军矣。”
貂蝉听见，心中一沉，眼泪就下来了，当下便盈盈拜了下去，泣道：“还请先生教我！”
荀攸双手虚扶，道：“夫人，事尚可为，还请夫人亲书一信，遣使急送至吕将军处，陈说利害。吕将军当世英雄，自当醒悟过来。”
当并州骑一人配三马，人不卸甲马不离鞍的一路飞奔到吕布营中时，人与马都累得直吐白沫了。吕布听说是貂蝉急信，不由一愣，难道家中出了什么变故？于是一把夺过信件，拆开一看，脸色就变了。
人都有犯糊涂的时候。吕布之所以同意於夫罗提议，一是觉得自己没退路了。二是觉得要是能入洛阳城，到时便是他说了算了。第三，也就是最主要的一点，就是时间紧迫，他没那么多时间去推敲细想。如今貂蝉得荀攸指点，急信一封，陈说利害。吕布又不是傻子，更何况趋利避害乃人之天性。
信中毫不讳言的告诉吕布，真要攻打洛阳，不管成与不成，将会遭世人遗弃。到时天下真的便无处可容身了。於夫罗则不同，他毕竟是匈奴人，还有返还南匈奴的一条退路。且吕布欲化解诸侯声讨，只要退出河内，天子与诸侯便会松一口气，不会对吕布紧紧相逼。是欲痛改前非，还是欲遗臭万年，信中让吕布自行斟酌决定。
大军最终在平阴停了下来。吕布和於夫罗发生了合作以来的第一次争吵。
於夫罗想不明白，前方就是洛阳城了，为什么吕布却突然发悔？进了洛阳城，有大把的钱粮、美人可以享受。抓住了天子，天下诸侯哪个敢吱声？谁他妈不服，老子就把天子给剁了！这么好的机会，为什么要放弃？
吕布却是彻底想通了。诸侯勤王，不过是不想看到如今大汉名义上的共主出现问题。毕竟天子若出事，天下将又会大乱。而诸侯们却还未做好准备。那么自己只需离洛阳远一点，都还不用退出河内，就可以化解这次危机，干嘛反应这么激烈，要和於夫罗绑在一起，去进行一场渔死网破的战争？
而且以河内北部为根基，迅速进攻并州，这才是最紧迫的事情。也是之前出山前定好的策略。不容有变。按现在的分析。自己进攻并州时，除了袁绍会着急，估计其他诸侯都乐见自己如此。之前听说袁绍与幽州公孙瓒多有不和，两家怨隙颇深。那么自己攻打并州，袁绍能派多少人马出来援助？绝对不多，不然他怎么应付公孙瓒？
只要不是大军来援，吕布就不惧任何人。这是他厮杀多年建立起来的自信。
既然如此，洛阳城便算了吧。虽然有於夫罗之策，吕布觉得夺城机率颇高。但他已经不想再被诸侯围攻了。到时诸侯围了洛阳城，他就是想逃都逃不出去。有什么用。而且於夫罗这个家伙，看上去也不是那么可靠的样子。关键时刻还要防备他捅刀子。这个家伙凶残嗜杀，放他进了洛阳，真搞得洛阳腥风血雨，民怨四起，到时於夫罗率兵一退，所有罪名就要推到自己头上了。不划算……
短短一瞬间，吕布想了很多，都是在权衡利弊。最后得出结论，这洛阳城，还真不能打。打了绝对是弊大于利。得不偿失。
于是召了众将前来征询意见。以张辽、高顺为首的武将们，第一时间就站了出来，表示赞同吕布罢军的计划。他们早就想反对了，奈何吕布一意孤行。就算是凉州诸将攻打长安，也不过是因为朝廷不赦其罪而想自保而已。结果也证明了这一点，凉州将攻入长安，也只是诛杀了王允一党。长安天子与诸臣，不都好好的么。
按张辽的话说就是：“我等身为汉臣，将军欲以臣伐君，此大逆也，罪在不赦。牵连家小族人不说，死后又有何面目见地下先人？”
吕布叹了一口气，道：“传令三军，回师河内！卿等活命，全仗荀公达，回去之后，当登门致谢。”
然后，吕布不管於夫罗如何咆哮，如何发怒，率着人马就要回师了。临行前，告诉於夫罗，他此番将不在河内逗留太久，将率军