虽然吴巨夺了魏延的军权，但是事情已经发生，也就由不得他不关注，而且他和赖恭不和也是事实。因此，若是士燮真的想要打南海的话，吴巨虽然不见得会见死不救，但是却也会拖延一段时间的，这一点许靖倒是分析的十分透彻。
没过几天，便有斥候来报说是士燮点兵两万，带着麾下大将樊到，谋士赵宇前去进攻南海，吴巨当即命令麾下士卒集结于南海、苍梧和九真三郡交界之地，却又不越界，仿佛只是防守一般。
士燮本来在行军的时候还有些小心翼翼，看到吴巨如此态度，顿时惊叹许靖预料准确，于是便派遣少量的斥候盯着苍梧方向，同时令樊到领兵三千为前锋，自己领中军，急速行军，争取早日抵达番禺，打赖恭一个措手不及。
此事的赖恭自然也早已得知了街头巷尾的流言，于是他便以为吴巨对于自己私下扣了他的兵马十分不满，想要借机进攻南海夺回自己的兵马，因此这些时日以来便十分关注苍梧的动态，一时之间居然对于交趾士燮有些疏忽，导致在士燮的前锋距离番禺只有不到五十公里的时候才有斥候来报。
直到此时，赖恭才反应过来，一方面有些懊悔为何会疏忽了士燮，自己被主公任命为交州刺史本就是来对付士燮的啊，另一方面却是慌忙将城周围的百姓和物资向城中转移，布置城防，然后召集城中壮丁守城。
第二日，樊到便率领前锋来到了番禺城前，赖恭无奈，但是也没有办法，只得关闭城门，放弃了还没有转移到城中的百姓。
其实他转移百姓进城也是为了城中人多一些，到时候防守起来更加容易，现在确实没有办法了。
而从得到消息士燮出兵到现在只有一日的时间，除了城中被他扣下来的吴巨的三千兵马外，只有一千郡兵。再加上一日的功夫按理来说全城百姓都知道了外敌来犯的消息，可是征集到的壮丁却只有不到一千。这样算下来，居然只有五千不到的兵马守城，而且其中两千还几乎没有战斗力。
因此虽然敌军前锋只有三千，总兵力也只有两万，可是番禺的防守还是捉襟见肘。于是，赖恭便派遣信使分别向吴巨和刘攀求援。
在赖恭看来，吴巨就算和他有些过节，但是在这种大是大非上，吴巨应当会做出正确的抉择，却没想到这次士燮来犯虽然不是吴巨的计策，但是确实他麾下的人策划的，而且就算知道了士燮打南海的消息，吴巨也是选择了袖手旁观。
樊到到达番禺之后，尝试性的进行了一次进攻，可惜兵力少于守城一方，自然没有讨到什么便宜，于是便在距离番禺五公里以外安营扎寨，同时修建攻城器械，等待士燮主力大军的到来。
乘着这段时间，赖恭也是日夜不停的指挥士卒修缮守城器械，加强城防。
三日之后，士燮终于抵达了番禺，在休整了一天之后，便指挥部下开始攻城，而且是强攻，而番禺城的城墙不高，幸亏番禺本身位于珠江入海口附近。因此，护城河足够的宽，这才能够成功阻挡住士燮部下的进攻。
经过十余天的进攻，番禺城的守军锐减到不足三千，而作为进攻的一方，交趾军损失的自然更多，至今已经有近五千的士卒埋骨此地了。可幸的是，番禺城已经岌岌可危，按照现在的情况，五天之内，番禺必破。
更可喜的是，吴巨此时还没有反应过来，仍然按兵不动，估计等到吴巨反应过来，前往番禺的时候，士燮已经成功攻下番禺了，而长沙援军相距甚远，短时间内也到达不了，所以士燮也不着急。
却道此时赖恭派出的信使到了哪里呢。
原来因为苍梧更近的缘故，所以派往苍梧的信使是先到的，但是还没进入郡衙大门，吴巨得知是赖恭的求援信使以后，直接就将他轰了出来。此时的这位信使只好灰溜溜的回到了番禺。
而长沙又太远，此时的信使经过十天的长途跋涉，终于赶到了刘攀军营，刘攀得到消息之后，当即令黄忠挥师五千前往南海救援，此时才刚刚出发，若是等他们赶到，估计士燮已经攻下番禺了。
此时的广信，吴巨正在郡衙办公，虽然政事主要由伊籍负责，但是一些大事件还是要有他这个太守做主的，而且他还要负责军务，尤其是最近收了魏延的兵权以后，事情更是全部都堆积到了他的身上，这就更忙了。
突有下人来报，魏延求见。看着公文的吴巨眉头一皱，对着下人说道：“你去告诉魏延，他什么时候想明白了，什么时候再来见我。”
这显然是不想见魏延，在敷衍他了。
下人听了，虽然在心中也为魏延鸣不平，但是却还是忠实实行着吴巨的命令。
魏延听到吴巨又拒绝了他，顿时颓废，耸着肩膀便准备回府。
恰在这时，伊籍办事从外面回来，看到颓废向外走的魏延，连忙拦住他问怎么回事，魏延闷着头以实相告。
伊籍听了，也是叹了一口气说道：“文长不必介怀，大人也只是一时气恼，过两日自会重新启用你的。若是信得过我，文长可将你想说之言说与我，我自会转达给太守的。”
魏延听了，当即哈哈一笑说道：“若是连伯机我都信不过，那还能信谁。”当即说了自己要给吴巨说的。
因为伊籍还有事情，于是二人就此错过。
话分两头，各表一边。
本来赖恭还奢望吴巨会前来救援的，但是信使回来之后的答复却让他心凉了半截。
本来在赖恭的想法中，若是吴巨前来救援的话，虽然二人兵力还是不足以对抗交趾军，但是却可以拖到长沙援军的到来，到时候说不定可以借势一举消灭了士燮的有生力量，再来个大反攻打到交趾去呢，现在却连番禺都难保了。
因此这两天来，赖恭会下的官员要么劝说赖恭投降，要么劝说退出番禺向荆州撤退，使得赖恭心力憔悴，居然头发花白了许多，身子也佝偻了不少。
