吳巨在廣信城中，望見劉賢大軍極為嚴整，又有夷廖、錢博二將，拿著區(qū)景的人頭在城下耀武揚威。饒是吳巨一向自視兵法武藝出眾，但短短時間便經(jīng)此大敗，也禁不住心神大亂。
正猶豫間，忽聽部將衛(wèi)毅道：“太守何必憂慮？城中尚有五千兵馬，加上城外虞褒的五六千人，我軍還有萬余兵力，豈能輕易投降？太守勿憂，我愿領兵出城，與劉賢決一死戰(zhàn)?！?p> 吳巨道：“不可，劉賢兵多，你怎可輕出？”
正說之間，忽見城東煙塵滾滾，有一支兵馬殺來。卻是虞褒、劉彥聞知劉賢盡起大軍，有攻城之意，故而領兵前來相助。
吳巨驚道：“不好！虞褒、劉彥輕視敵軍，領兵到來，必被劉賢分兵擊敗。我當出城救應?！?p> 不多時，果見劉賢軍中分出五千兵馬，由老將黃忠率領，吶喊著迎向虞褒、劉彥。兩軍對陣，黃忠一馬當先，沖進敵陣之中，正與虞褒相遇，手起一刀，將虞褒連頭帶肩，劈為兩段。
吳巨急忙領兵救援時，又被魏延、裴潛領兵截住。雙方在城下混戰(zhàn)一場，吳巨好不容易接應了劉彥進城。然而虞褒、劉彥麾下的五六千兵馬卻也折損過半。吳巨派出的接應人馬也折損了近千人。
吳巨將殘敗兵馬勉力守城，又發(fā)文各縣，增調援兵，準備長久堅守。
次日，劉賢再來勸降，吳巨不應。劉賢于是將這些日子制作的回回炮推出，照準城中發(fā)射石彈。廣信城雖是交州大城，但若與中原雄城相比，卻又顯得狹小了。不過兩日，便將城墻擊打的殘破無比。
吳巨見野戰(zhàn)打不過劉賢，城池又被回回炮打壞，無奈之下，只得出城投降。
劉賢大喜，當即收了吳巨印信，并行文各縣，令其歸附。各縣聞聽吳巨戰(zhàn)敗，俱各喪膽，紛紛請降，劉賢一一安撫。于是命蔣琬暫代蒼梧太守之職，又留高翔輔助蔣琬，領降兵五千，保守蒼梧郡。隨后劉賢便欲領兵繼續(xù)順江南下，去攻打南~?？?。
夷廖、錢博二人前來表功。劉賢笑道：“我如今只有蒼梧一郡，乃是我軍進取交州的根本之地，自然不可能封給你們。所能封的，只有郁林郡。只是一郡之地卻不可能有兩個太守。我欲將郁林一分為二，令你二人分別統(tǒng)領。若是你們不愿分割此郡，今夜便可自行商量，看誰先做太守。待日后我拿下了其他郡縣，再別封另一個，如何？”
夷廖、錢博聞言，諾諾而退。當夜三更時分，二人營寨果然起火，喊殺聲響成一片。劉賢命人前去打探，原來二人都爭做郁林太守，各不相讓。當夜商談不攏，不歡而散。二人回營之后，又被左右挑撥，于是干脆調兵遣將，相互襲殺。
次日一早，劉賢領兵圍了二人營寨，卻見夷廖從殘破的營寨之中走出，手提錢博人頭，對劉賢拜道：“錢博造反，今已被我斬殺，郁林一郡，實該歸我。”
劉賢冷笑道：“你為了做太守，竟敢誣陷錢博，領兵內斗！此乃死罪，我豈能饒你！”當即喝令眾將前往捉拿夷廖。
黃忠、魏延領命，縱馬而出，魏延手起一刀，將夷廖砍翻在地。黃忠領兵沖進營寨，逼降了寨中兵馬。
一番清點，夷廖、錢博原有五六千人，經(jīng)過一夜亂戰(zhàn)，如今卻只得三千余人了。
劉賢于是任命廖立為郁林太守，領著這三千降兵，前往收服郁林郡。又分郁林南部的領方、安廣、增食、臨塵四縣之地，分設郁林郡南部都尉，由裴潛領本部兵馬前往主持防務，整修通往交趾郡的便道關隘，防備士燮。
二人領命前去，劉賢這才轉而領兵，欲要順西江而下，直取南~海。忽聞探子來報：“南海太守士武，趁著我軍攻打吳巨之機，盡起麾下六千兵馬溯江而上。目前已拿下高要縣城?！?p> 劉賢聞言，與龐統(tǒng)對視一眼，笑道：“士武果然中計?！?p> 當下劉賢與龐統(tǒng)一道，率領黃忠、魏延、郝昭、賴恭、行軍主薄趙累、參軍劉敏，以及降將吳巨、劉彥等人，領兵萬余順江而下，來到高要縣城之外。
黃忠、魏延便欲攻城，劉賢止住道：“不須攻城，只要在等幾日，士武自然不戰(zhàn)而亡。”
黃忠、魏延不信，卻又不敢反駁劉賢，只得按耐性子等候。
兩軍在高要城相持了七八日，士武果然棄城向南逃走，劉賢大喜，當即命黃忠、魏延分路追殺。二將領兵窮追不舍，直到進入合浦郡境內，遇到合浦太守士壹領兵阻擊，黃忠、魏延這才收了兵馬，與士壹各占對山險要相持。
而士武率領的六千兵馬，此時只剩下二千余人，與士壹合兵一處之后，也只得七千人馬，倒是和黃忠、魏延的兵力相等。
此時的劉賢，早已取了高要，隨后順江而下，直達番禺。
番禺城中守軍望見劉賢到來，當即大開城門，從城中走出兩員將領，卻是吳碭、曾夏二人。
原來從北方過五嶺而至嶺南，共有五條道路，都十分艱險，當年秦始皇南征百越，漢武帝攻取南越，都是五路齊發(fā)。其一是從豫章翻越群山，經(jīng)厲門塞南下，至南?？さ凝埓?。這條路十分艱險，并不適合大軍通行，近百年來更是基本廢棄，鳥獸難通。其余四條則都要經(jīng)過荊州，經(jīng)過多年興廢，目前還在使用的僅有兩條。其一是劉賢走的靈渠古道，最為便捷。其二是從桂陽郡南下，入連江，經(jīng)過桂陽郡境內的煌溪關、陽山關，進入交州境內的橫浦關，一共三道關卡，然后才能進入珠江水系的北江，進而直抵南海。
因三關道路艱險，河灘縱橫，水文條件十分復雜，因此也不適合進兵。
在討論進兵方略的時候，原本劉賢、龐統(tǒng)都屬意靈渠，不愿從橫浦關進兵。然而樊友卻來告知，桂陽郡樊家與交州有生意往來，樊家每年都會派出商隊過橫浦關南下至交州購買珍珠、玳瑁、珊瑚、犀角、象牙等珍貴之物，然后轉賣至荊襄之地，獲利極為豐厚。又有吳碭、曾夏二人本是南?？と耍斈赀M入荊州之時，也曾走過橫浦關。因此劉賢與龐統(tǒng)商議之后，這才派吳碭、曾夏領兵進入桂陽，在樊家商隊的帶領下，一路南下偷襲橫浦關，繼而順北江而下，直取番禺。
劉賢又大張旗鼓攻打吳巨，逼得吳巨將駐守邊境的虞褒、劉彥調回，士武見有機可乘，當即趁虛起兵來奪蒼梧土地，致使番禺空虛，被吳碭、曾夏一舉拿下。
士武后路被斷，只得南下逃亡合浦，南海一郡，至此落入劉賢手中。
當日劉賢進城，重賞吳碭、曾夏，命二人分兵去取各縣。不數(shù)日，各縣相繼平定。于是劉賢封趙累為南海太守，留吳碭協(xié)助趙累。
為了防備東吳從豫章和會稽翻山越嶺而來爭奪交州，劉賢又任命曾夏為龍川都尉，主管龍川、揭陽兩縣，堵塞厲門塞及沿途隘口，防備豫章之兵和會稽之兵。
當然，這兩條路都十分艱險，江東大軍也基本不可能從這兩個方向攻擊而來。但劉賢卻覺得做些準備，有備無患才能萬無一失。
南海郡至此平定。劉賢聞知黃忠、魏延攻打合浦，被士壹、士武堵截在群山之中，難以前進，當下便與龐統(tǒng)一道，領著校尉郝昭、參軍劉敏以及賴恭、吳巨、劉彥等人前往增援黃忠、魏延。