建興四年四月，也就是大約一年半以前，劉曜在大荔城下為裴該所破，一路北躥，最終退出馮翊郡，逃到了故漢上郡境內。
上郡漢初始置——當然啦，當時面積沒有后來那么大——漢自武帝伐匈奴，向北方拓殖近千里，直抵河套地區，先后設置了云中、五原、朔方等一級區劃，與上郡、太原等同屬并州刺史部。上郡一度范圍極廣，南起漆垣，北抵楨林，東近黃河，西包奢延澤——大致相當于后世的延安、榆林兩個地級市。
然而到了漢季，中原大亂，西戎趁勢而起，帝國西北疆域逐漸向南方收縮，逮至晉代，包括上郡在內的并州河西地區，已然盡入羌胡之手了。
劉曜北躥后，即遁入故上郡高奴殘城（在后世延安市附近），舔舐傷口，圖謀東山再起。
包括上郡在內的故漢并州河西地區，如今中原人士數量已經微乎其微，基本上被氐、羌所占據，最北部還有劉虎的鐵弗部。劉曜雖敗，尚有二三萬殘兵，加上他胡漢政權雍王的號召力，想要召聚戎部，擴充勢力，原本是并不為難的事情。奈何近十數年前，虛除部崛起，在故漢上郡內建立起了一個松散的大聯盟，多數氐羌都俯首臣服，留給劉曜下嘴的地方實在不多啊。
尤其劉曜之與虛除，從前勉強可算為友，如今卻徹底撕破了臉皮。好在劉曜尚且捏著虛除伊余為人質，他想靠這個人質從虛除部索取好處，那是癡心妄想——虛除權渠若為了兒子的安危，輸人輸糧于劉曜，則必然威望大墮，聯盟分崩離析——然而卻可以保證權渠在一定時間內不會全力來攻。
至于這一定時間是五年、十年，還是半年、一年，那就不好說了。但就理論上來說，倘若五年、十年過去，劉曜仍然無法重整旗鼓，那他遲早是被虛除吞并的命運。
想當日才抵高奴之時，劉曜就喚來親信司馬劉均，向他問計：“我一時輕敵，為裴該所破，竟被逐離中國，而至戎地，不知道可有反擊之策啊？子平何以教我？”
劉均反問道：“孰謂此處為戎地？”
隨即解釋：“上郡漢初即設，郡治膚施尚在北方五百里外，昔匈奴右賢王侵擾漢土，文帝遣灌嬰率軍抵御……”伸手朝地上一指，“便在此處，高奴，敗右賢王，迫其退歸草原……”
他話還沒說完，劉曜卻突然間壓低聲音，插嘴問道：“子平，我等雖從光文皇帝，紹續漢業，重建漢基，然而……我等究竟是匈奴，還是漢呢？”
劉均凝視著劉曜的眼睛，一字一頓地回答道：“我等是中國人，遑論匈奴與漢？晉人或目我為胡，其實我本匈奴別部屠各，隨之南遷，數世居于并州，難道還不能算是中國人么？若不為中國人，如何建號稱帝，駕馭中原百姓？此光文皇帝建號皇漢之本意也！明公慎勿別起他心，若欲復為匈奴，恐怕只能在此處，甚至更往北方去游牧，不能復歸中原了。”
劉淵不但久居并州，幼習詩書，中國化很深，而且他跟幾百年前的匈奴單于不同，對于中國之大、人口之密更有了清晰的認知。漢朝建立之初，不但百廢待興，而且疆域狹小，直轄人口可能還不到千萬，與雄踞草原的匈奴帝國相比，也就人口數略占上風而已。但經過多年積聚，可能到文、景之時，就已經恢復到秦代兩千萬的人口數了，逮西漢末年，更躥升到五千萬之巨。
此后雖然經過多次改朝換代的大亂，到西晉初年，朝廷統計在冊的人口數也有一千六百萬，若加上大量隱戶，必在兩千萬以上。相對的，匈奴帝國已經徹底崩潰，包括屠各在內的匈奴各部，恐怕總人口還不到中國的一個零頭。則在這種情況下，若想張胡幟以馭中原，難度是非常之大的。
因而劉曜初起兵，就自稱是炎劉之外孫，建號為漢，追尊劉禪為孝懷皇帝，建漢高祖以下三祖五宗之廟。然而這一政策初始確實蠱惑了不少的晉人追從——誰叫司馬家實在混蛋呢——但其后久久不能底定中原，所部又殺掠過重，中國的人心便即逐漸背離。說白了，劉曜日益感覺到“漢”這面旗子不大好使了。
在原本的歷史上，劉曜在奪取了政權之后，就悍然扯掉了遮羞布，改國號為趙，以冒頓單于配天，而光文帝劉淵配上帝。雖然根據后世的研究、分析，前趙的中國化與民族融合，其實程度比稱漢時更為深入，但劉曜長安政權與劉淵平陽政權不同，名義上是個徹頭徹尾的胡人王朝，那是不會錯的。
為什么會如此呢？劉曜為何要改國號呢？原因大概有二，一是對劉淵祖孫三代想要借尸還魂的手法不以為然，并且逐漸發覺毫無益處；二就是他對劉粲惡感日深，雅不愿直繼其后。
歷史雖然已被改變了，但劉曜的想法卻按照慣性在持續發酵。就前者而言，平陽之勢日蹙，胡漢旗號沾滿了灰塵，使劉曜日益喪失信心；而就后者而言，劉粲的態度也讓劉曜寒透了心。
他還在大荔城下時，就曾經多次遣使平陽，請劉粲發兵牽制晉師，但劉粲正忙著內斗——徹底扳倒劉乂，并且自己得為皇太子——根本理都不理啊。
劉曜不禁心想，你還當我是你家臣屬，是光文皇帝的侄子么？你再繼續這么搞下去，國家怎可能會有前途啊！
因而漸起自立之心，就趁著今天問計的機會試探劉均。然而劉均卻明明白白地勸說他打消這個念頭——不以中國人自居，你就沒有大義名分重歸中國，且若此時和平陽徹底決裂，咱們就更無勝算，遲早會被擠迫回草原上去。
劉曜聞言，不禁長嘆一聲，說：“我等還有復歸的希望嗎？”
劉均說有的，隨即就為劉曜分析，說：“石公尚在河北，局勢尚未糜爛，且有石公在，劉粲也不敢遽罷明公。則東西兩相呼應，可搖撼平陽政局；東西兩相夾輔，國家尚有希望。晉人不過回光返照而已。”
然后獻計，說無論對晉人還是對咱們來說，如今最重要的就是時間。裴該雖然得勝，但不敢遠追，近日聽聞他南下長安，去謀奪政權去了。倘若被裴該、祖逖二人穩定了河南、關中，合力渡河而北，局勢才真的不可收拾……所以，咱們絕不能讓他們踏實積聚。
為今之計，明公在高奴，要一方面籠絡周邊部族，逐漸削弱虛除之勢，再與朔方的樓煩公（劉虎）結盟，有這么兩三年時間，就有機會平滅虛除，吞并境內氐、羌。這兩三年時間，對咱們和對晉人都很關鍵，倘若晉人先緩過勁兒來，揮師向北伐我，或征平陽，咱們的機會就很渺茫了。故此，必須持續不斷地騷擾關中地區，以牽絆裴該前進的腳步。
劉曜皺眉問道：“我軍新敗，銳卒多死，士氣低落，如今哪還有力量南下騷擾晉地？且若勉強興師，又何來時間恢復乃至積聚啊？”
劉均笑道：“初始一年，自然不可妄動……”
他說預估裴該鎮定雍州，需要半年到一年的時間，然后就必然會西進去吞并司馬保。涼州張氏素來恭順，那么只要拿下秦州，與涼州連成一氣，裴該便無后顧之憂，可以聯合祖逖，發動對平陽的猛烈攻勢了。這段時間，我等可以暫時蟄伏，徐徐恢復，要等到裴該真跟司馬保交上了手，那時再南下騷擾。
到時候，裴該就會陷入兩面遭敵的窘境，即便他的力量足以在擊破司馬保的同時，還能夠抵御我等南下騷擾，力量也必然會被分散，且導致在平定秦州之后，會趕緊回過頭來追殺我等。然而故漢上郡內多高原、丘陵，大軍不便行進，裴該若遣偏師來，我等勝算很大，若將主力來，我等便北遁朔方，向劉虎去求取增援。裴該想要平定上郡，或者徹底擊垮咱們，將比攻伐秦州困難許多，而且必然遷延日久。
既然知道我等隨時都可能南下侵擾，則裴該在基本上解決了咱們的問題之前，他是不敢發主力以向平陽的，則是咱們的牽制，給了平陽以足夠的積聚和準備時間。
再說河南方面，沒有裴該的策應，祖逖若單獨渡河北進，勝算不大。因此考慮到祖逖的志向，以及他的年紀，必然會反復要求裴該出兵，共同渡河，裴該若允，我等可以加大騷擾的力度，斷其后路，若不允，裴、祖之間必起齟齬。
到了那個時候，我等勢未必衰，平陽已有萬全準備，再加河北石勒的協助，則擊敗晉人頗有勝算。
當然啦，劉均最后也說，我這種設想多少有點兒一廂情愿，實際上各方形勢的變化都可能逸出我的預先盤算——變數最大的，就是河北石勒。但是只有明公你保持信心，發揚不屈不撓的精神，見招拆招，咱們總有南歸中原的一天——“又何必頹喪若此，而謀他圖呢？”
形勢的發展，確實出乎了劉曜和劉均的意料之外，但基本上還是向好的方向前進。首先，石勒揮師入并，劉琨戰敗逃亡；其次，裴該平安定，滅盧水胡，彭夫護率殘兵北遁，最終投向了劉曜，使其勢略有恢復。
還有第三點，即劉粲原本想要趁著劉曜兵敗的機會，或下詔斥責，甚至于直接罷黜其職，把他徹底踩得翻不了身，但最終還是聽取了太師、汝陰王劉景的建言，反倒遣使高奴，好言撫慰劉曜——雖然沒給他一兵一卒、一粒米糧的資助，僅僅是表示了口頭上的支持。
于是劉曜略略緩過勁兒來，便開始聽從劉均的建議，打算發兵南下，騷擾雍州了。
裴該率軍西征，以平秦州，如此大規模的軍事行動，自然不可能瞞得了人，劉均認為這是一個大好機會，于是慫恿劉曜，兩道南征。
只是劉曜的實力還不足以全面與裴該相抗衡，再加虛除權渠覬覦在側，因而劉均的建議，一是讓彭夫護組建“還鄉團”，南攻安定，二是請劉粲下詔，命劉虎南下侵擾馮翊——劉曜遣大將劉述率一千兵馬為其向導。
對于劉曜可能會南下騷擾，裴該自然也有所防備。他將大司馬所部分為三軍，乃命陶侃率后軍屯扎馮翊，同時防北方的劉曜和河東的劉粲，命郭默率前軍屯扎北地，也要謹防劉曜和虛除。
此次裴該親率大軍西向秦州，沒動陶侃的一兵一卒，但卻命郭默南下略陽，剿滅苻氐。這主要是考慮到，劉曜若南，從東面發兵的可能性比較大，直取安定的可能性比較小，而安定正北主要是虛除部的游牧區域，虛除權渠從嚴格意義上來說，還算是晉臣。
虛除部原本就附晉，劉曜勢大之時，其酋大權渠雖然被陳元達說動，遣子伊余率兵相助，但隨即兩家就撕破了臉，裴該趁機遣使冊封權渠為鎮北將軍，加以羈縻和籠絡。虛除權渠盛情款待了晉使，表態說自己從前是受胡人所惑，冒犯王師，如今已然洗心革面，再不背反了，還請求裴該的資助，以便他攻滅劉曜，戴罪立功。
當然裴該也知道，伊余還在劉曜手中，要權渠馬上不顧兒子的生死發兵，可能性是很低微的，因此他只答應在邊境上與虛除部展開互市，交易物資，卻一個銅子兒都不肯白白贈與——再說他本人也沒什么富裕物資啊。
但是裴該沒有料到，彭盧竟然會為劉曜前驅……
且說劉虎自朔方南下，率鐵弗兵七千，在劉述的指引下，來擾馮翊。陶侃率兵逆之于梁山，利用地形之便，多次挫敗劉虎的攻勢。劉虎被迫轉道而西，又沿北洛水西岸而南，孰料陶侃早有準備，在粟邑以北設伏，大敗鐵弗兵。
與此同時，彭夫護率兩千余眾來擾北地。本來他這點點兵馬，不是郭默前軍的對手，但安定郡內、涇水以北地區，各族雜處，其中有很多部族數代以來都受彭盧的統治，心向故主之人不在少數……
彭夫護得了舊部呼應，率兵奇襲都盧，縣令逾垣而走，城池幾乎陷落。幸虧郡功曹魯憑正好行縣，當即接過了指揮權，攖城固守，才勉強保得縣城不失……
