李淵是西魏北周八柱國之一李虎之後，是關隴集團的重要成員。在隋朝他被封為唐國公，並且他跟隋煬帝還是親戚。李淵的母親和隋煬帝的母親是親姊妹，她們都是北周重臣獨孤信的女兒。李淵比隋煬帝長兩歲，他是隋煬帝的表哥。
正因為有這樣的出身，又有這樣的關係，在隋煬帝三下江都之後，他就拜李淵為右校尉將軍，太原留守，主持山西地區的軍政大局。
李淵準備改朝換代自己當皇帝可謂是蓄謀已久，他既然決定要造反，他就趕緊把兒女全叫到身邊。下一步他就要大力招兵了，在那個時候招兵還必須有個理由。剛好有一個叫劉武洲的造反派勾結突厥，把馬邑太守給殺了，順手還佔了隋煬帝的一個行宮汾陽宮。
李淵當時擔任太原留守，周邊防備都歸他管。起義軍把皇帝的行宮給佔了，李淵這兒就表現的非常著急，他就趕緊把手下的將佐都叫到了一起。
他對大家說:我們的職責所在就是討伐賊寇，現在賊寇居然把皇帝的行宮給佔了，我們現在手裡兵少，沒有辦法解決這可是死罪啊，大夥還是說一下兒，我們該怎麼辦吧。
大家一聽他這麼一說，也都嚇了一身冷汗，大家就異口同聲的說:我們都聽您的。
李淵一聽自己的目的達到了，趕快對大家說:這可是你們推我來主事兒的，那我就主持一下兒吧！我覺得要抗擊賊寇，必須有足夠的兵源，我們現在最大的問題就是兵力不足，所以我認為目前第一件事兒就是要募兵。
大家都很快達成一致，就開始張榜募兵了。募了十天，就招募到了一萬人左右，就交給李世民結交的那些英雄豪傑來率領。
接下來李淵就要除掉他身邊的絆腳石了，因為隋煬帝是一個多疑之人。他雖然派李淵擔任太原留守，但是他也不完全信任李淵，還在他身邊安插了兩個眼線，也就是太原副留守，一個叫王維，另一個叫高君雅。這兩個人也是同意李淵募兵的。當這兩個人看到李淵把募來的那些兵都交給了長孫順德和劉洪基，這兩個人可都是政治犯，也就是逃避兵役的罪犯。這樣他們心裡可就不踏實了，他們也就在心裡千萬次的問:李淵這麼幹，他到底想幹什麼？
當時正好太原大旱，李淵作為最高軍政長官，有義務到晉祠替百姓祈雨。王維和高金雅就想正好趕上李淵出城的時候，在他身邊沒有防備的時候，把他扣起來交給皇帝。他反也罷，不反也罷，由皇帝說了算。
兩個人謀劃好後，又不小心把這個訊息洩露給另外一個朋友，就是當時晉陽的一個鄉長，名字叫做劉世龍。劉世龍一聽這兩個人要把太原留守給抓起來，他經過再三斟酌，還是覺得跟著李淵更有前途，所以他就馬上跟李淵彙報了。
李淵就連夜做了佈置，第二天一早他就跟沒事兒人一樣，還是坐在府衙跟王維和高金雅一塊兒辦公。過了一會兒，劉文靜帶了一個人走進來了。這個人呈上一封信說:這個是密狀，我要交給太原留守。
李淵這時候就看了王維一眼，意思是你去接過來吧。王維上去就要接的時候，這個人就嗖的一下兒又撤回來了。他說:我這個密狀告的就是副留守，所以你不能看，一定要太原留守唐公李淵親自看。
李淵假裝大驚失色，說:還有這等事兒，你還告副留守，拿過來讓我看看。
李淵拆開一看，上面寫的是王維和高君雅勾結突厥人來打自己的國家，這可是叛國通敵啊！
李淵把這些一念出來，高君雅一下子就反應過來了，他指著李淵的就破口大罵:你這個反賊，你這是想要陷害我，好來殺我啊！
這時候劉文靜和長孫順德等人就一擁而上，把王維和高君雅給撲倒了。李世民也早就帶領了好多士兵在門口守著，就這樣，王維和高君雅本來想要舉報李淵，結果被李淵後發制人，成了冤死鬼。
一切準備就緒，李淵還有一個最大的顧慮，那就是北面的突厥人。李淵怕一旦自己發兵去攻打關中地區，突厥人從北面殺過來，李淵那可就是腹背受敵。
劉文靜就跟李淵講了:這種情況下，咱們不如去聯合突軍。李淵一聽很有道理，便依計而行。他先是準備了一大堆金銀財寶送給突厥的始畢可汗，然後再以君子對君主的規矩寫了一封信，這就啟。主要意思是說，現在天下大亂，我實在看不下去了，所以我想從江都把皇帝迎回來主持局面。然後再跟突厥和親，恢復交情，就像開皇時期那樣子。如果始畢可汗您支援我的想法，願意跟我一塊兒往南走，咱們就一塊兒去迎接皇帝。如果您不願意跟我一塊兒南下，那我也高興，照樣會奉上厚禮。
始畢可汗選擇了積極道路，許諾派兩千兵馬過來助陣。人雖然不多，但這是突厥的表態，至少保證了後方的穩定。
就這樣大業十三年七月，李淵就任命自己的第三個兒子李元吉為太原太守，留守晉陽穩固後方，自己則坐鎮軍門，在這裡誓師。他說:隋煬帝昏庸無道，所以我打算推尊在大興城的代王楊佑。然後就率領著大兒子李建成，二兒子李世民還有手下的三萬士兵。號稱義軍從晉陽宮出發，直奔關中而去。
李淵這時候還有兩個對手就是李密，另一個是代王楊佑，隋煬帝這時候遠在江都，可以暫時放在一邊兒。因為李淵和李密都有一個共同的志向都是要改朝換代，要打天下，那兩個人可就是競爭關係了。李密也是想佔領關中的，可是現在被李淵先下手為強了，他肯定不痛快。李密當時已經是山東地區第一霸主，是各路英雄的盟主。李淵則是剛剛起兵，還屬於弱勢群體。如果他這時候引李密不痛快，也是吃不了兜著走的事兒。
李淵可是一個聰明人，他已經料到這件事兒，於是他就主動給李密寫信:先是表達了對李密的敬仰之情，然後就接著說。我是真心地只反隋煬帝，而不反隋朝，他的意思實際也是在告訴李密，我沒有爭奪天下的企圖，希望你能理解。
李密接到信後很是興奮，李淵在輩分上可要是比李密高一輩兒，並且年齡也比他大十五歲。當時拿李淵在隋朝的官職來講，李密也是沒法和李淵比的，所以當李密看到一個長輩能主動給他寫信，而且信還寫的這麼客氣，李密心裡是非常受用。
他馬上就把他的筆桿子給叫來給李淵回信，他說:咱們倆雖然不是一支李姓，但五百年前，肯定是一家子，咱們的關係應該是很親近的。我這個人本來沒什麼本事，可是四海英雄都公推我是盟主。現在希望你也入夥，加入我的陣營中來，咱們一起把隋煬帝推翻，這可是很好的事情。
李密這時竟還大言不慚的說自己是四海盟主，希望李淵跟他混。李淵看到這封信就笑了起來，說李密這個人還真是妄自尊大，我剛跟他說兩句客套話，他還真就把自己當做是帶頭大哥，把我當小弟了。不過我可不打算跟他計較，我這個時候跟他計較，不就是給自己多數了一個敵人嗎？那多划不來，我還不如好好忽悠他一番。讓他替我守好虎牢關，把隋朝的主力軍都給我牢牢的拖在東邊兒，好讓我一心一意往西打。當我平定了關中，他就和隋軍消耗的是兩敗俱傷，到時候我在坐收漁翁之利，這多好啊。
有了這樣的想法，李淵就決定把李密的忽悠繼續進行到底。他就給李密回信:我可是隋朝的忠臣，再說我跟隋煬帝還是親戚。所以你讓我和你一起消滅隋煬帝，我是不敢聽，不敢想，也不敢做。但是我不能這樣做，我以為您不能那樣做。天生了那麼多老百姓，就必須設定一個領頭的，這個領頭人，舍您還能有誰啊！李密一聽可就太高興。遍視手下，說唐公都這樣推舉我，看來我平定天下，可是指日可待了。從此還就真把李淵當成盟友和小弟了，所以當李淵往關中推進，他也就沒有發任何意見。就這樣李淵透過外交手段，就把一個對手給穩住了。
代王楊佑雖然還只是一個十三歲的孩子，但是政治催人早熟。他十分清楚，李淵想推尊他，不過是為了掩人耳目，一旦讓李淵進入關中，進入大興城，不管他楊佑也好，大隋王朝也好，保證過不了幾天。所以他一聽李淵在太原起兵，就馬上派了兩名將軍來進行防控。
一個是虎牙老將宋勞升，率領五萬精兵屯駐霍邑，也就是今天的霍州市。還有一個是武侯大將軍瞿突通，讓他帶領幾萬驍果屯駐今天山西的永濟，希望瞿突通能守住潼關這個地方，把李淵阻隔在潼關以東。讓他不要跨過黃河，進入關中地區。如果李淵想打進關中。必須先過這兩個將軍的關。
李淵起兵的第十天，他的軍隊已經打到霍邑的旁邊兒了。就在這個地方遇到了一個重大的挫折。這時候正值七月份，連下了幾天雨就是不放晴。李淵的軍隊就根本沒法往前推進了，只好屯駐下來，很快他發現就連駐紮都駐紮不下去了，因為糧食吃盡了。如果三萬人的軍隊沒糧食吃，那不就等著譁變吧。就在這個關鍵時候又傳過來一個小道訊息，突厥雖然和李淵有盟約在先，這時候居然和劉梧州一起去攻打晉陽了，這時候軍隊就更慌了。因為太原可是李淵的大本營，李淵這時候已經派人到太原取糧食了。如果這個時候太原被人佔領。就意味著糧食永遠取不來了。這是一個很大的危機，更要命的是好多軍人家屬可還都在太原呢，突厥人進了晉陽城，那些婦弱老幼可怎麼辦？想到這裡整個軍隊都是心慌意亂。裴濟當時就說我們現在危機重重，前面有宋老升把道，我們不一定能打的贏。再加上現在糧食也快吃完了。突厥人是最不講信譽的，說不定這個謠言就是真的。另外我們東面還有李密，如果這時候，他也來打我們一下兒，我們肯定是吃不消的。太原那可是我們的大本營，所以乾脆我們打回去算了，這是當時主張回去的一派。
李世民馬上就進行反駁了，雖然這時候暫時沒有糧食吃了。可現在田野裡到處是成熟的豆子，穀子。我們就是就地收割，也能解決一部分吃的問題，所以這不是真正的問題。宋老升是一個輕狂暴躁的一個人，只要和他一接觸，我保證一仗就能打贏他，這個也不用擔心。至於李密更不可能過來打我們，他手裡可是握著幾個大糧倉呢，糧食就在身邊兒，誰也不會那麼積極進取。所以讓他拋棄那份家底，過來攻打我們，我認為他是做不到的。最後就是突厥和劉梧州表面上在一起狼狽為奸，但是也是各懷心腹事。如果劉梧州這時候帶突厥攻打太原，難道他就不怕他剛打下來的馬邑被突厥人吃掉嗎？所以這些都是不可能的。
面對兩派意見，李淵當時也認為裴濟的意見更妥當一些，於是他就決定聽裴濟的，就勒令軍隊往回走。這可就讓李世民著急了，他還想再去勸勸李淵，跟他說清楚利害關係。當時天色已晚，李淵已經回大帳睡覺去了。警衛員對李世民說，主公正在睡覺，所有人不得打擾，就是親兒子也不行。如果等李淵睡醒以後再去勸他，那可就晚了，一晚上時間那可是能幹好多事兒。所以李淵就站在李淵的帳篷之外，嚎啕大哭。攪得李淵是根本睡不著覺。沒辦法他就把李世民叫了進來，說你哭什麼哭啊？
李世民說:我們的軍士是靠大義聚攏在一起的，是靠氣勢凝聚在一起的，如果我的一鼓作氣往前走，我們就一定能勝利。如果我們這時候往回走，我們氣勢首先就沒了，人心就會散。只要人心一散，人也就散了。如果那時候朝廷的兵再從我們後面打我們，那我們肯定馬上就死了。我們都快要死了，我能不哭嗎？李淵聽他這麼一講，心裡也很受觸動的，也就慢慢接受了他這個想法。這樣路線問題也就解決了，也就化解了這次危機。
這時候李淵派往太原運糧的人也回來了，糧食問題也就解決了，既然押運糧食人人回來了，所謂晉陽已被突厥人攻破的小道訊息也就不攻自破了。這樣士兵的心也就踏實下來了，就在這個時候雨也停了，這樣就可以接著往前走了。經過一個月的跋涉終於來到霍邑了，要打宋老升了。
李淵這時候最擔心的是宋老升守著霍邑不出戰，李世民這時候又來寬慰他來了:你放心，宋老升這個人比較輕率，比較急躁，如果我用小股部隊去挑逗他，讓他覺得我們兵力比較少，那他就一定會出來打。如果他一直堅守不出城，我們就來造謠，說他宋老升和我們暗中勾結，那誰能受得了這樣的謠言，那他肯定就會出戰的，所以你不用擔心。李淵這時候開始真的佩服兒子了。
李世民和李建成就只帶了幾十名騎兵來到霍邑城下，他們溜溜達達，拿著鞭子指來指去，做出一副戰略部署的樣子。宋老升在城上看的很生氣，就你們這幾十個人還想打我，就想下去吃掉他們，正在激憤之際，李世民又安排士兵對著城樓，破口大罵起來。終於把宋老升給惹毛了。他也就沒有多想，領著三萬士兵，就分別從東門和南門殺了出來。其中東門是主力部隊，南門也有一小股兵力。宋老升一出城，李淵的步兵也集結好了，既然東門是主力，李淵和李建成就率領部隊到東城迎敵，李世民則獨立率領一支軍隊在南門作戰。
兩邊一交手，宋老升是一支精銳部隊，在霍邑這裡也是養精蓄銳好久了，戰鬥力很強。而李淵他們手下計程車兵是剛剛風餐露宿了一個多月，而且就連當天的早飯都沒顧得上吃。所以戰鬥力稍差，所以李淵這邊兒還真就不行，就開始往後退了，李世民在南門一看到這種情況，他就當機立斷，把南門先放下，率領他的部隊就直接往東門衝過去了。那李淵這邊兒就等於增加了有生力量。而對於宋老升來說可就是腹背受敵了。這一下子陣就有點兒亂，李世民這時候開始展現個人英雄主義，就拿了兩把大刀，朝著宋老升的部隊就殺過去了。一頓亂砍，一會就砍倒了幾十個人，把兩把大刀的刃兒都砍捲了。因為李世民身先士卒，李淵那邊兒也就士氣大增，他這邊兒的局勢就稍微扭轉過來了一點。就在這時候也不知道李淵這邊兒誰喊了一聲:宋老升已被活捉了！
因為兩軍交戰都是混戰，士兵們都不知道主帥在那裡，很多人就信了，一聽說主帥被抓住了，宋老升手下計程車兵也就亂套了。他們也就無心戀戰了，就紛紛開始往回跑。李淵可是個有本事的人，他怎麼會讓這些人往回跑，如果讓他們回到城裡把城門兒一關，那可就是攻堅戰了，就不好打了。所以他就率領一支騎兵，從外面兒就把大門兒給推上了。宋老升這時候已經來到門前了，他一看到大門兒關著，後面還有追兵，他就慌不擇路，跳進了城外的壕溝裡。李淵手下一名將領劉洪基見狀，就衝過去一刀把宋老升給解決了。老將軍都死的這麼慘，他手下計程車兵就可想而知了。霍邑城外到處都是屍橫遍野，連綿了好幾裡地。就這樣經過差不多一天的戰鬥，霍邑總算是攻克了。
這時候李淵就要去對付屈突通把守的河東郡了，也就是今天的山西永濟。屈突通可是個厲害角色，並且他還是一個很沉得住氣的人，他也是派手下跟李淵打了一場仗，失敗了，從此他就認準了一個死理兒，固城自守就是不出戰。這可就是在耽誤李淵的時間，裴濟說我們必須先要解決屈突通，如果我們繞過他直接去打大興城，那就會造成腹背受敵，那到時候我們可就要狼狽了。長安城所依賴的也就是屈突通這支部隊，如果的態度，他讓李建成我們打敗了屈突通，長安城就會不戰而破，是所以我們必須著力解決屈突通，也就是不打敗他們，我們就不能走。
李世民這時候就反駁他:兵貴神速，我們必須直奔長安，然後拿下長安，如果我的以迅雷不及掩耳之勢來到長安城下，長安的守軍就根本來不及做很好的謀劃，他打無準備之戰，我們就很可能打贏。那樣我們就會像秋風掃落葉一樣容易，如果我們現在在這裡和屈突通曠日持久下去，等我們這邊打完了。長安城那邊就會準備充足，到時候就不好打了。再說了關中地區現在是群雄並起，還沒有一個主心骨，如果我們現在過去，就能成為那支核心力量，就可以登高一呼，應者雲集。如果我們留在這裡不過去的話，沒準兒一支其他的勢力就要起來，人家可就要成為主心骨，如果別人先於我們把關中拿下了，我們該怎麼辦？
李淵這時候做了一個最妥當，他讓大兒子李建成帶領一支軍隊就防控在西邊兒，把屈突通牢牢阻隔在潼關以東，讓他不能過去跟關中呼應。讓二兒子李世民率大軍直撲長安而去，這等於把兩方面兒的意見都兼顧了，這可就是兩全其美。
李世民就率著大軍直衝長安而去，他這邊兒打的是相當順利。因為他的姐姐也就是後來娘子軍的首領平陽公主，已經給他做好鋪墊了。平陽公主回到戶縣，也就是長安城西邊兒，然後散盡家財，她也招兵買馬去了。手下有了人，他就開始攻城掠地了，這樣長安城周圍的縣城就都姓李了，她手下的部隊也迅速擴張到七萬人。這可就給李淵拿下關中掃平了障礙。就這樣在自己幾個得力兒女的配合之下，七月份李淵就來到了大興城的東門外了。手下的軍隊也由原先的三萬人一下子擴充到二十萬人了。七月十四日，李淵已經把大興城圍的像鐵桶一般。
最終到十一月七號，這邊兒有個軍頭雷勇基跳上了長安城的城牆，這就表示著隋朝的首都大興城被李淵正式攻破了，這據李淵從太原起兵還不到半年。李淵之所以能這麼順利拿下長安城，李密可是立下不少功勞。正是李密在洛陽把大量隋軍拖在東面，才讓他們無暇一顧。李淵這個人可真的是吉人天相。
李淵進入大興城，代王楊佑可就成了他的俘虜了。李淵這時候扶植楊佑繼位，遙尊遠在江都的隋煬帝為太上皇，也就兌現了當時起兵時的諾言了。
