李淵設立東南道行臺，為了嘉獎李靖的軍功，賜千段，並賜奴婢一百口，良馬一百匹，授任他為行臺兵部尚書。行臺被撤銷後，又任檢校揚州大都督府長史。李淵十分欽佩李靖的軍事才幹，極口讚歎說：“李靖乃蕭銑、輔公祏的膏肓之病，古時的名將韓信、白起、衛青、霍去病，沒有一個能比得上李靖！”江南屢遭兵禍，民生凋敝，李靖鎮有方，使一方安定。
江南的局勢安定以後，北方的形勢又一時張起來。隋末唐初，東突厥勢力強大，李淵太原起兵時，曾向突厥始畢可汗稱臣，以換取北方的相對安定。唐朝建立後，突厥一方面支援薛舉、劉武周等割據勢力，與唐朝分庭抗禮；另一方面，又自恃兵強馬壯，不斷舉兵南下侵擾。在平定江南中功勳卓著的李靖又被調到北方，以反擊突厥。
武德八年八月，突厥頡利可汗率十餘萬人越過石嶺，大舉進犯太原。李淵馬上命李靖為行軍總管，統率一萬多江淮兵駐守太谷，與幷州總管任瑰等迎擊突厥。由於突厥來勢兇猛，諸軍迎戰多失利，任瑰全軍覆沒，唯李靖軍得以保全。不久後，李靖“權檢校安州大都督”。
武德九年八月，李世民剛剛登基，即唐太宗。頡利便乘唐朝皇帝更替之機，率十幾萬銳騎兵再次進犯涇，並長驅直，兵臨渭水便橋之北。李靖被調為靈州道行軍總管，以抗擊東突厥。頡利不斷派騎挑戰，還派其心腹執失思力朝，以觀察虛實。當時徵調的諸州軍馬尚未趕到，長安市民能拿兵打仗者也不過幾萬人，形勢十分危急。在此種況下，李世民冒險親臨渭水橋，與頡利結盟，突厥才退兵。在此期間，李靖曾疾馳至豳州，企圖邀擊突厥，但因渭水盟誓達而作罷。事後，李世民擢任李靖為刑部尚書兼行太子左衛率，賜實封食邑四百戶。貞觀二年，以刑部尚書兼檢校中書令，次年轉任兵部尚書。
此後不久，東突厥國發生了變，所屬薛延陀、回紇、拔野古諸部相繼叛離，又恰遇暴風雪，羊馬死亡甚多，因而發生了荒，族人紛紛離散。
貞觀三年八月，李世民接了代州都督張公瑾的建議，決定出擊東突厥，命李靖為定襄道行軍總管，以張公瑾為副，發起了強大的軍事攻勢。又任命幷州都督李積、華州刺史柴紹、靈州大都督薛萬徹等為各道總管，統率十幾萬軍隊，分道出擊突厥。
貞觀四年正月，朔風凜冽，李靖率領三千銳騎兵，冒著嚴寒，從馬邑出發，向惡嶺進。頡利沒有想到唐軍會突如其來，兵將相顧，無不大驚失。他們判定：如果唐兵不傾國而來，李靖決不會孤軍深，於是“一日數驚”。李靖探知這一訊息，令間諜離間頡利心腹，使其親信康蘇前來投降。李靖迅即進擊定襄，在夜幕掩護下，一舉攻城，俘獲了隋齊王楊暕之子楊政道及原隋蕭皇后，頡利倉皇逃往磧口。李靖因軍功進封代國公，增加食邑三千戶，賜六百段及名馬、寶等。李世民高興地對大臣說：“漢朝李陵帶領五千步卒進攻匈奴，最後落得歸降匈奴的下場，尚且得以留名青史。李靖以三千騎兵深敵境，攻克定襄，威振北狄，這是古今所沒有的奇勳，足以雪往年在渭水與突厥結盟之恥。”
在李靖勝利進軍的同時，李積也率軍從雲中出發，與突厥軍在白道遭遇。唐軍力衝殺，把突厥軍打得潰不軍。頡利一敗再敗，損失慘重，遂退守鐵山，收集殘兵敗將，只剩下幾萬人馬。頡利可汗於山窮水盡的境地，他派執失思力朝請罪，請求舉國歸附唐朝，並表示願意朝。其實，他心尚猶豫未決，意贏得時間，以苟延殘，俟草青馬之時，逃到大漠以北，以捲土重來。
。進跟軍領積李，發出夜連兵率靖李。計定起一是於”。呢的惜可麼什有又，測不到遭此因使即者使等儉唐像。理道的國齊滅消能信韓是就這，過錯可不機時，機良的兵用是正這“：說靖李”。擊進伐討去宜不怕恐，裡那在也者使的去派廷朝，降歸汗可利頡許准詔下經已下陛“：說謹公張”。厥突擊襲道白從兵帶，糧軍的天十二帶攜，萬一騎拔選，機良此乘就們我。備戒鬆放會定必厥突，裡那利頡了到者使“：說謹公張對又他”。啊略策的橫田滅信韓是就，話番這的您“：說地興高腕手著握，喜大言聞靖李”。了寇賊定平而戰不以可就樣這，擊襲去後隨們我，備戒鬆放定必厥突，去裡那到儉唐派詔下今如。了們他上追難很就，阻險遠遙路道，護庇的勒鐵姓九到得，漠沙過走果如，多還馬人，敗戰然雖利頡“：說議商靖李和也積李的合會來前。圖意實真的做樣這民世李到揣靖李，利頡去仁修安軍將、儉唐卿臚鴻派又，月二年同。利頡接迎軍率，管總軍行道襄定為靖李任再民世李
。亡滅此從厥突東。師京到送並，獲擒相寶張管總副軍行被利頡，久不。降投多大領首其，逃北能不，攔阻積李被口磧在，失尼蘇那史阿設羅缽沙奔投，漠大過北想人餘萬率汗可利頡。主公義隋死殺，施羅疊子之利頡獲擒並，只萬十數羊牛獲繳，萬幾十虜俘，人餘萬一敵殺，到趕之隨軍大靖李。逃而散四軍厥突，走逃馬騎忙慌利頡。覺發被才方地的遠里七帳牙距到直，行疾然悄，霧大著乘又騎餘百兩的領率方定蘇鋒前軍唐。備戒了鬆放，人等儉唐到見利頡，時這。行同軍唐與命，獲俘部全而戰一，帳餘千候斥厥突到遇，山至進軍率靖李
。國強的北西是厥突，來以朝隋自
