六百二十一年，秦王李世民東征王世充。段志玄在作戰時馬倒被擒，敵軍兩將抓著他的髮髻，要將他帶走。在渡水時，段志玄縱跳起，將二人拉墜馬下，奪得馬匹馳歸。數百人在後面追趕，但是都不敢近。不久，王世充、竇建德相繼被平定，段志玄因功升任秦王府右二護軍。
武德九年，太子李建謀害李世民，以重金賄賂段志玄，企圖其歸順。段志玄拒不接，並將此事告知李世民，後與尉遲敬德等人發玄武門之變，誅殺李建、李元吉。不久，李世民登基，是為唐太宗，段志玄遷任左驍衛大將軍，封樊國公。
六百三十四年，段志玄被任命為西海道行軍總管，率領邊軍與契苾、党項等部落兵馬征討吐谷渾。段志玄擊破吐谷渾，率軍追擊八百餘里，到距離青海湖三十餘里時，吐谷渾驅趕著牧馬逃走。唐太宗詔令段志玄追擊到青海奪取吐谷渾的牧馬，段志玄停留不前，被唐太宗罷免其職，不久又復原職。
六百三十七年，唐太宗封功臣為世襲刺史，段志玄為金州刺史，改封褒國公。六百三十八年，升任右衛大將軍。六百四十年，又加鎮軍大將軍。
六百四十二年，段志玄患病。唐太宗前往探視，並打算封其子為五品。段志玄請求將職封給弟弟段志，唐太宗遂封段志為左衛郎將。不久，段志玄病逝，終年四十五歲，贈輔國大將軍、揚州都督，諡號莊肅，並陪葬昭陵。
長孫皇后出葬時，段志玄與宇文士及分別統領兵馬守衛肅章門。太宗在夜晚派遣使者到達他們兩人駐所，宇文士及開門放行，段志玄則閉門不讓使者進來，並道：“軍門夜晚不能開。”使者道：“我有皇帝的手敕。”段志玄道：“夜間難辨真偽。”使者無奈，只好等待到天明。太宗聽說後，稱讚道：“這是真正的將軍，周亞夫也不過如此。”
李世民：司徒趙國公無忌、……故輔國大將軍揚州都督褒忠壯公志元、……故徐州都督胡壯公秦叔寶等：或材推棟樑，謀猷經遠，綱紀帷帳，經綸霸圖；或學綜經籍，德範煒，犯同致，忠讜日聞；或竭力義旗，委質藩邸，一心表節，百戰標奇；或命廟堂，闢土方面，重氛載朗，王略遐宣。並契闊屯夷。劬勞師旅，贊景業於草昧，翼淳化於隆平。理懷沈毅，氣幹強雄，蜀漢委質，早效忠款。潁川從我，備盡心力，預艱虞於藩朝，陪戎徵於閫外。勤宣階陛，功表旌旗，西城之地，襟帶蜀，藩翰之重，實俟勳庸。
呂溫：褒公虎臣，先運而臻。謁帝太原，許唐以。擁劍駕氣，騰風躍雲。積忠累仁，有厥勳。建旄北伐，細柳宵屯。風謐霜凝，嚴扃達晨。天子之使，駐車軍門。安眾秉威，此真將軍。侁侁桓桓，克壯有聞。
。焉賴實斯，盛之唐有。變識機知，臣謀將猛謂所皆。君儲助志，議定投謹公。旅師安竟，言不鏑中玄志。矣子君幾見謂可，圖霸之代唐識，貳猜之充世曉並而。矣忠謂可，君輔命致則篽隼拜，難國平志節知。矣勇謂可，眾敵寡以則壘賊拔，槊馬用善寶叔。石藥臣功為可，言之誡告皇文；道之全自非，氣負拳而然。主霸忠竭，恩報賂卻，師王勇鼓，陣陷槊奪德敬：昫劉
。十第列位玄志段，閣煙凌在掛像畫的臣功位四十二將宗太唐，年七十觀貞
。臣功等一第為評宗高唐被臣舊府西、從元原太位六十三等玄志段，年元章總
