等侍卫将李世民捆了起来，李渊又上前赶走侍卫。
一边给李世民松绑，一边哭着道：“我爱你，又怎么忍心将你送去江都给杨广杀呢！起兵的事情，为父答应你就是。”
《新唐书》卷1《高祖纪》：高祖留守太原，领晋阳宫监，而所善客裴寂为副监，世民阴与寂谋，寂因选晋阳宫人私侍高祖。高祖过寂饮酒，酒酣从容，寂具以大事告之，高祖大惊。寂曰：“正为宫人奉公，事发当诛，为此尔。”世民因亦入白其事，高祖初阳不许，欲执世民送官，已而许之，曰：“吾爱汝，岂忍告汝邪？”
既然已经下定决心起兵，李渊在李世民的建议下开始准备。
先是以讨伐刘武周、防备突厥南下为名，派李世民、刘文静、长孙顺德及刘弘基等人到各地募兵，一个月内便召集部众近万人，又暗中派人往河东蒲州召儿子李建成、李元吉至晋阳，准备起事。
再派人前往长安，让韩光、李秀宁择机在关中举兵响应。
然而李渊虽准备妥当，突厥仍旧是横亘在李渊称霸大业上的天堑，还有太原副留守王威和高君雅这两个障碍。
王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，想要除掉他们，向隋炀帝邀功请赏。
不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。
大业十三年五月十五日，李渊、李世民先发制人，指使鹰扬府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁 。
五月十七日，数万突厥大军进攻晋阳，李渊立刻下令将二人斩首，对突厥大摆空城计，派部将王康达、杨毛等抄袭突厥，夺取马匹以充起兵之用 。
随后，李渊派刘文静出使突厥，亲写书札，对突厥始毕可汗卑辞厚礼，始毕可汗回信，承诺支持李渊起兵 。
《旧唐书·刘文静传》：高祖开大将军府，以文静为军司马。文静劝改旗帜以彰义举，又请连突厥以益兵威，高祖并从之。因遣文静使于始毕可汗，始毕曰：“唐公起事，今欲何为？”文静曰：“皇帝废冢嫡，传位后主，致斯祸乱。唐公国之懿戚，不忍坐观成败，故起义军，欲黜不当立者。愿与可汗兵马同入京师，人众土地入唐公，财帛金宝入突厥。”始毕大喜，即遣将康鞘利领骑二千，随文静而至，又献马千匹。高祖大悦，谓文静曰：“非公善辞，何以致此？
五月三十日，李建成、李元吉自河东到达晋阳，李渊再无后顾之忧。
与李世民、李建成和一众心腹制定出“废皇帝而立代王，兴义兵以檄郡县，改旗帜以示突厥”的战略。
六月，西河郡不肯跟随李氏起兵。
西河乃是兵家必争之地，太原南下的必经之途。从战略上讲，一旦太原有失，则西河便要担当起拒敌南下之大任。
李世民主动请缨，率三千玄甲军九日内破西河郡城，斩郡丞高德儒。
李渊大喜，李阀军心大振！！
自此李渊自称大将军，署置府僚，以李建成为陇西公，左领军大都督，领左三统军等；
李世民为敦煌公，右领军大都督，领右三统军等，各置官属。
李元吉为姑臧郡公，镇北大将军。
又“开仓库以赈穷乏，远近响应”，队伍大为扩张，“二旬之间，众得数万”。于是定下入关之计。
大业十三年（617年）七月五日，李渊自率甲士三万誓师，正式起兵。
留二女婿窦诞守太原，护卫老巢和女眷。（历史上是李元吉留守太原，剧情需要换成窦诞）
随后领李建成、李世民、李元吉三个儿子并一众心腹从晋阳出发，沿着汾河谷道南下进军关中。
窦氏强烈要求随军，为李渊拾遗补漏，李渊允之。
李渊表面上打着“志在尊隋”的旗号，宣布尊立代王杨侑为帝。始毕可汗派人送马千匹支持，驻在楼烦的原西突厥特勤阿史那大奈（即史大奈）也率兵相助。
却说杨广听闻李渊反叛，意图取长安，立杨侑为帝。暴怒！一边勒令关陇各州县严防死守。一边命下令大隋名将来护儿领一万骁果军支援长安，又加派五千骁果军增援潼关，由潼关守将屈突通统领。
李渊大军一路势如破竹，在行至贾胡堡（今山西灵石西南），遭到了大隋虎牙郎将宋老生的拦截。
宋老生率精兵两万屯霍邑，阻击李渊军南下。
这时正值秋雨连绵，道途泥泞，李渊军不得前进，军粮也感匮乏。外间还谣传突厥将与刘武周乘虚掩袭晋阳，因刘文静出使突厥未归，众人不知虚实。
李渊召集将佐商议对策。裴寂等主张“还救晋阳根本，以图后举”。
李世民则大声反对，力主进军：“本兴大义以救苍生，当须先入长安，号令天下；遇小敌即班师，将恐从义之徒一朝解体。还守太原一城之地，此为贼耳，何以自全！”
李渊犹豫许久之后，拒绝采纳李世民的建议。