李渊，字叔德，他的祖父和父亲都是当时在朝的官员，祖父李虎，西魏时官至太尉，父亲李昞，原是北周时的当朝大官，后来隋文帝统一全国，建立隋朝以后又在随朝为官，被隋文帝封为唐国公。可以说李渊从小出生于贵族家庭，在七岁的时候就世袭了父亲的爵位，成为了唐国公。李渊的母亲是隋朝皇后独孤皇后的姐姐，独孤皇后作为李渊的姨母，自然很疼爱他，所以李渊入隋以来就受到隋文帝的重用，先后任命他为淮、陇、岐三州刺史、荥阳、楼烦二郡太守，后又被召回担任殿内少监，迁卫尉少卿。
公元604年，杨广弑父杀兄登上了皇位虽然前期我们看到了他努力的成果，但是杨广本身就好色、骄奢，以至于在他执掌政权的后期，他开始为所欲为，不听劝阻，不顾天下黎民百姓的疾苦。他为了国家疆域的扩大，不看清自己的实力就去攻打高丽，最终虽然胜利了，但是隋军也遭受到了重创，后来他又大兴土木、修宫殿、开凿运河、修驰道，为了满足自己的享乐，杨广搜刮民脂民膏，收押社会中的青壮劳动力，迫使妻离子散，百姓怨声四起，造成了隋朝经济的严重破坏，百姓常常没饭吃，各地饥荒一片，烧杀抢掠不断地在发生，鉴于这个面貌，当时的许多绿林豪杰们聚集起来造反推翻隋朝的统治。虽然李渊与杨广是表兄弟，但是杨广并不喜欢他，原因是因为当时天下流传着“李氏当为天子”的谣言，杨广作为一个生性多疑的人，遂把李渊派遣到山西、河东担任抚慰大使，负责平定内乱。
李渊到达河东后，剿灭了好几支义军，得到了隋炀帝的赞赏，隋炀帝任命李渊为太原留守，另外派了王威、高君雅为副守将，监视李渊。此时，全国的格局发生了很大形式的转变，农民起义军已基本摧毁了隋王朝的统治力量，隋朝的官僚地主也纷纷打起反隋的旗帜割据一方。李渊在太原留守时，看见现如今天下如此局面，心里面开始打起了小算盘，于是开始网罗天下豪杰，招降纳叛，不断地扩充自己的实力。此外李渊还有一颗为人民着想的心，他广开粮仓，救济灾民，赢得了诸多民心。正当李渊密谋起义的时候，马邑的校尉刘武周发动政变，隋炀帝闻讯后大怒，要提李渊到江都治罪，再加上当时的太原副守王威和高君雅看见李渊正在招兵买马，怀疑李渊恐怕是要有所行动，所以打算除掉李渊，在向隋炀帝请功，可惜两人的诡计被李渊得知，李渊决定先发制人，李渊开始着手在太原起兵。