武德九年（公元626年），由于唐高祖李渊未能处理好皇位继承问题，致使李世民与大哥李建成争夺皇位，两大集团的龃龉与摩擦日渐增多，双方矛盾日益加剧。
李建成与李元吉密谋借机将秦王府的精兵抽走，以便在长安将李世民连根拔起，在这场东宫密谋中，被太子率更丞王晊偷听到了这一切，王晊原是天策府中的一位，被李世民安插在太子东宫作内应。
王晊第一时间将消息传至天策府。至此李世民知道，事情已经没有了缓和的余地，于是他让长孙无忌找房玄龄和杜如晦一同前来商议。二人以“敕旨不听复事王，今若私谒，必坐死。不敢奉教。”借此来测试李世民的决心。
很快李世民命令尉迟敬德携带他的佩刀，如果二人不从，那便提两人的头来见。二人见尉迟敬德一来，三人对视一眼便明白，最终的时候将要到来。一将功成万骨枯，赢则鸡犬升天，败则诛灭九族。
当众人都到达天策府后，杜如晦、房玄龄、尉迟敬德、侯君集、张公谨、刘师立、公孙武达、独孤彦云、杜君绰、郑仁泰、李孟尝等人早已到达，就等李世民商讨。
武德九年六月初三这天，李渊收到一份奏报，是太史令傅奕连夜递上来的，十万火急地汇报了2件大事：六月初一和六月初三，老百姓在大白天看见金星；金星出现的方位在西北，按地域划分，属于古秦地。李渊听后勃然大怒，立即召李世民入宫，面对李渊的质问，李世民直接告发李建成和李元吉淫乱后宫，以此为障眼法帮助他脱身。
李世民还贿赂常何，获得了长河常何的支持，而常何作为玄武门的守将，对于玄武门的控制至关重要。
武德九年六月初四（626年7月2日），秦王李世民率领长孙无忌、尉迟恭、宇文士及、高士廉、侯君集、程咬金、秦叔宝、段志玄、屈突通、张士贵等人入朝，并在玄武门埋下伏兵。这一切被张婕妤暗中告知李建成。
这时高傲自大的李建成，还相信着皇宫守卫森严，自己的二弟不会乱来，所以并没有过多在乎。而此时李渊召集心腹裴寂等人前来查验李建成和李元吉淫乱后宫之事。
当李建成与李元吉来到临湖殿后，发现了不对，正准备逃走时。李世民出现在他们俩的身后叫住了他们，李元吉因为心里害怕就想射死李世民，但因为紧张和害怕，并没有射中，随后李世民直接一箭射杀李建成。
紧接着，尉迟恭率领骑兵将李元吉包围，其中一名士兵一箭将李元吉射于马下，李世民的坐骑也随之一惊，朝着旁边的树林冲去，李世民被挂在树上。李元吉想借此来擒住李世民，最终被斩杀。
太子李建成和李元吉的部下听说其死后，集结兵马包围玄武门，当他们到达玄武门时，他们看见李建成和李元吉的头颅被挂在玄武门上，东宫和齐王府的人马瞬间失去士气溃散而逃，薛万彻与骑兵数十人则逃入终南山中。
李世民命令尉迟恭率军包围李渊的住处，当尉迟恭登上李渊的船后，告知李渊太子李建成和齐王李元吉因作乱被秦王李世民所杀，并且囚禁的李渊。
至此李渊深知大势已去，武德九年（626年7月5日），李渊立秦王李世民为皇太子。
武德九年（626年9月4日），李渊传位于皇太子李世民，李世民在京师长安的东宫显德殿即皇帝位。
李世民即位后，任命杜如晦为尚书右仆射，封蔡国公，赐实封食邑一千三百户。