此时，李建成正刚刚从自己的住处出来，他虽然被废了太子之位，但李渊却并没有让他搬出东宫，故他依旧住在此地。而在东宫旁边的便是齐王府，李元吉此刻也正好出门上朝，于是两人便结伴同行。
由于李世民的军队神不知鬼不觉的接管了长安城防，故皇宫内的人都不知道秦王的大军进了城。只有皇宫北门玄武门的禁军总领常何知道李世民要来了。他原本是李建成的亲信，但却被其暗中策反，现在成了李世民的人。
在常何的带路下，李世民和刘文静、张宝德等人便来到了玄武门外，将兵士埋藏起来，准备伏击李建成和李元吉。
李建成、李元吉在数十名亲卫的陪同下，来到了临湖殿。他们立刻便察觉到了情况有些不对劲，原本此处应该有八名守卫巡逻，但一路走过来却是一名也没有碰见，静得让人感觉可怕。
“大哥，好象有些不大对劲啊！”李元吉皱了皱眉头道。
他对于危险来临有一种特别的敏感，这也是他为什么屡战屡败还总能逃得性命的原因。
李建成也感觉出了有些异样，因为他的心腹何常竟然没有在这里。
“元吉，我们先回去吧！可能宫内情况有变！”他这时掉转了马头，准备向东返回东宫和齐王府。
埋伏在门外的李世民见状顿时急了，立刻便率军冲了出来，然后高声呼道：“大哥、三弟！”
李建成和李元吉听见李世民的声音，都是一愣。
李元吉有些奇怪道：“大哥，二哥不是应该在潼关前线吗？怎么突然回来了？难道是潼关也失守了，所以他败退回来了？”
他这一问，李建成却是反应了过来，眉头一皱道：“不对劲！”
“皇兄，怎么不对劲了？”李元吉问道。
“李世民竟然带了数百名兵丁进皇宫！他身后的士兵装束，明显是玄甲天兵，而不是宫中的禁军！”李建成沉声说道。
李元吉一听，吓了一大跳，忙道：“他该不会是来杀我们的吧？”
“此事大有可能，我们速回东宫叫人！”李建成于是便下令纵马狂奔。
只不过，当跑到宫门前时，却发现这里已经有数百名身穿黑衣黑甲的唐军，手持硬弓弩箭，对他们怒目而视。
“又是李世民的玄甲天兵！他们竟然堵住了宫门！”李建成和李元吉见状，心头顿时一沉，他们身边只有几十名士兵，而对方仅是堵宫门的便有几百人，可谓敌众我寡。
这时，李世民已经带着大队人马冲了过来，将他们团团包围。
“李世民，你想干什么？”李建成厉声喝道。
“哼！你投降了宇文明，企图背叛大唐。父皇让我带兵前来拿你！”李世民冷哼了一声道。
“你胡说八道！父皇已经下令投降周朝了，已经派出使者和周军接洽此事了，你还不放开道路，让我们去上朝！”李元吉斥责道。
“李元吉，我看你才是胡说八道。竟然说父皇会投降！张将军，给我把他拿下！”李世民大声喝道。
“谨遵秦王命令！”张宝德应了一声后，便立刻率领士兵上前，准备抓捕李建成和李元吉。
“快！元吉，我们一起冲！”李建成见状，方拔出长剑，纵马向玄武门处奔去。
而这时，李元吉却是张弓搭箭，准备射向李世民。他的想法其实也不错，现在李世民的士兵虽多，却是都以其为首。只要自己能够将其一箭射死，余者群龙无首之后，便会一轰而散。到时东宫和齐王府的援兵来了，便能够扭转局面。
但他没有想到的是：由于自己太过心急，加上久不操练弓马，一连两三次都没有将弓拉满，箭没有射中。
而与此同时，李世民却先张弓搭箭，射向已经向玄武门逃跑的李建成。
只听“嗖”的一声，一支精铁长箭飞过长空，准确地射在了李建成的后背之上。
“啊！”李建成惨叫了一声，随即跌落下马，背上鲜血淋漓。
他眼眸中的生机正随着鲜血的流出而渐渐消失。他万万没想到，自己会在上早场时遭到伏击，并死在了玄武门前。
而这时，在另一个方向，张宝德带领骑兵三百余人追到了李元吉身边。
“嗖、嗖、嗖”数十支利箭凌空射来。
李元吉拔出大刀拼命格挡，大部分箭矢都被挡下，但仍有三箭射中了他的战马，让他跌落下来。
就在此时，张宝德已经快马杀到，手起刀落，向李元吉的脖颈砍了过去。
那血淋淋的人头在地上骨碌碌滚着，滚到了李世民的脚下。
李世民冷笑着一脚踢开了自己弟弟的人头，然后对着李建成和李元吉手下，正吓得战战兢兢的几十名亲兵道：“给我全部杀死！一个不留！”
于是，在一片惨叫声中，这两位大唐皇子的手下也被全部清除，玄武门处顿时尸横遍野。
而玄武门发生厮杀的消息，很快就传到了不远处的东宫。
而东宫的直斋郎将，李建成的老部下，翊卫车骑将军冯立得知李建成被其弟李世民杀死之后，亦是叹息道：“冯某在太子生前深受大恩，岂能因太子一死便逃避祸难！”
于是，他与副护军薛万双、屈直府左车骑谢叔方等，率领东宫和齐王府的精锐兵马两千人，急驰赶到玄武门，准备为李建成和李元吉报仇。
张宝德此刻便独自关闭了大门，挡住冯立一行，让其无法进入。
而云麾将军敬君弘掌管着宿卫军，也驻扎在玄武门附近。他便准备出战，与他亲近的人阻止他说：“太子与秦王的事情未见分晓，姑且慢慢观察事态的发展，等到兵力汇集起来，结成阵列再出战，也为时不晚。”
但敬君弘并不听从，而是马上便与中郎将吕世衡大声呼喊着，向李世民的军队冲去，结果全部战死。
把守玄武门的李世民属下士兵与薛万双等人奋力交战，持续了很长时间。
薛万双亲自擂鼓呐喊，准备进攻秦王府，让李世民一方的将士皆大为恐惧，生怕家眷被害。
不过，就在此时，李世民却是提着李建成和李元吉的首级给薛万双等人看，东宫和齐王府的人马顿失战心，迅速溃散。薛万双与亲兵数十人则趁乱逃出长安城，逃入了终南山中。
冯立杀死了李世民帐下大将张宝德后，方对部下道：“冯某总算可以报答太子殿下了。”
随即，他便在四面涌来的李世民手下军队围攻中，身中数十箭而亡。
李世民这时一不做二不休，继续率领大军进攻皇宫的武德殿，与李渊的直属卫队发生了战斗。
而皇宫中的禁军由于养尊处优，久不战斗。战斗力与李世民的精锐部队玄甲天兵，完全不在一个档次上。加上如今李世民的军队已经控制了长安城的大局。在程知节的率领下不断前来支援，很快武德殿便失守了。
李渊望着满身血污，一脸狞笑的李世民，亦是吓了一大跳。
他大惊失色问道：“今日作乱之人是谁？世民你到此做什么？”
“父皇，儿臣救驾来迟了。”李世民冷笑了一声，然后接着说道：“燕王和齐王企图杀死父皇和孩儿，独揽大唐政权。孩儿得悉他们的阴谋后，便率军回师长安救驾，现在已经控制了城中局势，李建成和李元吉已经伏诛。”
李渊吓得战战兢兢，然后向刚刚赶到的裴寂和刘文静问计道：“不料今日竟然会出现这种事情，两位爱卿认为应当怎么办呢？”
刘文静道：“李建成与李元吉原本就没有参加举义兵反抗隋朝的策划，在征战天下之时，又屡战屡败。没有立下寸功。他们嫉妒秦王功劳大，威望高，便一起策划奸邪的阴谋，企图夺取大唐政权。现在，秦王已经声讨并诛杀了他们……秦王战功赫赫，名震天下。陛下如果能够立他为太子，将国家大事委托于秦王，就不会再生事端了。”
李渊苦笑道：“如今我大唐已是如此垂危，就算世民当了太子，又能有多大作用？”
程知节这时“锵”的一声拔出佩刀道：“我们只愿意效忠秦王，而不是其他人。如果陛下不立秦王为太子，恐怕三军将士都会不服！”
李渊无奈，在刀剑威胁之下，只好说道：“好吧！那朕便立世民为太子便是！”
而这时，宿卫军和秦王府的兵马，以及跟东宫、齐王府的家将交战还没有完全结束。于是，程知节请求李渊颁布亲笔敕令，命令城内还未归降的各军一律接受秦王的处置。李渊不得不接受了他的建议。
刘文静便从东上阁门出来宣布敕令，还在抵抗的东宫人马及齐王府家将便都投降了。李渊又让裴寂前往东宫开导原李建成麾下的诸将士，将士们便都弃职而散。
李建成的儿子安陆王李承道、河东王李承德、武安王李承训、汝南王李承明、钜鹿王李承义，李元吉的儿子梁郡王李承业、渔阳王李承鸾、普安王李承奖、江夏王李承裕、义阳王李承度等幼儿都被李世民残忍杀害，他还在宗室的名册上删除了他们的名字。