王仁恭进驻定襄之后，留守马邑的大将便是他的副将李神通，这李神通和李孝恭一样，都是李渊的弟弟。李阀的重要人物。自李渊担任太原留守，兼河东招讨使一职，负责清剿河东地区的乱匪之后，他便想方设法把自己的人安插到河东各郡之中。而王仁恭当太守的马邑郡，自然也是他重点渗透的地方。
之前杨广对李渊怀有戒心之时，他几次提出李神通的任命，都未能得到通过。但自宇文明反叛事件发生后，杨广却认为李渊是信得过的人，对于他提出的河东人事安排大开绿灯，李神通、李孝恭、裴寂和刘文静等都被委以了要职。李神通更是担任了马邑副太守的职务，位高权重。连王仁恭也得让他三分。
上任马邑副太守之后，李神通也是紧张万分，尤其得知杨广将要从他的地方经过之后，更是全神贯注地等待着北上大军的消息。眼下他已经知道，杨广从太原出发，已经穿过了楼烦郡，快进入马邑郡地界了。不过进驻定襄的王仁恭那里，却还没有传回突厥大军的情报。他派出去的斥候一直没有回音。
临到午时，一只猎鹰从西方盘旋而至，几名士兵大喊起来，“李将军，信鸽飞回来了！”
李神通奔出房间，望着天空中冉冉下降的鸽子，也是心中宽慰，暗道这盛彦师总算有消息传回了。片刻之后，信鸽落了下来，卫兵立刻将鸽子脚上栓着的小竹筒取了下来，然后从中取出一卷纸，递给了李神通。
李神通看完之后，却是瞳孔微缩，心中惊惧不已，他当即便传令道：“立刻派人通知满城民众，突厥大军即将杀到，愿意撤离者可速度撤走。”
随后，他又对身旁边的传令兵道：“你立刻骑最快的马赶往南方，前往陛下处，告知他突厥大军已经南下，人数在三十万以上，极有可能上四十万。请陛下早作决断！”
他的命令传达之后，马邑城内顿时沸腾了，一队队隋军士兵骑马在街奔驰大喊：“突厥大军即将杀到，赶快向南撤离！”
城内顿时变得一片混乱，六万多住在城内的居民扶老携幼，带着值钱的金银细软，骑着马，赶着驴，套上了马车纷纷向南撤离。
象定襄、马邑、楼烦等边塞城市的优点就是，几乎家家户户都备有马匹，再不济的人家也会有一头驴子。于是，城外很快便汇集成了一条浩浩荡荡的南撤队伍，民众们开始分散撤离。
他们都很清楚，突厥人攻击的主要目标是贮藏有大批粮食和金银的郡城，以及没有城墙的村落。而对于那些无多少油水，却有坚固城墙的县城，则一般不会进攻。所以，大凡有突厥大军南下时，北方各郡城的百姓，大多都会疏散到周边的县城避难。
而此刻，杨广的车队离马邑城还有一百二十里，这只北巡大军的速度并不快，主要是带着许多宫中嫔妃和太监宫女等，导致行动缓慢。
这时，几名骑兵从北方疾速奔来，他们跨下的马匹喷着粗气，足见是用尽了力气奔跑。
走在最前面的隋军将领裴行俨连忙上前拦截住他们，然后厉声问道：“什么人，竟然妄闯圣驾！再不站住就放箭了！”
为首的骑兵忙下马拱手作了一揖道：“我们是马邑郡的郡兵，奉李神通将军命令，有紧急军情报要禀报圣上！”
“什么紧急军情？”
“突厥有超过三十万以上的大军正向马邑郡方向杀来，估计定襄郡已经沦陷。李将军请圣上紧急撤退！”
裴行俨听闻之后，顿时大吃一惊：“跟我来！将你知道的所有情况详详细细地给我说清楚！”
片刻之后，他便向着杨广的车驾奔去……
没过多久，马车内的杨广便听见车外传来急促的马蹄声，随即那王公公便在车外禀报道：“陛下，裴行俨将军遇上了马邑郡派来的信使，李神通将军传来了紧急消息，长城外发现三十万以上的突厥骑兵，正准备从缺口处杀向马邑，他们的目标便极可能是陛下。”
杨广听闻之后蓦地站起身，他万万没想到，突厥大军来得这么快，而且有这么多人。他打开车窗，露出惊惧的脸色道：“快，火速南撤，向楼烦郡撤退！”
这时，早在马车外恭敬的裴行俨忙提醒道：“陛下，现在我们离楼烦郡可有两百余里，且我军带的辎重太多，又有大量行动缓慢的马车，恐怕还没到楼烦就会被突厥大军追上了。”
“那现在我们去哪里？”杨广一听也有些慌了，他用颤抖的声音说道：“或者，现在我们快马加鞭去马邑！马邑郡城池坚固，应该能守得住。”
“陛下，这样不妥！现在我们离马邑郡虽然更近，仅有八十余里，但突厥人也正在向马邑郡快速移动。而且他们全部是骑兵，依我们的速度，只怕到了马邑，突厥人早就列好阵，在城外等着我们了。”这时，裴仁基也得到了通报，急忙骑马来到了杨广的车驾前。
“裴老将军，那现在怎么办呢？总不可能在野外和三倍于我军的突厥大军作战吧！”杨广这时也慌了神
裴仁基拿出地图，看了一阵后，方一指地图上的一处红色圆圈道：“我们现在的位置，向东四十里便是雁门郡，此处郡城虽然不如马邑和太原坚固，但也大大超过楼烦和定襄，如果我军抛弃一些不必要的辎重，加快行军速度，应能在突厥大军到来之前，进入雁门郡”。
“好！就按裴将军的意思办！”杨广也不敢再坐马车了，他下令所有嫔妃宫女和太监，均弃马车改骑马，十万禁军丢下了各种杂物辎重，仓惶向东撤退。
等到天色完全黑下来时，杨广得到了更进一步的情报。定襄郡已经沦陷，先期入城的王仁恭和李世民付出了惨重的代价，终于率军突围而去。突厥大军已经到达马邑城北，只是因城池坚固，暂时无可奈何。现在突厥大军正以极快的速度向南奔来，离他现在的位置已经不足五十里。
杨广得知消息之后，惊恐万分，他顾不浑身疲惫，拼命向东奔逃。虽然他已经下令所有的嫔妃太监和宫女大臣均改骑马。但这些人好多都不会骑马，逃跑速度根本不快。如果照这样下去，天亮之前他们必定会被突厥大军追上。
“用信鸽传令给李神通，让他率军出击，咬住突厥大军的尾巴！这样可为陛下进入雁门郡赢得时间！”裴仁基这时当机立断道。
宋老生听闻之后，却是立刻反对道：“裴将军，马邑城池坚固，李神通将军也是久战之将，只要稳固防守，谅来突厥军也不易攻破。可如果让他率军出击，则城池兵力空虚，易被突厥人攻破。如此一来，突厥人便可无后顾之忧，全力南下。”
“宋将军，如果不这样做，只怕陛下就会落入突厥人手中，到时后果便不堪设想！”裴仁基却是反驳道。
而裴矩和裴蕴等其他大臣，在这个时候，自然只会站在裴仁基一方，因为这不光是为了保全杨广，也是为了保护他们自己的安危。虽然马邑丢失的后果也很严重。但总比让圣上被俘要好吧。
“准奏，就按裴将军的意思办吧！”杨广轻叹了一口气，然后对传令兵道：“放信鸽，通知李神通出击！”
传令兵应了一声之后，便打开了早已准备好的信鸽笼子，只见一只雪白的信鸽便扑打着翅膀，很快消失在夜色之中。
“传朕命令：抛弃一切不必要的物品，以最快的速度行军，一定要在两个时辰之内，到达雁门郡！”杨广这时挥起马鞭，厉声说道。
十万禁军皆吓得胆战心惊，立刻一路狂奔。三更时分，杨广的大队人马终于过了雁门关，进入了雁门郡城。
这雁门郡城曾在十二年前，杨广的弟弟，汉王杨谅作乱时损毁过。后来杨广下旨重建，重建后的雁门郡城，城墙高大坚固，在河东地区仅比太原和马邑差。整个城墙周长三十二里，人口五万余人，杨广带着大军风也似的冲进了城内，众人心中才稍稍平定下来。
而他们进入雁门郡时，却出人意料地发现，王仁恭和李世民竟然也在城里。原来，两天前突厥军到达定襄时，两人情知此城城墙低矮，且系泥土彻成，根本不能守。于是便率七万军队突围南下。他们付出了三万多人战死，两万多人被俘和逃散的代价，总算突出了包围圈。而这时王仁恭和李世民不敢走西线，从榆林、马邑这条路回来，而是绕了一个大圈子，从东面的长城缺口处，来到了雁门郡。没想到却正好与杨广碰上了。刚刚接管了雁门郡的王仁恭，见皇帝也逃难而来，连忙下令郡守腾出官署给杨广和萧皇后等宫中嫔妃使用，又通知城中的富户人家，将宅院安排给文武百官和军中将领居住。而十万禁军则只能入住城中民宅，他们又惊又累，导致城中人喊马嘶，乱成一团。