隋炀帝登基是杨素一力促成的，从弑杀文帝到改口诏，禅命新君，鸩杀故废太子杨勇，都是杨素一手包办，而当时最支持炀帝杨广的，也只有一个杨素，论功行赏，他自然差不了。可是他原来已经富贵顶天，再也没有法子加以封赏了，除非把皇帝让给他做。以他所掌的实力，登九五之尊也并非难事，只是此老十分聪明，知道自己年纪大了，又没有后人，犯不着再去操那个心，为天下生民去动脑筋。
杨素的权力已不下於皇帝，还要做皇帝干吗？入宫陪宴，他跟皇帝分庭抗礼，对面而坐，一名宫人为他斟酒时，不小心溅湿了他的衣裳，不待皇帝同意，他自己下命令，叫力士把犯错的宫人拖出去杖毙。
廷前失仪，本来也该重责，皇帝若是自己降旨，也是差不多的，打死一名宫人，皇帝是漫不经心的，但是杨素自己下令处分，这未免太过份了，使得皇帝心中很不痛快。
不过，杨素当时官高权重，皇帝没有发作出来。以前杨广做皇子时，做了什么不对的事，杨素还会不客气当面训斥的，那时杨广听了也无所谓，一则他必须倚重杨素，二则有求于他，三则他训得在理上。
现要杨广已贵为天子，杨素却依然故我，遇有不如意的事，不管有多少人，照样直言训斥，杨广虽然听着，在人前博个礼遇老臣的贤名，但对帝王的尊严是一种打击，炀帝对这些事耿耿在心，非常不痛快。
当然也有些臣子对杨素桀骛无礼看得不顺眼，他们并不知道杨素帮炀帝登基的内幕，不知道杨素的权力有多大，於是就上表奏，劾杨素冒犯帝威，要求加以重办。
炀帝看见了这些奏章，心头感到出了一口气，但却感到很为难。杨广自然知道目前是办不了杨素的，一片江山，全仗这老头儿在撑着，一半的兵权在他手上，另一半也不是皇帝掌得了的，却在一些臣权的掌中，说也可怜，皇帝左右，只有一些为数少得可怜的禁卫军，然而这禁卫军的统领，也还是杨素任命提拔而起来的。
换言之，杨素手中握着杨广的江山，杨广当然动不了他。他把那些奏章给杨素看，一方面表示小惠，另一方面也是含有警告的意思，告诉杨素已犯众怒，以后当收饮一点。
那知杨素看过奏章之后，竟十分冷淡平静地问道：“陛下对这些奏章打算作何处理？”
这是反过来逼问皇帝了，杨广大出意外，心里虽是恨得牙痒痒，但口中仍得说：“朕怎么会听他们胡说八道！”
这已经是很给杨素面子了，但杨素显然还不满足，冷冷地道：“这倒也不算胡说八道，因为他们弹劾的都是事实，老臣在礼上，确有欠缺之处。”
“这……”皇帝只有说：“这是他们无知，朕在王子时，即对国公尊敬万分，时常踵受教诲，耳聆教训的，现在虽已登基，国事大小，无一不是国公在操劳，备极艰苦，朕理当尊敬。”
杨素道：“这倒不敢当。老臣只是未忘先帝之托付而已。”
皇帝在薨时，若太子年幼，未足以处理国事，势必要托付一两位顾命大臣，匡助皇帝处理国事，这个匡助，实际上就是决定，只是再经由皇帝口再宣一次而己。这种顾命大臣，自然是十分靠得住的，而且也是极有权势，足以举足轻重，左右大局的重臣。
然而隋文帝却是在病中被杨素弑杀的，所宣的口谕也被扬素擅自更改了，那时杨广巳然成年了，无须托孤了，杨素却说出了先帝的托付，那是在警告杨广，别忘了，你这皇帝是我抬举你上了这个宝座的，我老头子不抢你的宝座已经够客氯了，你可别想在我面前端皇帝架子。
果然，这句话击中了杨广的弱点。他自然明白这个皇帝是如何当上的，那个疮疤揭不得，杨素在他登基未满一月，带了一批御林军入宫，把那个惹祸的宣华夫人拖出去绞死了。
隋炀帝舍不得，却也没法子，因为杨素的话很难听：“现在外面对先帝之薨，颇受谣言传说，都是不利於陛下的，有些还牵涉到老臣。”
炀帝正在怒火头上，忍不住吼道：“谁敢冒渎帝威？兵全在你手上，抓起他来砍头呀！”
杨素却淡淡地道：“老臣正在这么做。谣言之起，必有所源，当时在先帝身畔耳聆目覩授禅大命的人，都是谣言之源，老臣已一一加以芟除，这宣华是最后一个。”
杨广道：“宣华绝不会乱说话的。”
“她怎么不会乱说话？陛下该记得，当初就因为地乱说话，才引起轩然大波。谣言止于智者，陛下本没有那些事，何畏他人虚诬？但陛下却将先帝的人留在身边，怎么不叫人捕风捉影地胡诌呢？”
杨广没话说了，只得道：“那就把她遣出宫去好了，何必一定又要除掉她呢？”
杨素道：“不可。此妇不是安份的人，遣出宫去，她更不知道会乱说出些什么话了。除患务澈，陛下今后亦宜广修仁德。”
炀帝名广，臣下每有奏对於礼必须避讳，只有杨素不理这个碴儿，甚至於还摆下脸来训，杨广只有忍下了。
现在他重提先帝之事，看样子又要借题发挥骂人了。杨广忙道：“是！是！这些人不知道国公尽瘁国事，更不会明白朕礼教先帝老臣的苦心，国公别与他们一般见识。”也乾脆先把话说了，免得又挨唠叨。
杨素却不肯罢休，哼了一声道：“老臣此时贵为国公，又岂是他们这些小言官所能奏劾的！以下犯上，有损体制，陛下可以大度不究，老臣却不能坐视此辈猖狂，这些卷子老臣带走，明日早朝，老臣要好好惩诫他们一番。”
他也不要皇帝的同意，抓起了奏章就走了，气得杨广直翻眼，却无可奈何，暗侮多此一举。
杨素回到国公府，怒气冲冲，本来想把那些人一律绑上砍了的，幸得乐昌公主在侧，婉言劝他不能做得太过份，尤其是当众损了皇帝的威严，实为不智之举，也会引起其他人反应。
杨素总算接受了乐昌公主的建议，把那些人处分的条件作成个条子，在早朝时，着人送到皇帝手中，让皇帝自己宣读，以保持他皇帝的尊严。
这总算是一大让步了，皇帝再不接受，则是自讨没趣，而且乐昌公主才华绝世，替皇帝草拟了一道诏旨，大意是说越国公杨素为先帝股肱手足，忠心为国，功勋齐天，朕於私视若亲长，於公敬如师保，群臣亦应如此，嗣后不得再对国公有失礼之言章。
再者，她所列的处分也妙，有轻有重，轻者小作呵责，重者罚俸三月，廷杖三十，甚至於有一两个人，还蒙奖赏。说他们直言敢诤，只是知事未明，小作奖励。
同样是奏劾杨素，处分不同，受奖或小赏的，大都是正直，官声颇佳的言官，而重责者，则是看准了皇帝的喜怒所好，拍马屁以邀上宠的，这些人政声必不佳，所以罚得也重，表示皇帝不糊涂，十分英明。
这一宣布，皇帝博了贤声，奏劾杨素自然也不了了之，但使炀帝更恨他了，也更为害怕他了。
李靖与张出尘就在这个时候，悄悄来到了京师。
当然，他们还是先向乐昌公主递了个知会，充分了解了杨素的态度后，才敢要求请见杨素的。
杨素听见了他们夫妇的到来，十分高兴，一迭声的叫请，这请自然是在秘室相见。
秘室虽在越公府中，却不经由正门出入，也不经由边门或侧门，它的门户在国公第外不远处的一所民宅，有地道通向国公第的书房。
这是一个最秘密的设置，杨素有时为了要秘密出去会晤什么人，或者要请什么人来秘密会晤时，才用到它，因此，真正知道这秘密的不过三数人而已。
乐昌公主和张出尘都是其中之一，这道门户的设置还是乐昌公主一手监工的，这也—是为了杨素的安全。
杨素虽然权价一时，手中也握有重兵，但是却不能把兵都养在京师国公第内，那儿最多只有轮值保卫的数百亲兵而已，这数目太少了。
杨素在朝中的敌人太多了，想置他於死地的人此此皆是，这些人在势力上虽不如他，可是在朝中也居於重要地位，家里面也有数百亲兵家将。
有爵位的公侯将相，府第中可设有亲兵护卫，这是朝廷的制度，如若这些权贵得到皇帝的一道秘旨联合起来要对付那一个，往往会利用黑夜，会合亲兵，包围了府第，进行逆袭，那时纵有千军万马，也是远水难救近火。
杨素以此为忧，因为他曾以此计并掉了几个政敌，现在自然也怕别人对他来这一手。
乐昌公主为他献此策，如遇警，立即立由密室地道逸出，只要能躲过包围，就能召来自己的军队，就不怕被敌人暗攻了，整个秘道完成后，杨素十分满意，因此也对乐昌公主更为器重。
李靖与张出尘来到那所民宅，仍是带着薛飞霞与董轻云，她们已经成了李靖的身边人，再也不会离开了。
她们不但是李靖最得力的助手，也是最忠心可靠的护卫，不管到那里，她们都随行。
乐昌公主已经在入口处吩咐过了，一行四人很顺利的进入秘道。来到书房中时，杨素已在那儿等待了，不但没有带侍卫，连侍候的下人都摒去了。
一别四年，杨素已略见衰态，本来还有几根花白的黑髯，现在己变成全白了；不过精神还不错，见了他们，先是一声爽朗大笑，一手一个，搀住他们不让下拜，然后道：“哈……小红、药师，你们这两个孩子，一走了这么多年，不来看我也罢了，连封请安的信也不给写来，莫非把我这老头子丢到九霄云外去了！”
李靖夫妇俩对这个老人都有着一分歉意。李靖红着脸不做声，张出尘却连眼眶都红了，因为她喜欢穿红衣服，杨素叫她小红，对她十分宠爱，虽然经常揑揑脸颊，或是抱抱她，但是却出之於亲长对子女的慈爱。别无一丝猥亵的意味。杨素在六十岁那年，已经完全摒除女色，府中纵有成百的美女姣童，他却一无所染，每夜都是一人独宿，这也是他到了耄年犹能精神矍铄的原因。乐昌公主是隋文帝赐给他的，也因为在他这儿，能保住了名节舆清白，才会对他如此尽心。至於张出尘，以前更像是他的小女儿，常在他怀中撒娇，老少二人逗趣为乐，此刻虽当着李靖，也没什么好避忌的。
张出尘含着泪珠笑道：“老爷子，瞧你说的，我们这不是来了吗？”她理着杨素的长髯，十分娇柔。
杨素也颇为激动，拍拍她道：“小红，好孩子，我可不是怪你，只是思念你得紧？相信你也明白，我一直就拿你当成了自己的女儿。”
“我知道，我明白的，老爷子。”
“你恐怕还是不够明白，否则你也不会这么跑了。你跟药师是天造地设的一对璧人，我一见到药师，就想到要为你们撮合了，所以我才硬把药师留了下来。”
“老爷子，红儿跟李郎都明白您这番心意的。”
“你们明白，那为什么还要走？你们要成亲，告诉我一声，我会不答应吗？还会为你大大地热闹一番。”
李靖这才一揖道：“国公，再晚等夤夜急奔，不是为了避国公。而是再晚闯了祸。”
“我知道，你是指杀了宇文惠及那小子，这没什么，他们再有种，也不敢到我的府里来抓人。”
李靖道：“国公固然不惧，但那个时候，宇文氏贵为皇族，国公与他们正面冲突总是不好。”
杨素大笑道：“你们多虑了。宇文氏一家与老夫向来就不和，他们若能整得了我，早就下手了，并不在乎为那一个理由。”
宇文氏与杨素不相和事实，互不相容更是众所周知，但那个时候，杨素肯不肯为一个门人去和宇文氏破脸就难说了。反正现在事过境迁，由得他说好听了，李靖只能感激地道：“国公抬爱，再晚铭感五内，再晚之所以要走，并非全为此，再晚是想去创一番事业。”
杨素点点头道：“这倒是句正经话，药师，我知道你的志向所在，在京师，我却是无法给你太多的帮助，你要带兵，我手里虽有兵，却不能提拔你作主将，因为你并无寸进之功，我的那些儿郎都跟了我多年的，我不能平白的找个人去压在他们上面；而且，兵虽是我的，名义上仍属朝廷，我也不能平白无故地推举一个主帅去，这与制度不合，我有权，却不能任意滥用。”
“再晚明白，所以再晚要去自谋发展。”
杨素兴奋地道：“这一点老夫要佩服你了。你出去了四五年，居然弄成今天的局面，太让人惊奇了。”
“那只是沾了出尘的光，她认了个好哥哥。”
杨素大笑：“你是说虬髯客？药师，你太谦虚了。虬髯客不久前来过，谈到你时，对你佩服得五体投地。他说他与小红结义，主要是为了拉拢你，他对你治军用兵的成就，没口交赞，誉为天下第一人杰。”
“那是张大哥的谬奖。”
“张仲坚这个人心高气傲，不轻易许人的，他说你，就绝对差不了。药师，听说他把一切都交给你，自己又另起了一番炉灶。”
“这只是大哥的关爱，再晚却受之有愧。”
杨素笑道：“这倒不必客气，你就生受了他吧，他对老夫说过了，这些人的形迹已现，渐渐难以保密了，交给了你，你们夫妇俩跟老夫有渊源，能冠上一个半明半暗的名义，不受官方的罗苏。在他自己手上，反倒麻烦了，他总不能再顶着老夫门下的名义。”
以虬髯客独来独往的声名与脾气，倚仗权贵门下求礼是做不到的，但是没有那么一个官方的名义，他们在地方上想要聚众练武，那就太招摇了，也会视为造反的行为，但是欲求精战阵之训练，又势必要常排练不可。
杨素可以给这个名义，他可以说是自己甄选新的家将，先要从事训练工作。
事实上，神龙门下，都以这个名义在各地方展开了一两次公开的活动，地方官府听说是越国公府在训练甄选亲兵护卫，不但未加干涉，而且还多方协助，借出了校场处所以供应用，为的是讨好。
当然也有人以此来向杨素求证，杨素也是一口承认了，李靖等来此，也是为此向杨素求援的，因此李靖立即作表示道：“此事给国公增添了很�