亏号称晋军“诸葛”的南桂馨出面调停，劝阎锡山不要操之过急，又亲自到石家庄前线去观察动态，并劝张培梅自请处分，以释众疑，才将这场风波平息下去。
石家庄被晋军卡住，山东又宣告中立，津浦、京汉两路援军都无法接应，直系大势已去。11月2日，曹锟辞去大总统，吴佩孚接着也宣布下野，第二次直奉战争以直系失败告终。阎锡山这次走出山西伸手中原，顺利地成为胜家，顿感自己说话腰杆儿硬了起来。他积极推戴段琪瑞再次执政，以便自己在中央政府有个大靠山，于是联络西北军阀马福祥等人，抬高自己的身价，俨然以西北各省的首领自居，与奉系张作霖南北呼应，为段琪瑞出山鼓噪呐喊。
1924年11月24日，张作霖和冯玉祥在北京宣告成立“中华民国临时执政府”，推出段琪瑞就任“临时执政”。眼看实现了自己的心愿，阎锡山很是满意。但段琪瑞虽然名为“执政”，却因实力不足而腰杆不直，说话不灵，事事处处需仰人鼻息。段琪瑞便施展手段，让冯、张互相牵制，并企图借阎锡山之力，联络西北各省军阀，形成第三势力。阎锡山积极配合，也知道这是自己出头的机会，但他明白，在军阀混战时期，弱肉强食，大鱼吃小鱼，最重要的是加强自己的实力。他对部下说：“咱们要赶紧充实力量。自己力量不够，哪一方胜利了，也没有咱们的好处。”于是，趁着得胜的时机，山西再次抓紧时间扩军。兵力增加一倍，达到了4万人的规模。阎锡山踌躇满志地表示，不仅要“保境安民”，而且要在逐鹿中原的混战中“唯力是视”。
在掌得中央政府的实权之后，冯玉祥的国民军势力迅速膨胀。北京，察哈尔，绥远，河北，河南，陕西等省都成为势力范围，山西被包围在中间成为孤岛。形势很快又变得对阎锡山甚为不利。曾受阎锡山排挤而被迫离开山西的反阎派续桐溪，这时就积极筹划进行倒阎活动。续桐溪是辛亥革命时期晋北公团的领袖人物，对辛亥革命在山西的胜利，作出过不小贡献。民国之后，续在山西警察道任职，与阎锡山交往相当密切。后因对阎锡山投靠袁世凯十分不满，多次当面予以讥讽，阎锡山将其视为异己。有一次，军警与商绅闹起冲突，阎趁机派人煽惑将事态闹大，背地里支持商绅请愿，声言要到北京告状，要求将续罢免。续并不示弱，就找到阎锡山大闹一场，将阎的阴谋活动当场揭穿，闹得阎恼羞成怒，准备派人将续逮捕，以军警冲突为借口将续杀掉。幸亏有人给续透露了消息，续得以逃走。因此，与阎锡山结下了难解的仇恨。续桐溪此时已担任国民军的总参议，他拟定了先行夺取山西，巩固豫、晋、陕三省，然后再竭全力对付奉军的计划。联络河南军阀樊钟秀，出兵攻打山西。在国民军第三军任参谋长的山西人徐永昌把续的计划秘密报告了阎锡山，使晋军及早做好了准备，因而，樊钟秀的进攻草草收场，无功而返。经历过这一次反暗算的小战斗，阎锡山对老乡徐永昌心存感激，对冯玉祥的势力则多了几分警觉和仇恨，为他此后参加反冯联盟埋下了种子。
联直奉反冯 势力扩大到绥远
1925年冬，奉系以4个军团的重兵向冯玉祥部发起大规模进攻，吴佩孚则派兵由津浦路北上与之呼应。奉军将领郭松龄因不满张作霖而与冯联合，率所部占领山海关，并将部队改编为东北国民军。东北革命军的倒戈，将奉军推入了困境。张作霖只好调动主力回军东北，在日军的支援下，才灭掉了这一心腹大患。冯玉祥于是趁机尽占关内地盘，并独享了北京政府权力。张作霖气急败坏，转而对数月之前还恨之入骨的吴佩孚大唱赞歌，表示“只要扑灭反复无常叛主卖友之冯玉祥，其它无所企求”，恳求吴佩孚迅速北上。
这种形势下，阎锡山表面上两不得罪，圆滑应付。当国民军从北京退出时，他允许其眷属由山西过境；但另一方面，他又与吴佩孚相互勾结，阻隔国民军河南与直隶间的联络，使国民军所占的地盘处于直、奉、晋三方面的分割包围之中。各方竭力拉拢山西，而阎锡山在大局不明朗之际，又以他特有的策略，进行着多面敷衍外交。各方代表走马灯一般来到太原，利用种种关系，想方设法与阎锡山见面，力陈与自己联合的好处。冯玉祥的代表张吉士说：张作霖因为内部倒戈，已经元气大伤，只能在关外苟延残喘，再无力来中原逞强。吴佩孚的精锐部队已在上次战争中损失殆尽，现在拼凑起来的杂牌军队，战斗力自然难比当年。而国民军占有华北平津，尤其是察哈尔、绥远一带，与山西是唇齿相依的形势，山西与国民军合作最为妥当。阎锡山敷衍一番，哼哼哈哈，含胡其辞地点头；吴佩孚的代表顾祥麟极力替吴大帅吹嘘：玉帅原本就实力很强，经过这些日子在湖北大力整顿，现在的实力胜过从前。对冯玉祥的倒戈，一直耿耿于怀，要与东北的张雨亭携手，对冯大张挞伐，希望山西能够站在玉帅一边。阎锡山表态说：冯军不但是玉帅的敌人，也是山西的敌人。玉帅如果发动义师，我们力量虽然有限，也理当竭力协助。奉系代表于国翰则透露，不但中国人对冯玉祥痛恨，连日本人也怕冯一旦成功，中国会全部“赤化”，因此愿意帮助雨帅消灭冯的势力。这次，雨帅决心和吴大帅合作，打倒冯玉祥。如果咱们三方合作，就可以胜券在握了。阎锡山回答说：雨帅和玉帅在中原会师的时候，我们一定追随。
阎锡山十分清楚山西的处境。他看到山西有被国民军包围并瓜分的危机，自己的力量尚不足以抗争。张作霖连年征战实力也已大不如前，此时又受内部兵变的困扰，没有力量援助山西。解围的希望，就寄托在吴佩孚北上。但第二次直奉战争中自己出兵石家庄，曾得罪于直系；而当下要保持与冯玉祥在面子上的联合，又不便于大张旗鼓地与吴佩孚来往。思来想去，他决定派一个资历浅而不为世人注意的小人物，前往吴佩孚处联络。这个小人物就是《晋阳日报》的主编梁航标。梁航标到汉口见到吴佩孚后，先是转达了阎锡山表示悔过的自责之词，恳求吴大帅不念旧恶，共图大局，并保证在直系军队北上之时，山西军队可东出太行，南攻陇海，击溃国民军的二、三军，然后与吴大帅合力围攻国民一军。阎锡山的悔过、恳求和建议，正合吴佩孚之意，于是也就一拍即合。
1926年的春天，张作霖，吴佩孚，阎锡山合力反冯的战争就拉开了序幕。直系军队从湖北北上，攻击国民二军；晋军出太行，出娘子关，攻击国民三军；奉军迅速入关，威胁和攻击国民一军。三方联合，对冯玉祥形成了大包围的态势。冯玉祥见形势逼人，为避免国民军遭受三方的联合打击，就通电辞职，国民军退出北京，军队由部下张之江、鹿钟麟指挥，自己则出国赴苏联考察去了。冯玉祥虽然下野，联合反冯的攻势并未因此停顿，4月6日，三方下达了总攻击令，倒冯战争于是全面铺开。
4月中旬后，国民军退出北京，东路军抵挡奉、直军队的进攻，西路军则在山西北部与晋军交了火。开始阶段，晋军溃败，损失惨重，使阎锡山很是紧张。他把军队撤到雁门关一线，心急火燎地请吴佩孚支援。同时就准备自己的后退之路，让部下在京津为自己购买房屋。
此时，形势却又发生了变化。国、共两党合作组建的广东革命政府，在苏联的大力支持和资助下，决定北伐。直系在湖南的地盘首当其冲，吴佩孚得知这个消息，无心再在华北作战，准备回师南下，保卫自己的老窝。张作霖大吃一惊，生怕因直系退出，不仅难以解决冯军的问题，自己反会孤立无援，受到攻击。因此，他忙与吴佩孚商定要限期击败国民军。奉军立即增调骑兵上前线，猛攻多伦多，威胁张家口，并要阎锡山配合，兵出雁门关，截断国民军向西北的退路。在直、奉联军的猛攻之下，国民军东路军失掉了多伦多和南口等战略要地；西路军在山西北部与晋军多次激战，消耗大量兵力，也未能攻下形势险要的雁门关。国民军被迫败退西北，此后就被称为西北军。
西北军的溃败，给晋军造成了可趁之机。阎锡山瞅准时机，乘国民军撤退之际，派兵向绥远方向追击，大获其利。国民一军的陈希圣、韩复榘、石友三的队伍，先后被迫投降。阎锡山一下子增加了三个师的军队，将势力范围扩张到了绥远，占领了包头。这次讨冯，阎锡山再次获得厚利，把自己的势力范围扩张到了绥远，于是宣布把晋军改编为晋绥军。
在直、奉、阎联合讨伐冯玉祥期间，广东革命政府的北伐也在积极准备之中。冯玉祥宣布下野之后，赴苏联考察。在苏期间，与苏联领导人会见，并与中共驻共产国际代表接触，对革命有了进一步的认识。因此，9月回国，就响应广东革命政府的北伐，率西北军在内蒙五原誓师。在誓词中明确宣布：“现在我所努力的，是遵奉中山先生的遗嘱，进行国民革命，实行三民主义。”兵败后归附晋绥的陈希圣、韩复榘、石友三的部队与冯玉祥旧情不断，得到消息，都悄悄开赴五原与冯玉祥会师。这三个师归附之后，阎锡山给他们补发了欠饷，换发了服装，还补充了弹药。一夜之间，他们突然开拔，都又回到冯玉祥的怀抱。事前既无任何风声，事中也无什么周折。这使阎锡山非常惊异，也十分恼怒。但他却没有大发雷霆，也没有怪罪部下，反而做了个顺水人情，给冯玉祥拍发一个电报，表示：你的队伍经我代管了几个月，现在你回国来了，他们自应还归你指挥，等等。吃亏换个人情，也许就给自己多留了一条路，阎锡山的算盘，打得总是很精细的。
趁热打铁，阎锡山着手进行第三次扩军。自任“晋绥军”总司令，将步兵扩编为17个师。后来，收编徐永昌的国民军第三军之后，又将师扩充为军，共编了8个步兵军，另组成8个炮兵团，兵力突破10万，达到了13万人。
联蒋讨奉 占据京津
北伐的胜利进军，直系的土崩瓦解，给各路军阀敲响了丧钟，迫使他们聚集起来商讨对策。11月，张作霖慌忙在天津召开会议，拼凑所谓“安国军”，企图与北伐军对抗。“安国军”由张作霖任总司令，阎锡山为副总司令之一。阎锡山在表面上拥护张作霖，还派出自己的代表参与“安国军”的事务，却迟迟不肯就任副总司令一职。他经过仔细的盘算，觉得北洋军阀已经走向穷途末路，难以依靠；张作霖的力量也未必能够抵挡锋芒锐利的北伐军。前程难测，决不能死心眼地吊在一棵树上。因此在应付张作霖的同时，又走出了左右逢源的棋子。这时，广州革命政府派代表到太原，与阎联系，希望作为同盟会老前辈，阎锡山能派人到武汉商讨参加北伐事宜。阎派出老同盟会员赵丕廉前往，行前，阎再三叮嘱：“秘密未揭开前，由你负责；揭开以后，是蒙的事。”原来，此时的阎锡山还有一段隐忧。他从日本进口一批枪械，三个月后才能运回山西，之前不能有所举动。否则，枪械就可能让奉军掠去。赵在武汉与北伐军会面之后，又赴南昌拜见了北伐军总司令蒋介石，转达了山西方面对北伐军的欢迎和期盼之情。蒋介石对阎锡山做出这样的表态表示满意，认为阎锡山是同盟会的老前辈，又是丈夫团的人，盼望他能及早举事。阎锡山听到这个消息，感到这次试探收获重大，北伐军不仅没有将自己当作打倒的对象，而且还把自己当作革命力量，自然也很高兴。于是把张作霖的任命弃在一旁，随即指示赵向蒋介石允诺，晋绥军可以在1927年的5月5日出兵。广东革命政府对阎的明朗坚决的表态非常欢迎，由国民党元老谭延凯提请，广东国民政府授予阎锡山北方国民革命军总司令之职，对他在北方响应和配合北伐军寄予很大的希望。
一边是“安国军”副总司令，一边是北方国民革命军总司令，阎锡山在两边都挂着钩，观望形势而来回掂量。这时，阎锡山盘算的是，北伐军虽然节节胜利，但离山西还是太远。奉军仍盘踞着京津地区，强大的实力分布在京汉线和京绥线一带，自己如果表态太早，反倒会惹怒张作霖，招来大祸。因此，他也没有立即就任北方革命军总司令一职，并且，还派出代表在北京与奉系继续维持关系。
形势不断发生着出人意料的变化。4月12日，蒋介石发动政变，向中国共产党和革命群众举起了屠刀，并建立南京国民政府，与汪精卫的武汉革命政府对立，史称“宁汉分流”。阎锡山看到蒋介石在北伐军中有着强大的势力，特别是他以国父孙中山的传人自居，以后会是中国政局中举足轻重的人物。而此时，北伐军已在向河南开进，冯玉祥的西北军也已向着东边逼来，再拖延下去不表明态度，山西就会成为北伐军的攻击目标。于是，6月，阎锡山赶忙宣誓正式就任北方革命军总司令，并且在山西改悬青天白日旗，公开了联蒋反奉的立场。
旗帜是打出来了，但阎锡山继续以保存自己实力为核心，玩弄脚踏两只船的把戏。他盘算：北伐军尚在豫南，而奉军在郑州以北的京汉沿线驻有重兵，如果自己动作失当，还是有招来攻击的危险。因此，他不仅不积极出兵协助北伐军，相反却派代表前往济南等地与奉方的部队拉关系，设法减轻奉军对山西的压力。张作霖对他易帜联蒋极为不满，曾派人到太原，警告他悬崖勒马，必须立即取消青天白日旗，否则就会有战争发生。阎锡山狡辩说，虽然改挂了青天白日旗，但也并不意味着与张作霖决裂。一面应付，一同却也做好了配合北伐军攻击奉军的准备，将部队沿太行山分几路秘密出击。
这种复杂心理和举措，阎锡山曾在“就革命军北方总司令”的宣言中表白说：山西所处环境至为恶劣，“环绕吾人之左右者，日夜思颠之覆之，欲置吾人于死地。为保留河北以北微弱的革命势力，与三民主义之障碍者虚与委蛇，十四载于兹矣。设使孤军转�