1950年2月8日，阎锡山由成都乘飞机到了台湾。

3月，蒋介石又粉墨登场，在台湾做起总统来。

此时，国民党的要员纷纷出面，对内阁在重庆、成都时的种种举措提出指责，甚至恶意攻击。

阎锡山的处境甚至得到了&ldo;国际友人&rdo;的同情，说：&ldo;军中的悍将，政中的流氓，社会上的土棍，无人替你制服，你难免受他们的侮辱。

&rdo;阎锡山忍气吞声之余，也终于明白，即使自以为反共到底，拼了老命，也还是难以得到蒋介石的认同。

于是便以&ldo;中枢有主&rdo;为辞，向蒋递交了&ldo;辞呈&rdo;。

蒋介石立即通知&ldo;立法院&rdo;开会讨论，很快便予以批准，并通过行政院长由陈诚继任。

七、八个月的行政院长做完了，阎锡山的政治生命也就到此彻底结束。

阎在台湾，还念念不忘他所器重的所谓&ldo;五百完人&rdo;，通过行政院拨款新台币20万，在台北北园山建立了&ldo;太原五百完人成仁招魂冢&rdo;。

蒋介石还特意题字曰&ldo;民族正气&rdo;，蒋经国则题赠&ldo;齐烈流芳&rdo;的匾额。

阎锡山题写的是&ldo;先我而死&rdo;，并亲自撰写了一首&ldo;太原五百完人歌&rdo;，其歌曰：&ldo;民族有正气，太原出完人；海天万里招忠魂，歌声悲壮动三晋。

何以为完人？生而能杀贼，死而不留身，大节凛然表群伦。

谁能为完人？男学梁敦厚，女学阎慧卿，死事壮烈泣鬼神。

赴汤蹈火全忠贞，救国救民重死生；五百完人齐尽节，太原今日有田横。

民族有正气，太原出完人；日月光华耀国门，万古流芳美名存。

&rdo;由于阎锡山的竭力鼓吹，蒋介石的大力支持，所谓&ldo;太原五百完人&rdo;在台湾产生了很大影响。

这既显现了阎锡山善于造声势、造舆论的能力，也曲折地表示出他对生他养他的故地有一缕难断之情。

离职前，&ldo;行政院&rdo;的手下人，为阎锡山举行了一个小型的茶话会。

会上，有人引用了老子《道德经》中的两句话，送给阎锡山作为安慰。

这两句话是：绝圣弃知，大盗乃止。

阎锡山由此发了一通感慨说：&ldo;无珠宝而不争珠宝，不是不争，是无所争；有珠宝而不争，是自己心上无珠宝，才足为奇。

人不污辱你，你不和人争，不是不争，是无争；人污辱你，你不和人争，才是不争。

&rdo;在险恶的人生中，经历过无数艰难曲折，也使出过无数图谋诡计的人，为了争权夺利而无所不用其极的人，到这时候，道出这一番似乎旷达大度、与世无争、安于命运的话来，究竟是一种幡然的悔悟呢，还是一种无可奈何的认命？

在台湾，阎锡山以&ldo;总统府资政&rdo;及&ldo;国民党中央评议委员&rdo;的身份，长期隐居于台北市阳明山菁山草庐。

虽然口头声称与世无争了，其实仍然丢不下放不开的他的反共理想，也丢不下放不开他曾经为之付出大半生心血的故乡山西。

有人作《菁山草庐纪略》，记述和描写了阎锡山在台湾的日子。

文中说：&ldo;菁山系台北市北郊阳明山的一部份，位于山仔后之东。

……一九五0年三月十五日，阎伯川先生卸任行政院长，九月迁入菁山草庐，即士林公馆里九邻八十一号。

其地系日据时代之茶园，时已荒废。

阎先生于此建屋，茅草代瓦，竹泥为墙，无电灯、电话、自来水，石子道路，极其坎坷；生活条件，十分简朴。