白崇禧彻底惨败后，李宗仁到美国治病去了。桂系实力已输得精光，何去何从？此时，摆在白崇禧面前的只有两条路：一是像李宗仁那样，移居海外；一是跟随蒋介石逃往台湾。至于选择哪条路，白崇禧犹豫不决，一时还拿不定主意。当程思远问白崇禧与解放军对抗下去，有何把握时，白氏即坦率回答说：有什么把握，这不过是要对历史有一个交代罢了！而在此时，蒋介石也来信邀请白到台湾，并允诺去台后自有重用，还派专人送金砖到海口，说是发清白崇禧华中部队的军费，以示恩惠。白是不敢贸然去台湾的。如果说在此之前蒋介石对他有所忌惮的话，那是因为他手中还掌握了几十万的军队，如今他只是个光杆司令。这点白是再清楚不过了。但是白不知道蒋邀请的用意，猜测可能是想让他劝说李宗仁，使得蒋介石重新复职。白崇禧派李品仙先行赴台，名为办理华中军政长官公署和桂林绥靖公署结束事宜，实际是赴台打听政治行情。李品仙赴台后，即致电白崇禧，称蒋介石、陈诚都希望白去台湾，共荷戡乱救国之责，这就坚定了白崇禧赴台的信心。1949年12月30日，白在蒋介石函电的催促下，终于从海口飞往台湾。白崇禧的至交、立法委员何遂曾向白氏进言：上将回台，将必难免一死，应乘机起义，响应共军。白氏回答：我自追随蒋公北伐以来，殆逾二十载，既处遇顺境，亦处遇逆境，一生一世历史第一，我必对历史有所交代，生死利害，在所不计，君勿为此喋喋也。白崇禧赴台是一项轻率的决定，他在过去的二十二年中多次与蒋介石斗争，蒋必欲置之死地而后快。之所以没有立刻对他下手，是因为白还有牵制李宗仁的作用。但白崇禧这一进入台湾后，就再也不能离开台湾了。
白崇禧到台湾不久，又将家眷20多人从香港接到了台湾，在台南盖了两栋房子，安置大哥、九哥、六弟、二妹等亲属，他自己一家则住在台北松江路127号一幢旧式平房中。有些朋友感到难以理解，就问白：你怎么全家都搬来了？某人到美国去，某人到日本去，某人到泰国去，某人在香港，某人出境证都预备好了，你还搬到这里来？白却回答说：我们大陆丢了，我们是现役军人，负很大罪过，中央不处罚我，自己良心自责。台湾是复兴基地，祖国领土就只剩这一点点，希望在这生根发展回去，除此之外，现役军人死无葬身之处，跑到哪里去？不过，话虽这么说，白崇禧心中也是茫然得很。有一天，白崇禧与何应钦一同去打猎，途中谈起时局，两人都认为希望渺茫，感到很绝望。白崇禧说：我是信仰宗教的人，对世界局势，人类的前途，真主会有一个安排，我们打猎吧！孤悬海外，如波涛中扁舟一叶，白崇禧也只有把希望寄托在真主身上了。
此时的白崇禧还对蒋介石反攻复国的幻想存有一线奢望，他自负地认为，蒋介石还要靠他统兵杀回大陆。蒋介石自12月10日离开大陆退往台湾后，即紧锣密鼓地为复任总统做准备。他一方面发动国民党中央非常委员会、监察院等党政机关向李宗仁施加压力，同时派吴忠信找到白崇禧，要其写信规劝李宗仁。于是白崇禧又与吴忠信联名发了个电报给李宗仁，说明海内外要求总统复职，实在有此需要，希望李宗仁答应以副总统兼特使名义在美国养病，争取美援，内外相维系，共维国势。1950年1月16日，白又与李品仙等联名给李宗仁发了电报，提出建议，称如须继续在美休养，深恐久旷国务，应请致电中央，自动解除代总统职务。李宗仁的态度是既不返台，也不辞职，白崇禧将此电转给蒋介石。3月1日，蒋介石以国民之公意为辞，宣布复行视事，继续行使总统职权。在蒋介石复职前，白崇禧特致电李宗仁，望保持缄默，勿表反对。但李宗仁置之不理，在蒋介石宣布复职的当天下午，即在纽约召开记者招待会，抨击蒋介石的复职为违宪。为此，白崇禧又奉蒋之命写了一封信给李宗仁，责备其不该唱反调。
李宗仁在美国，蒋介石鞭长莫及，不能治他的罪，白崇禧就不能放过。当年白崇禧几次乘危逼宫，这对蒋来说，是非常难堪的事，蒋对此忌恨不已，但他并没有立即公开处治，而是将白列为头号政治敏感人物，并给其取了个老妹子的代号，保密局在白崇禧公馆对面设了个派出所，对白崇禧的一举一动进行严密的监视。敏感的白崇禧马上就知道是怎么回事，于是减少外出活动和与朋友的交往，连打猎下棋的爱好也自动收束。有一次，白的轿车开出去后，即发现后面跟着一辆吉普车，走了不多久，那辆吉普车抛了锚，白崇禧知道那是一辆盯梢的车，连忙命自己的司机停车，并派侍从人员去告诉那辆车上的人不要着急，慢慢修车，白崇禧自觉停车等他们。奉命监视的特工人员没料到被白崇禧看出了行藏，显得相当尴尬。还有一次，白崇禧跟一班朋友在一家咖啡店喝咖啡，临走时白将另外两桌客人的账也付了。白的朋友对此莫名其妙。白连忙解释说：我看出他们是监视我的人，这个客我应该请。后来这件事传闻开来，那些不速之客承认，那么多桌人中，确实只有这两桌人是有任务的，白崇禧能一眼看穿，不多不少，真不愧是小诸葛。
蒋介石虽然没有公开处罚白崇禧，却由湖北籍国大代表敲山震虎，在设计委员会会议上对白崇禧提出弹劾案，主要有两点：（1）军费方面，吞没中行黄金7万多两；吞没汉口中央银行库存370多万两白银。（2）军事责任方面，拥兵不救援徐州，不遵从统帅调兵命令，拥兵自卫。弹劾案要求追究责任，以明是非，振纪纲而知复兴。对此弹劾，白崇禧非常恐惧。不过，蒋介石暂时还不想借此清算他，陈诚也为白崇禧开脱。
1954年国民大会一届二次会议上，旧案重提，并有40多名国大代表联名。白崇禧不得不再次以书面答复。最后，国大会议决定将此案保留，一场弹劾案才不了了之。
不久，曾任国民党中央宣传部副部长的潘公展在香港《新闻天地》刊登文章，提及当年白崇禧逼宫事。1959年蒋经国在台湾出版《危急存亡之秋》一书，将白崇禧逼宫案原原本本地披露了出来。这样一来，白崇禧再想辩护也不行了。逼宫案成了白崇禧晚年的最大心病，成了一个挥之不去的梦魇。想站出来辩护，真是百口莫辩，不出来辩护则又等于默认。白崇禧时刻担心蒋介石一怒之下，清算旧账，拿他开刀。
1952年10月，蒋介石在台湾召开国民党第七次全国代表大会，宣布国民党改造结束，组建中央委员会，同时设立中央评议委员会以安置党国元老，白崇禧并未能在这两个机构中占一席之地。当然，白崇禧也并不完全是平头百姓，他在台湾还挂着总统府战略顾问委员会副主任委员、国大代表、中国回教协会理事长的头衔，从事一些无关紧要的礼仪性活动。罢免副总统李宗仁的职务，就由他主持国民大会处理。
白崇禧在台湾真正属意的一项职务是中国回教协会理事长。中国回教协会1938年成立于武昌，由白崇禧担任会长，次年改称理事长。以后这一职务一直由白担任。1955年约旦国王侯赛因访问台北，邀请白崇禧以中国回教协会理事长名义访问中东，蒋介石恐其一去不复返，不予批准，并授意回教协会改选理事长，白崇禧不得不将担任了二十余年的中国回教协会理事长一职辞去。不过他在台北主持修建清真寺，在回教事业上还是做了些工作的。
白崇禧在台湾生活十七年，除了偶尔参加一些礼仪性活动，很少有事可做。平时在家读书写字，据说白崇禧的书法造诣颇深，但不轻易示人。此外，他还有两大爱好，即下围棋和打猎，借以打发时光，舒解寂寞。
白崇禧晚年的最后一项工作，就是口述自己的回忆录。从1963年2月开始，台北中央研究院近代史研究所先后派出科研人员贾廷诗、马天纲、陈三井、陈存恭等人，访问白崇禧128次，时间持续了近四年，直至1966年11月24日白氏逝世前8天止。贾廷诗等人将白氏口述整理成初稿后，由近代史所所长郭廷以校阅，前71次的访问记录稿并送本人订正，以后部分因白氏突然去世，未经审阅。1980年至1985年，香港《中报》月刊征得白氏家属同意，在该杂志上连载白崇禧回忆录。1984年5月，台北中央研究院近代史所将白氏口述回忆录以《白崇禧先生访问记录》为书名，分上下两册公开出版。
白氏回忆录，从自己的家世说起，依次叙述他求学、从军以后几十年亲身经历的大事，对统一广西、北伐战争、反蒋战争、抗日战争及全国解放战争等各个时期重要战役的战略思想、战略方针，进行了分析，总结了作战经验和教训，并对一些重大历史事件提出了自己的看法。白氏回忆录为研究中国近现代史提供了一份重要的参考资料。但是，由于白崇禧所代表的新桂系在北伐后的二十余年间，与蒋介石既合作又对抗的特殊经历，恩恩怨怨纠缠在一起，加上身处台湾特殊环境，因此，白崇禧在口述自己的回忆录时，难免在一些问题上不得不托词辩解，或刻意回避。在当时的环境下，白氏如此做也是可以理解的。
1965年，李宗仁夫妇冲破阻难，抵达北京，受到中共党政军领导人的热烈欢迎和很高的礼遇。
李宗仁的回国，对于在台湾的白崇禧来说，却是致命的一击。李宗仁一回大陆，白崇禧牵制李宗仁的价值消失，蒋介石不再需要白崇禧了，白崇禧也就自身难保了。据说，白崇禧也明白其中的利害关系，曾很痛苦地对身旁的人说：德邻投匪，我今后在台湾，更没有脸见人了。
事实上，李宗仁回大陆后，蒋介石即迁怒于白崇禧，他命令毛人凤对白氏直接采取制裁行动。毛人凤将这一任务交给谷正文办理。
谷正文奉命后，就积极策划暗杀行动，并确定行动的最高原则是：绝不留下半点痕迹，以免外界怀疑是一起政治谋杀。谷正文收买了白崇禧身边的一位姓杨的副官。不久，这位杨副官报告：先生去花莲县寿丰半山打猎。这样，谷正文决定在白崇禧出外打猎时，于山野外杀死他。
谷正文密令侦防组：暗杀不准用枪。要把一切制造意外死亡的条件搜集起来。
经过勘查，侦防组发现狩猎区有小型山间铁轨，可使用人力轨道台车登山。白崇禧当时已年逾七十，不会徒步上山，而一定会乘轨道车。
这样，侦防组派人到现场实地勘查后，决定等白崇禧上山时，把握时间破坏途中一木制小桥，等他下山行经桥面时，便会连同轨道车一起坠入50余米深的峡谷。经过实地演练，他们还找到了螺丝松脱法，能丝毫不留痕迹地使轨道台车发生意外。
事发当天，白崇禧等一行人兴致很高地去打猎。10点37分，白崇禧一行人通过预定的谋杀地点后，侦防组的行动人员迅速爬到桥下，将支撑桥面木墩的螺丝钉一一松开，然后，躲入不远处的树丛里，静候白崇禧等人下山。
下午3时许，寂静的山中传来轨道台车的响声，两辆车从高山背面滑出，相距约30米。前面一辆车上坐着林意双乡长父子与一名助理；白崇禧与两名副官坐在后面一辆车上。当第一辆车滑到已经去掉了螺丝钉的桥中央时，突然连人带车一起坠入深谷中。说时迟，那时快，就在这千钧一发之际，白崇禧的一名副官用力将白崇禧推出车外，自己则随车跌入深谷。
白崇禧从地上爬起，拍去尘土，他望着谷底下的几具血肉模糊的尸体，再望望四周的山野，似乎明白了什么。事后，谷正文和毛人凤前往蒋介石官邸汇报行动结果，蒋介石并未苛责，只是不无遗憾地对他们说：再从长计议吧！
白崇禧经历这次险情后，行动更加谨慎，这使谷正文的暗杀行动很难下手。白崇禧晚年异常苦闷。在白夫人去世后，为解除烦闷，居然与身边的护士张小姐热恋起来。侦防组了解到这一情况后，决定买通医生下重药，置白崇禧于死地。一天，谷正文打电话给医生赖少魂询问白崇禧的情况，赖少魂报告说：白将军不是病，他想补
不管他是买什么，你要发挥自己的专长，蒋总统要你多照顾将军，须以猛药起沉疴，重病得下猛药。谷正文暗示赖少魂在药的剂量上动手脚，使衰老的白崇禧不胜药力，补不起。赖少魂奉命后，立即给白崇禧开了一帖药力很强的药方。白崇禧照方到天生堂中药店买了两大包药回家泡酒。往后数月，白崇禧似乎从药酒中得力，与热恋的张小姐频繁往来。俗话说，房中之事能杀人，对白崇禧这样一个年逾古稀的老者来说尤其如此。不多久，白崇禧即油尽灯枯。1966年12月1日晚，张小姐与往常一样到白宅夜宿。就在这天晚上终于发生了悲剧。第二天早晨，白崇禧的副官发现主人赤身裸体趴卧在床，而张小姐早已离去。这位国民党一级上将，叱咤风云数十年的小诸葛，却在失意中不明不白地走了。另有一说法是，白的遗体上呈铜绿色，不像自然死亡；保姆曾看到床头柜上主人晚上喝的药酒杯中尚剩有小半杯药酒，但后来药酒与酒杯都不见了。但白家自觉此事背景复杂，并未追究。
白崇禧死讯传出后，副总统兼行政院长严家淦与国防部部长蒋经国立即派遣国防部副部长马纪壮前往白府吊唁，并宣布由国防部负责以军礼治丧。接着由何应钦、孙科、陈立夫、顾祝同等200余人组成了治丧委员会，协助办理丧事。
12月9日上午，在台北市殡仪馆景行厅举行公祭，蒋介石亲自颁发了轸念勋猷挽额以及旌忠状。上午7时50分，蒋介石亲到景行厅向白崇禧遗体告别，鞠躬致敬，并献花致祭。8时50分，在何应钦主持下，公祭仪式开始，前往致祭的台湾党政军高级官员和各界人士有严家淦、张群、孙科、陈立夫、蒋经国、黄国书、李嗣璁、莫德惠、顾祝同、张知本、谷正纲、陶希圣、谢东闵、李石曾、叶公超、黄杰、俞大维、于斌、郑彦棻、石觉、李国鼎、罗列、刘安祺、高魁元、徐焕升、赖名汤、陈大庆、梁寒操、余汉谋、蔡培火、李品仙等，共2000余人。公祭团体有国民大会，立法、司法、行政、监察、考试五院以及国防部与陆海空军联勤警备总部，广西和广东同乡会等159个单位。
公祭仪式结束时，由现役一级上将顾祝同、余汉谋、黄镇球、周至柔四人将大幅国旗覆盖在灵柩上，随后由遗属将灵柩扶上灵车。出殡行列由宪兵摩托车队开道，后面依次是：军乐队、仪仗队、装载蒋介石颁发的挽额专车、旌忠状专车、陆军一级上将旗车、所获各种勋章专车、灵柩车及家属车队。12时20分，灵车抵达台北市近郊的六张犁回教公墓，按照回教仪式与夫人马佩璋同穴安葬，并由回教教长率领教友300多人为白崇禧灵魂祈祷。与国民党其他死去的将领一样，他的墓地也是朝着大陆方向的。
