西北解放战争接近尾声之际，中共中央指示西北局做胡宗南起义工作。1949年10月，中共中央西北局派曾被俘的原国民党军整编第二十四旅旅长张新潜回胡宗南部，向他面交了中共方面呼吁起义的信件及有关文件。胡宗南多年受蒋介石恩宠，无法摆脱同蒋的个人感情。他明确表示不能背叛蒋介石，要做文天祥，愿“为知己者死”。12月，人民解放军第一野战军经过陕南陇南战役，将胡宗南所部全部赶出西北。胡宗南残部退守西南，很快陷入人民解放军新的包围之中。1950年4月，他带着无限惆怅的心情，率少数随从逃到台湾。
胡宗南到台湾后，蒋介石对他在西北、西南战场的失败颇为恼怒，刚履新的“总统府战略顾问”闲职也遭到弹劾。1951年3月，胡离开国民党政权中枢，到大陈岛组织“江浙反共救国军”，任总指挥，化名秦东昌。其含义为，当年兵败三秦，今日东山再起。然而，梦想未能成真，最后连这个不太像样的官职也被别人挤占去。1955年9月，蒋介石念他几十年军旅生涯，任命他为澎湖列岛防卫司令官。胡此时已进入60周岁，自知花甲之年担任此职，乃老校长念及门生之情。1959年10月，蒋介石复任命他为“总统府战略顾问”，让他荣居二线，颐养天年。而胡宗南却总觉得天不遂人愿，情绪十分低落。1962年2月，胡宗南在郁郁寡欢中病逝台北，遗下爱妻及尚未成年的二子一女。