台湾实在待不下去了，1949 年冬天，在张国焘一家人赴台刚好一年的时候，张国焘带着妻子和三个儿子离台赴港。在香港，张国焘总算找到“志同道合”的国民党人士顾孟余、李微尘，三人组织起“民主战斗同盟”，创办了《中国之声》杂志，张国焘任社长，李微尘任主编。然而好景不长，张国焘因与李微尘闹矛盾，受到李、顾二人联手排挤，被迫辞去社长一职。
此时正值朝鲜战争爆发，国际黄金市场因战乱影响价格上涨，张国焘拿出家中仅有的5000 美元做起炒金生意，开始时收获不小，但随着朝鲜战争的结束，黄金价格大幅度下跌，张国焘不仅将赚来的又赔进去，而且几乎将老本赔个精光。此时他无其他收入，只能靠大儿子张海威教书所得维持生计，日子十分艰辛。就在这时，杨子烈上街买菜跌倒在石板路上，摔断大腿骨，高昂的住院费让张国焘的家庭又蒙上一层阴影。
1956年，张国焘注意到国内形势已经宽松，萌生回大陆的想法，他托友人向中央请示，得到的回复是，回大陆可以，但必须在报纸上公开承认错误。张国焘仍然丢不下面子，此事只好作罢。
此间，张国焘一家一直挣扎在贫困线上，直到1961 年，美国堪萨斯大学约请张国焘撰写回忆录，每月支付2000 港币作为稿酬，才解决了张国焘生计上的难题。张国焘经过四处搜集资料和努力回忆，历时4 年，写下《我的回忆》共3 册100 万字。杨子烈也写下一部《往事如烟》，后改名为《张国焘夫人回忆录》。此后，张国焘夫妇基本靠这两本书的版税维持生计。