1926年3月，在国共合作的形势下，经过李富春、蔡畅等介绍，洪水进入黄埔军校第四期学习，和林彪、刘志丹等中共党员是同期学员。1926年10月，他以优异成绩毕业，遵照胡志明指示，留在黄埔军校工作。
1927年8月，国共合作彻底破裂，蒋介石、汪精卫都向中国共产党挥舞起屠刀，白色恐怖笼罩全中国，洪水却逆流而进，宣布脱离国民党，秘密加入了中国共产党。同年12月，面对国民党的血腥屠杀，张太雷、叶挺、叶剑英等发动广州起义。洪水等30多位越南革命者跟随叶剑英指挥的第二方面军第四教导团作战。经过殊死激战，他们占领了广州公安局，释放了全部在押政治犯，内有100多名黄埔军校学员。获悉解救他们的是越南革命者，这些同志都激动地高呼：“国际主义万岁！”
在敌强我弱的大背景下，广州起义很快就失败了。由于暴露了共产党员身份，洪水无法再在广州立足，便随叶剑英、聂荣臻等人一起撤到香港。不久，经胡志明同意，他又辗转流亡泰国，与黄文欢等人一起将在泰国的越侨青年组成“合作会”“亲爱会”，领导越侨开荒种植，既能够维持生计无虞，又可为革命活动筹措经费。
1928年6月，为了给从井冈山下山即将转战到广东省梅州的红4军充实力量，中共两广省委想到了精明能干的洪水，将他秘密召唤到香港。但这时红4军转往闽西，他便留在香港，开展香港海员工会的工人运动。工作刚刚有起色，广东东江地区红军缺乏军事干部，黄埔军校毕业的洪水自然成为人选之一。1929年1月，他奉命赶到广东东江地区，担任新组建的红11军第47团连指