白发人送黑发人的伍秉鉴，此时已经64岁，只好强打精神，安排五子、年仅14岁的伍绍荣（伍崇曜）接班，成为第五任、也是第三代的第二位“浩官”。
年轻的伍绍荣，不仅继承了一份硕大的家业，而且也继承了一份硕大的麻烦——随着中英之间围绕着鸦片贸易的冲突越演越烈，被大清帝国当作中外贸易缓冲物的行商们，两头受气、处境艰难。虽然，没有任何证据证明伍家参与了鸦片走私，但这丝毫不能阻止新任两广总督林则徐将他们拘禁起来，敲山震虎，给洋“猴”们杀只“鸡”吓唬吓唬。
林则徐将年仅20岁的伍绍荣投入了大牢，给已经70岁的首富伍秉鉴戴上了锁链，让他出席行商会议。与会的其他行商们，则都被摘去了代表着地位的顶戴（马士《中华帝国对外关系史》）。根据广州的英文报纸《中国丛报》（ChineseRepository）记载，1839年3月23日，披挂着锁链的老首富，来到宝顺洋行（Dent&Co.),催促宝顺的老板、英国商人颠地（LancelotDent）赶紧进城缴烟。老人“苦苦哀求,指着自己去了顶戴的帽子和脖上的锁链说,如果颠地不进城,他肯定会被处死”。
此时的首富，是否会在心中埋怨创业的父亲：早知今日，何必当初呢？