仅仅6年后， 1815年1月11日(嘉庆十九年十二月初二日)，潘老板就不得不结束“宁为一只狗”的自由生涯。嘉庆皇帝直接下文：“退商潘致祥久充洋商，家道殷实，从前朦混请退，本属取巧，现当洋行疲敝之时，岂容任其置身事外。着责令仍充洋商，与各总商认真清理一切，毋许狡卸。”(《清代外交史料》嘉庆朝)
在帝国看来，商人们当年靠权力致富，却在致富后一走了之，实在有点辜负朝廷的多年培养。好在朝廷还有国家机器，自有办法不容其“置身事外”，一纸文件，取消了“退休”资格，将已经跑路的潘老板捆绑回来，他之前花费的10万两白银，等于扔到了水里。
重新上岗的潘老板，将行号由“同文行”更名为“同孚行”，继续经营，直到1820年他病故，潘家无人愿意再担任行商，才算最后退出，真正是“死而后已”。他因死退出，也成就了伍秉鉴的首富地位。
帝国的经济圈是森严的，只要出任政府的行商，尤其是经营的不错的行商，就没有自由退出的机制。政府明文规定：“乏商(无实力的行商)应即参革，殷商(有实力的行商)不准求退，即实有老病残废等事，亦应责令亲信子侄接办。总不准坐拥厚资，置身事外。”(《清代外交史料》嘉庆朝)
行商后人、民国时学者梁嘉彬在《广东十三行考》中说，行商因不堪苛征暴敛，多有中途退办行务者，但退办时必须先清偿债务及历年来欠饷及罚金，才可能被批准退出。而且，因为行商资格是皇帝亲自任命的，退出也必须等待圣旨核准。否则，即便行商不想再干，却不能不继续承担义务。“有时行商即已退办，而海关以其他行商信用较弱，仍令其重新执行行务，行商不愿再作冯妇者，海关监督则强其为之，因是值得借债勉强支持生理(生意)，迨至不可收拾时，遂须受监追、查抄家产、充军伊犁之苦。”
梁嘉彬记载说，诸多行商中，只有“义成行”老板叶上林，顺利地获得了同意退出的圣旨，而其他人则要通过行贿才能退，而且依然可能被随时取消退休资格。梁嘉彬记载道，就在伍秉鉴花费了创纪录的50万银元后次年，“天宝行”老板梁经国为了“退休”，仅仅行贿了3万银元，价格之低“为向来所稀有”。