重新上岗的潘老板，将行号由“同文行”更名为“同孚行”，继续经营，直到1820年他病故，潘家无人愿意再担任行商，才算最后退出，真正是“死而后已”。他因死退出，也成就了伍秉鉴的首富地位。
帝国的经济圈是森严的，只要出任政府的行商，尤其是经营的不错的行商，就没有自由退出的机制。政府明文规定：“乏商（无实力的行商）应即参革，殷商（有实力的行商）不准求退，即实有老病残废等事，亦应责令亲信子侄接办。总不准坐拥厚资，置身事外。”（《清代外交史料》嘉庆朝）
行商后人、民国时学者梁嘉彬在《广东十三行考》中说，行商因不堪苛征暴敛，多有中途退办行务者，但退办时必须先清偿债务及历年来欠饷及罚金，才可能被批准退出。而且，因为行商资格是皇帝亲自任命的，退出也必须等待圣旨核准。否则，即便行商不想再干，却不能不继续承担义务。“有时行商即已退办，而海关以其他行商信用较弱，仍令其重新执行行务，行商不愿再作冯妇者，海关监督则强其为之，因是值得借债勉强支持生理（生意），迨至不可收拾时，遂须受监追、查抄家产、充军伊犁之苦。”
梁嘉彬记载说，诸多行商中，只有“义成行”老板叶上林，顺利地获得了同意退出的圣旨，而其他人则要通过行贿才能退，而且依然可能被随时取消退休资格。梁嘉彬记载道，就在伍秉鉴花费了创纪录的50万银元后次年，“天宝行”老板梁经国为了“退休”，仅仅行贿了3万银元，价格之低“为向来所稀有”。
尽管行商们的日子并不好过，但面子还是要撑起来的。
1823年，被美国商人恶意欠款100多万美元、到白宫上访未果的广东“行商”潘长耀去世。次年，只为外商讨债的大清政府，宣布他的“丽泉行”破产，对其全部财产进行拍卖，以便偿还他的外国债主，保住天朝脸面——至于他的外国债权如何收回，大清政府是从来不在乎的。
潘的遗产中，最有价值的，就是那座占地1公顷的豪宅，位于广州西关，被外国人称为“宫殿式的住宅和花园”。英国著名建筑师和风景画艺术家、设计过伦敦圣·彼得大教堂和英国下议院的ThomasAllom（1804~1872年），曾为这座豪宅绘制了一套画，至今仍能以极高的价格驰骋书画拍卖市场。而1926年发行的中国农垦银行一元纸币，主图就是这座豪宅。