在几代人的努力下，潘振承第四代之后，就退出了商界，潘家的同孚行也卖给了伍家。

至于潘仕成，却跟潘振承不是一系，潘仕成的爷爷是潘振联，跟潘振承是兄弟，也是在广州经商家，不过做的是盐商。但是潘仕成这一支一直想加入行商，潘仕成的父亲潘正威曾经向清政府申请成为洋商，但没有得到批准。但他们暗中借助堂叔以堂叔潘长耀的丽泉行与英国东印度公司入行贸易，赚了不少钱。而且每年还能节省给政府的5万两行商税银，等生意交到潘仕成手里的时候，他继承的家业达两千万两。

要知道潘仕成这一支，不过只是潘家的一个分支而已，家产就能跟伍家比肩。还有潘长耀一支也不容小觑，潘长耀的丽泉行在十三行中也是赫赫有名，虽然最后倒闭了，但是在中国历史上也是留下过印迹的。

最有名的要数，1814年潘长耀在美国联邦最高法院控告纽约及费城商人，拖欠自己1oo万两货款的事情。因为满清朝廷根本不会在中国商人跟外国商人的商业纠纷中声，反而总觉得一旦有冲突，是丢了天chao上国的脸面，潘长耀不得已在美国起诉。

潘长耀为此还在1815年，致信美国总统麦迪逊，要求美国注意监管本国的商人。这封信以葡萄牙文，英文和中文三种文字写成，三封信留存在美国博物馆和美国国家档案馆。可惜潘长耀最后打赢了官司，但是没有讨回钱，直至1o年后，丽泉行倒闭，货款仍未拿到。

潘长耀、潘振承和潘仕成这三家，可以说任何一家都不比伍家差半分，但却因为重农抑商的传统观念，让潘家的核心家族潘振承家族选择了退隐，一心转变成耕读传家的传统士绅身份，这才给了伍家崛起的机会，甚至不得不让人怀疑，潘家是有意扶持伍家代替自家的地位，否则担心自己脱不了身，同样的故事后来也生在伍秉鉴身上，也是为了谋求脱身费尽心机。

可以说跟名头更大的伍家相比，潘家才是隐藏更深，更有底蕴，更有深度的行商巨鳄。

跟潘振承家族不同的是，潘仕成家族这一系，始终坚持经商立身，他爹想尽办法参与行商买卖不说，潘仕成更上一层楼，通过捐官捐来了二品的顶戴，同时找到了大靠山耆英，得以延续潘家的贸易，甚至在鸦爿战争之后，依然做的风生水起。

潘仕成显然走出了胡雪岩之前的官商路径，把在朝廷有一个靠山视作最大的本钱，极力用心去经营。为此每每到了朝廷有难的时候，就会不惜重金的进行政治投资，比如道光二十一年，潘仕成先后捐助五千斤、三千斤、二千斤炮四十尊。第一次鸦爿战争捐助军工海防，捐建战船和水雷，承办军火生产、帮办洋务、建造船厂、火药厂。这两年进行的第二次鸦爿战争中，也没有闲着，一度奉命督办沿海七省战船，并自动捐资加造战船。

可是政治投资的大笔付出，没有换来好的结果，他的大靠山耆英在英法联军刚刚攻占天珒的时候，奉命去谈判，结果英国人认为耆英多次向皇帝隐瞒广州的情况，不相信耆英，将耆英赶回了京城，耆英回去之后，被咸丰皇帝赐死，换了桂良和花沙纳去谈判。

耆英一死，潘仕成就非常担心自己受到牵累，整日忧心忡忡。要知道以往他跟耆英可是盟友关系，他给朝廷出钱，耆英帮他奏请皇帝受赏。他们的关系异常的密切，甚至潘仕成家的潘仕成家的豪宅，海山仙馆园门前的悬匾“海山仙馆”，四字匾额都是时为两广总督的耆英所书。

就在潘仕成担心自家会因为耆英的获罪而受到牵累的时候，柏贵找到了他，柏贵找他的目的则是希望广州的商人能往新安做贸易，好堵住洋人非要到广州的借口，此时柏贵即将接任两广总督的消息，信息灵通的潘仕成早就知晓了。

但是柏贵找的并不是潘仕成，而是潘振承家族，是潘仕成收到消息，主动上门，请求同宗帮忙介绍，并且跟同族达成了协议，已经退出的潘振承家族，将家族生意全都转交给了潘仕成。

因此后来打着四大行商潘家名义来新安建立商行的，其实是潘仕成，而不是正宗的十三行总商潘振承家族。

不过由潘仕成接过潘家的生意也不算什么，毕竟潘仕成虽然是盐商，但主营业务除了食盐就是茶叶，他本人就是品茶的大名家，甚至广州城广为流传的一款品茶名器就叫做潘壶，是由潘仕成专门在宜兴定做的紫砂壶流传而来。

因此做茶叶他做的一点都不比本家差，所以柏贵也好，朱敬伦也好，都算是认可潘仕成打着过去的同文行旗号顶替潘振承家族的事情。

至于瑞典商人跟潘仕成之间，那就又是另一番故事了。