现在很多人喜欢把父亲与黄金荣、张啸林放在一起，把他们并称“上海三大亨”。黄金荣和张啸林我都见过。我对黄金荣印象不深，我见他时，他大概60多岁了，那时人家还是叫他黄老板，还是很威风的。父亲与黄金荣的关系后来有点复杂。黄金荣发家早，因为早期在帮会里，他辈分很高，而我父亲辈分很低。但是黄金荣到了30年代名气就不大了，父亲远远超过了他，他有点嫉妒父亲，所以不太愿意来往。但是表面上大家还一团和气，过年过节互相送东西。
多面的父亲
父亲小时候因为家境贫寒，没怎么受过教育，所以对我们的教育看得特别重要，一定要让我们在尽可能范围内受到最好的教育。杜家的家教非常严，尤其是对男孩子。有一次大哥逃考，被他狠狠打了两个耳光。在家中，父亲的严厉具体是通过母亲执行的。有一次，姐姐英语没考好，母亲打了她10鞭子。
父亲对文人一直有一种向往，也对他们很敬重。他结交了很多文化名人，很多文人也都成为他的私人律师或座上客。民主革命家章太炎与父亲的私交甚好，1930年父亲在家乡买了50亩地，造了“杜氏家祠”，章太炎不但为杜家编了家谱，还写了洋洋千言的《高桥杜氏祠堂记》。杜家祠堂建成那天，包括蒋介石、淞沪警备司令熊式辉、上海市长张群等要人都送了牌匾，场面很大。
章士钊曾做过教育总长，后来又在上海做大律师，所以那时他们的交往比较多。章士钊算是父亲的私人律师兼参谋。很早以前，毛泽东要送很多共产党员到巴黎去，找到章士钊帮忙，章士钊又来找我父亲要钱。父亲觉得各方面的人都要结交，求到门下就要帮一下。
父亲发达后，江湖上一些事情他就让别人出面去做，与早期的兄弟也保持了一点距离，而他更多做一些公益和慈善。每有灾害发生，父亲一定出面组织赈济。
父亲的老家在上海浦东高桥，每年夏天他都要从药房买大量的“痧药水”、“诸葛行军散”，送到高桥，挨家挨户免费送发，这个举动坚持了好多年。
不论对父亲有何评价，有一点是公认的：在民族大义上，他从来没有动摇过。父亲反日的立场是始终没有改变的，我想这一点跟帮会有关系，老一代帮会里的人对日本人有仇恨，帮会里有很多观念也传袭下来。但最主要的是，父亲有一个很强烈的“中国人”的意识，所以他非常恨日本人。