年代受到总督府重用的他，在这个时候已经卸下大部分公职一段时间，与总督府的关系不如昔日般密切，传闻曾经拒见运输署倌员的他甚至被形容犹如“活在自己的幻想”。
此外，颜成昆委任女儿颜洁玲担任仲巴执行董事，但颜洁玲却被认为与劳方和政府关系欠佳。有传言曾指颜洁玲喜爱在深夜时份约见运输署倌员，而且以隔夜西饼款待他们；又曾经在工潮谈判中以铁尺敲打水杯的方式吓退劳方代表。
也有传言指出，总督府曾经私下点名要求颜洁玲辞任仲巴执行董事，但被拒绝。
外界对仲巴管理层的不利传言，可见仲巴的种种管治问题已经为港府终止仲巴的专营权埋下伏线。
仲巴连专营权都失去，可想而知这颜家后期管理仲巴有多失败。
但是，现在中华巴士落到帝国集团的手中，自然不可能再发生这件事。