Als er älter wurde, war Huo Zhenghui dafür bekannt, einen schlechten Charakter zu haben. Er verstand sich nicht nur nicht mit seinen Söhnen, sondern er war auch streng zu seinen Mitarbeitern. Die Lage verschlimmerte sich, als seine Söhne nacheinander an Krankheiten und Unfällen starben und er keinen Nachfolger mehr hatte.
Sein ältester Sohn starb im Alter von fünfundvierzig Jahren und hinterließ eine kinderlose Witwe. Drei Jahre später starb sein jüngster Sohn bei einem Autounfall, was nur den zweiten Sohn zurückließ, den er Jahre zuvor aus dem Unternehmen geworfen hatte und der später der Vater von Huo Yunhao wurde.
Huo Yunxi heiratete eine deutsche Frau namens Irina Augenstein und ließ sich für die Arbeit in Europa nieder, weit entfernt von der Familie Huo. Obwohl er talentierter und klüger war im Vergleich zu seinen beiden Brüdern, hatte Huo Yunxi keine Leidenschaft oder kein Interesse daran, das Familienunternehmen zu leiten, was seinen Vater wütend machte.
