一辈子纠结于杨宪益心中的，仿佛与迷信相关的，他人生的一个重大悬疑是：
究竟是不是他克死了父亲？
杨宪益的母亲徐燕若曾告诉他，说她在生他之前，做过一个奇特的梦，梦见一只白虎扑入她的怀里。醒来后梦中情景还很清晰，心怦怦跳。老虎入怀，本已令人惊骇，何况是少见的白虎！自古以来，对于白虎就有种种说法，虽然也有说是瑞兽的，但更多的则说是凶暴之兽，白虎星在民间也被视为灾星、杀星、凶星，遇之不吉。
徐燕若于是去见算命先生。算命先生的说法也多从凶说，说这个小孩长大后不会有哥哥弟弟，而且克父！不过算命先生也谨慎地给杨母留了一小条“光明的尾巴”，说这个小孩经过种种艰难险阻之后，会成就一番辉煌的事业。
徐燕若怀着一颗忐忑的心来，走的时候心更不安了。她这是头胎，倘若是个男孩，杨家便只有这一个独子；倘若是个女孩，杨家这一支香火岂不就断了？何况还有更要命的克父！至于那“彩虹”也不可期——谁知道他能不能过得了之前的风雨呢？
也许徐燕若并不是一个十分迷信的人，或许是那时她已近分娩，胎儿已经发育成熟，算命先生的话似乎并没有对她造成太大的刺激进而未对肚里的孩子带来明显的不良影响。
杨宪益生于1915年元月10日。这年的2月14日是春节，之前是农历甲寅虎年，之后才进入乙卯兔年，所以杨宪益属虎，他母亲梦见老虎，也应与她会想到生个儿子属虎有关。
也许是杨霁川求子心切，而徐燕若生了杨宪益之后便只生女儿了，于是他又找了一个妾回来，希望能像徐燕若那样给杨家添喜，可是希望落空了。
那年他得了伤寒，老话“一病不求二医”，他也不完全是病急乱投医，只是因为有钱、有地位、有势力，家里今天请来一个名医，明天又请来另一个名医；今天吃这人的药，明天打那人的针，东治西治，七治八治，病越来越重，竟至不治而逝！年方四十九岁。杨霁川并不是文弱书生，身体相当结实，又注意运动，不是短命之相，所以谁也没有料到竟会中年丧命。
五岁的杨宪益当然不会想到父亲的早逝与他有什么关联，他对父亲的印象不深，只留下一些模糊的生活片断。比如他记得父亲常常在家里的庭院里玩可以致人死伤的飞镖；喜欢在夏秋斗蟋蟀，但蟋蟀并不是他亲自动手四处捉的，而是购买。他每年都要买上几百只蟋蟀，养在精美的陶罐里，并加以训练、筛选，给出类拔萃的蟋蟀命名，有“金颚王子”“无敌霸王”等；他还嗜好唱京戏。
父亲的故事还有许多是母亲告诉他的，比如父亲在日本不好好读书，而喜欢与日本艺妓在一起消磨时光。当然，母亲也会讲到算命先生说的他们父子相克的预言。
杨宪益在他晚年写的自传中，虽未认定父亲是被自己克死的，但也承认算命先生的推算大致不差。
杨宪益对父亲的印象虽然模糊，并且似乎也不以他为骄傲，但基因的力量是强大的、无孔不入的，在成年后的杨宪益身上，可以找到一些他父亲的影子，比如读书并不是非常用功，带有一种王公贵族特有的闲散气质，对钱财有一种与生俱来的轻视。
杨霁川虽然过早去世，所幸去世之前已攒下丰厚家产，包括银行里的巨额存款、天津的几处地产等，足以使孤儿寡母仍然继续维持锦衣玉食的生活。父亲去世很久后，他的酒柜里还存有洋酒，童年的杨宪益有天拿了一瓶法国白兰地，往花园里的一个金鱼缸里咕咚咚咚倒了许多。金鱼们全都醉死了，洋酒少了大半瓶，家里也无人过问。
杨宪益在回忆录里写到，父亲去世几年后，七八岁的杨宪益还以杨霁川的代表身份出席银行的董事会，“许多年长的董事都是我父亲的老友和同僚，他们直夸我聪明、举止得体。”——不知他参加的是不是大生商业银行的董事会议。
在杨霁川去世的前一年，北京政府财政部次长苏慕东联合金融界、商业界人士集资创办了大生商业银行，于1919年3月在天津正式开业，第一届董事会由九人组成，杨霁川是其中之一，其余几位是梁士诒、王郅隆，胡笔江，陶兰泉，苏慕东、潘耀庭等，都是当时社会的显赫人物，梁士诒（号燕荪）历任交通银行总理、财政部次长、袁世凯总统府秘书长、北洋政府国务总理；王郅隆(字祝三）是天津《大公报》创刊时的第一大股东，后任该报总董、金城银行总董、国务总理段祺瑞任董事的天津裕元纱厂的老板；胡笔江是交通银行北京分行经理；陶湘（字兰泉）曾任上海轮船招商局董事兼天津分局经理、天津中国银行经理；潘耀庭曾做过天津商会的会长。
就算杨霁川身后留下的是一座金山，也应付不了坐吃山空。管家的似乎对此没有足够的警觉，杨家依然按照杨霁川在世时的生活方式惯性地一如既往。家产于是就像是漂浮在海上的一座冰山，遭遇了暖流，在不知不觉中飞快地融化。
家里的人其实也并不都是只顾花销不事积攒，杨宪益的两个叔叔就想到去做贩卖私盐的生意，当然是寡嫂投资。可是运气不佳，盐船沉了，家财就像一只面包，又掰去了一大块。
日本占领北京和天津后，银行存款被迫兑换成伪币，而抗战胜利后，国民政府对伪币不予承认，结果那些钱就成了一堆废纸。加上战后国民政府经济崩溃，杨家银行里的钱已消耗尽了，地产也先后变卖得差不多了。
所幸家财散尽不是在一夜之间，而有一个时间过程。这个珍贵的过程，帮助杨宪益完成了留学学业，而且是舒服地完成的。在他可以自己挣钱之前，没有受金钱困扰，没有陷入经济窘迫，尽情地享受了金钱所带来的生活的快乐与便利，更使他可以一辈子站在比金钱高的位置，可以一辈子在金钱面前保持清高，免做金钱的卑微的奴仆。而这一切，来自于他的父亲，他父亲给他打下与留下的物质基础，他应该感谢父亲。
