总之，在诸多精神负担的重压下，王国维走上了绝路。他去世后第二年，潘丽正携年幼的子女离开北京搬回海宁。1949年，潘氏带部分子女迁往台湾。
一对父子，“两个罪人”
长子英年早逝后，王国维曾将希望全部寄托在次子王高明，也就是王庆山的父亲身上。王高明1902年3月生于海宁盐官镇，1916年入上海工部局育才公学就读。1920年中学毕业后，遵从父命入上海邮局为邮务生。“父亲那一辈人中，数他天赋最髙，也最爱古籍与诗词，以他的资质和兴趣，如果钻研国学，日久必有成就。但他听从父命进了邮局。”1931年，王高明调入上海邮政总局，1941年升任副邮务长。1949年邮政总局南迁台北，他留守上海，解放后随邮政总局迁往北京，任改组后的邮电部秘书处副处长。王庆山说：“父亲国学功底深厚，当时有钱就买书，还自学俄语，一年不到，就学通了。”1951年，邮政部干部大审查，王高明被定为“特务”。在“反右”运动中，被认定是不宣布的“右派”，强制退职。同年，次子王庆同和三子王庆山均被划为“右派”。谈起父亲，王庆山不免有些伤感。“1951年审干运动中，父亲交代了抗战中参加过一个中统举办的邮件审查培训班，学习期间见到过特务头子戴笠，因此被认定为不可靠分子。”
“反右”运动让王高明一家命运急转直下。正在测绘学院读二年级的王庆山被流放到新疆，一去就是将近40年。“大哥被定为右倾分子送川藏边区连队当兵，二哥在南海舰队鱼雷快艇大队工作，因拒绝揭发好友而被划入反党小组，送广西边远农村改造。姐姐转业去了西安……我们全家在工作学习上都力求完美，作风正派，生活朴实，结果都成了悲剧人物，是性格上的弱点跟不上时代，还是当时的社会必然?我想不通。”王庆山说。
王庆山回忆说，当时父亲肩头担子最重。母亲是家庭妇女，理解不了残酷的现实，身体垮了，瘫卧在床，四个子女也不在身边，“父亲要照料母亲，一日三餐常常是烧饼加开水。但就是在这样的逆境下，他竟然还完成了百万字的学术著作。”1959年，在友人的帮助下，王高明在中华书局文学组当“临时”编辑，做了大量的古籍点校工作，像著名的《李清照集校注》、《南唐二主词校订》等书，都是他整理点校的。1966年，因“文革”受到冲击被清退。王庆山忘不了，1968年他回家探亲，一对父子，“两个罪人”，相见时都极力回避敏感话题，只说一些生活琐事。分别时，父亲送他到车站，嘱咐他要堂堂正正做人，不要给王家丢脸，谁知这一别竟成永别。第二年，王高明卷入“朱学范、谷春帆特务集团”案，含冤去世。
王庆山回忆说：“家中当时有一个电子管收音机，其中一个电子管在收发机上可以兼用，属于被管制的无线电器材，于是，这被认定为秘密电台，父亲则是收发报员。持续的隔离审讯和不分昼夜的批斗会，让父亲不堪凌辱。他曾去颐和园祖父投湖自沉的地方想自杀，因游人如织而放弃。当时家里只剩下一间屋，为避免刺激母亲，父亲喝了大量敌敌畏，最后死在院内的厕所里。他‘畏罪自杀’后，家中2000多册线装书全部被没收，其余藏书和历年文章的底稿、资料、集邮册都被焚毁。”
1979年，王家得到平反。王庆山后来任新疆测绘局管理处副处长、新疆测绘学会秘书长等职，2000年返回上海定居。王庆山说，父亲一生落寞，谢世以后没有任何形式的纪念，骨灰也下落不明，公墓墓穴中只有一副曾用过的眼镜。但欣慰的是，随着时代的进步，父亲当年的学术成就得到认可，这也许是对他最大的安慰。
