抗日战争胜利后，经马衡和梁思成推荐，王世襄跟随故宫博物院原文献馆馆长、北京大学教授沈兼士回北平清查战乱损失的文物。
当时，许多日本和德国的文物贩子与收藏家在zhongguo收买文物，伺机盗运出境，王世襄首先抓住了这个重点。
1946年2月25日，王世襄在中山公园董事会宴请了当时北平四五十位知名的古玩商，请他们提供线索。
当他得知沦陷时期河南某地出土的青铜器多数被德国人杨宁史买去，于是通过其父友人找到宋子文详陈原委，没收了杨宁史的青铜器240件，其中包括价值连城的“宴乐渔猎攻战铜壶”、“商饕餮纹大钺”等。
据王世襄后来撰文回忆，一年中，他在平津地区经手清理的文物主要有：没收德国人杨宁史青铜器二百余件；收购郭禅斋藏瓷二百余件；追回美军德士嘉定少尉非法接受日本人的宋元瓷器一批；抢救面临战火威胁的长春存素堂丝绣约二百件；接收溥仪留在天津张园保险柜中的珍贵文物一千八百余件；收回海关移交的德孚银行的一批文物。这些文物绝大部分都移交给了故宫。
他还被派往日本，费尽周折追讨回107箱被劫掠的善本图书。在450个日日夜夜里，他为追回文物奔波忙碌，可后来，他不但没有因为这份历史功绩受到表彰，反而蒙受不白之冤25年之久。
1946年7月10日，王世襄开始兼任故宫博物院古物馆科长。其后，受故宫委派赴美国、加拿大考察博物馆一年，记录下诸多重要流失文物。1948年8月回国，1951年任故宫博物院陈列部主任。
在1952年开始的“三反”运动中，王世襄与马衡院长和朱家溍先生被列为重点审查对象。
由于他有抗战胜利后作为清损会平津区助理代表追回大量国宝的“特殊经历”，成了运动中要打的“大laohu”。在办案人员眼里，作为“接收大员”，难道还有不贪污的？
他先是被关在故宫东岳庙，然后又关到公安局看守所，审查进行了一年多，最后证明了他的清白无辜。
王世襄在关押期间得了肺病，“取保释放”后，故宫却开除了他的公职。
后来他进了民族音乐研究所，1954年，故宫想调回王世襄，被拒绝。
我没有听到过王世襄诋毁故宫的话，但可以想象得出，一个视文物为第二生命，对故宫曾以终身相许的人被无端猜疑、审查，最后撵出故宫，内心会是多么的悲凉，你爱故宫，故宫爱你吗？
