童年是无敌的，他日后的研究多来自小时候的积累。
在燕京大学读国文专业的时候他是尖子生，所以于鹰犬蟋蟀的玩性就更大了，揣着蝈蝈进课堂是他最有名的段子。而和一个异常迷恋zhongguo古典家具的德国医生的来往，为后来研究明清家具埋下伏笔。
离开故宫之后，他每天起早贪黑，钻研自称“偏门”的学问，开始收藏、研究明清家具、鸽哨、竹刻、葫芦等。在风起云涌的时期，“不问zhengzhi”的他常常骑着自行车穿梭在大街小巷，与工匠、民俗艺人混在一起。
他待人谦恭，跟底层人打交道非常多，因此许多民间的工匠也愿意跟他交流，把技巧告诉他。经过几年的潜心研究和艰辛劳动，刻蜡版、油印，整理成册，完成了数十万字的着述：《画学汇编》、《清代匠作则例汇编》、《雕刻集影》等。
在离开文物岗位的整整十年中，王世襄利用一切业余时间，坚持文物研究。诸如《髹饰录解说》一书的撰写，明式家具实物、技法、文献材料的收集，清代匠作则例的访求、整理、汇编等，都是这十年中惨淡经营、点滴积累而成的。
王世襄觉得离开了故宫，离开了这是非之地，自己就可以安宁了，可以研究自己的藏品，专研自己的“偏门”。
可是不久，“文革”开始了，红卫兵冲进他家的四合院，推倒葫芦架，拔起葫芦秧，砸碎盆栽花卉，临走在他家大门上贴了一副对联：“庙小妖风大，池浅王八多。”
王世襄站在一片狼藉的院子当中，他知道自己手中的家传之物和平素收藏是躲不过劫难的了，于是“自我革命”，主动向自己单位“文化部文物博物馆研究所”提出了“抄家”申请，1966年9月2日，古玩、字画、图书、家具等大批财物都被抄走。
我在《烟云俪松居：王世襄珍藏文物聚散实录》中见到过这些查抄清单和后来的返还清单，清晰而详细。正是这个“自觉行动”挽救了他的绝大部分收藏，使大批宝物得以整体保存下来。
在他下放湖北改造之时，被今天人们津津乐道的文人雅士雅集之地芳嘉园，一下子拥进了八户人家，私家小院顿时成了一座大杂院。
