即使非常同情孔子的人，也觉得“惟女子与小人难养”这句话，有“历史局限性”。看看当今世界，“铁娘子”时代似乎已经来临。哈佛有了第一位女校长，在此之前，其法学院院长、研究生院院长、设计学院院长都是由女性担任。不仅如此，麻省理工、普林斯顿等名校的校长也是女性，最近日本任命的防卫厅长官也是女性。女性部长和总理已经不是新闻，继象征性的女王之外，出现有实权的女性总统恐怕也会在不远的将来。
凡此种种，想必孔子都不会反对。因为孔子非常熟悉的《诗经》当中，就有不少的篇章歌颂女性的伟大，描述女性的可爱。“淑女”和“君子”是最理想的伴侣。所以孔子所讲的“惟女子与小人难养”一定是有针对性的，他所针对的决不是“小男孩”和“小女孩”，而是古代社会宦官和后宫联手作乱的状况，这一点，已有不少学者指出，只是一般读者误解太甚。
君主专制的社会，有庞大的宦官和后宫是其主要特征之一。古人对此并非没有警觉。黄宗羲《明夷待访录》中说：“人主之有奄宦，奴婢也；其有廷臣，师友也。所求乎奴婢者使令，所求乎师友者道德。”这是古代社会的理想设计，但是内臣和后宫往往“乘人主之昏而后可以得志”，无需多长时间，就会造成严重的社会动荡，导致“一世之人心学术，为奴婢之归”。正如黄宗羲所说：“奄宦之如毒药猛兽，数千年以来，人尽知之矣。”他说造成这一局面的原因，并非没有“法制”，而是“人主”实在多欲。
在现代社会，“多欲”的贪官并没有“进化”多少。最近的统计，70％以上的贪官背后都有“贪内助”，而已经被惩治的腐败官员，包养情妇的比例在90％以上，这些贪官，其秘书也“出事”的，几乎是百分之百。秘书（私党）和家眷（情人）是贪官腐化的两翼，可统称“贪内助”。虽然不能完全等同于“近之则不逊，远之则怨”的“小人与女子”，但是这些离“干部”最“贴近”的人，的确是需要严加约束的。
黄宗羲引用过孟子的一句话：“侍妾数百人，我得志弗为也。”由孟子的这句话也可以看出，能够“养”“小人和女子”的，其实是“得志”的统治阶层。所以，更可以证明孔子并非要在道德上歧视所有的女性。但是，正如黄宗羲所言，宦官和后宫也并非一定会作乱，关键在于“人主”是否英明。黄宗羲也指出，为了皇权的世袭而肆意扩充后宫是愚蠢的，如宋徽宗的子女，不可谓不多，结果都为金兵杀害或俘虏。我们也知道被奉为“圣明”的康熙，晚年因为众多皇子争夺大位而身心憔悴。晚清慈禧太后窃权，也是“公公”横行无忌的时代。
所以，“小人与女子”与传统社会的兴衰息息相关，值得仔细研究。现代社会的“秘书”，原本和长官没有人身依附关系，任何官员也都有自主选择婚姻和爱情的权利。但是，孔子所批评的“小人与女子”，也就是贪恋权势和金钱，向往奢靡生活的男性和女性还是大有人在。他们利用制度的漏洞，不惜出卖人格尊严，竭尽阿谀奉承和威逼利诱之能事，使今日之“一把手”或者“主管领导”在心荡神移的状态下以各种名义，各种手段，为他们牟取各种私利。
最近颁布的《行政机关公务员处分条例》明确禁止国家公务员“包养情人”，有些“一刀切”的意味，因为国家公务员的感情生活本来是属于个人私生活的范畴，不需要干涉。偏偏有“小人”与“女子”从公务员的“私密生活”下手，一些公务员也常常以私害公，以公谋私，所以才有此不得已之举。想洁身自好的领导者们，在自觉遵守有关制度的同时，不妨多多温习从孔子到黄宗羲的古训。
至于广大的女性同胞，则不必“对号入座”，因为孔子所针对的是“近之则不逊，远之则怨”的男性和女性，更何况，我们在日常生活中，也需要“有则改之，无则加勉”。如果非要说它的历史局限性的话，我们可以说，任何思想，都有它的历史局限性，但是，如果我们明白了其中的历史背景，则会发现它的现实合理性。
