与此同时，考据史学在胡适身上所暴露出的各种局限性，同样也贯穿了“整理国故运动”的始终。
其一，因为片面强调考据，导致了许多大学国文系课程明显偏重于训诂考据，而忽略了对文学本身的鉴赏。浦江清在1948年便曾经针对清华国文系的课程设置状况评论说：“照目下情形，中文系同学认为中国文学系课程中国太多，文学太少。就是说近于国学系，而非文学系。他们不喜欢训诂、考据，而他们所谓文学的观念乃是五四以后新文学的观念，对于古文学也很隔膜。为爱好文艺而进中国文学系，乃至弄到触处是训诂、考据，不免有‘误入’的感觉，简直可以说是受骗。”[9]
其二，正如英国著名历史哲学家柯林武德所指出的那样，“实证主义在它那工作的这一方面所留给近代历史编纂学的遗产，就是空前的掌握小型问题和空前的无力处理大型问题这二者的一种结合”。[10]确实，由于过于注重史料的整理，反对疏通与推论，“整理国故运动”在某些缺乏史料的问题上，难免显得无能为力。譬如，史语所虽在考古发掘方面取得了相当大的成绩，但是毕竟无法将中国上古史的原貌重新完全复原，而它又向来以所谓“存而不补、证而不疏”相标榜，以至于长期以来，一部完整的中国上古史始终付之阙如。有鉴于此，李济晚年就曾反思说：“历史学家在这一方面，就不能不用些想像的力量。说得简单一些，一个历史学家，不但应该根据科学的事实写历史，同时也应该用文学的手段写历史。……因此，我个人的意见，觉得要预备写一部中国上古史，我们不但要参照铁的事实，也需要若干活的想像。”[11]
其三，因为仅仅局限于考据，“整理国故运动”实际上只是以史料的考订整理为主，属于微观史学的范畴，它欠缺宏观上整体驾驭的能力，更不可能进行高层次的历史哲学思辨，这就很难达到其所谓“重新估定一些价值”的目的。关于这一点，牟润孙曾经十分尖锐地针砭说：“综观此一时期之史学，当其初也，沿袭五四以来之积习，仍多以考据为专业，而偏重材料。……治史者咸致力于寻求罕见之典籍文物，苟有所获，则不问事之巨细，题之轻重，旁徵广引、附会渲染以为文章。……今日史学之衰，在于舍义而言事，抑今之治史者，又往往以追寻琐屑之事为务，诚所谓未闻大道也。”[12]
平心而论，“整理国故运动”的反对疏通与注重考据，对当时学界所盛行的空疏风气，确实起到了针砭时弊的一定作用；然而，由于它在研究方法上片面强调考据之学，绝对排斥“史观”的指导；甚至将研究目的仅仅定位于整理史料，而忽略了探求人类历史发展的客观规律，因此它也带有相当大的局限性。如果说在运动的初起阶段，这种局限性体现得尚不十分明显；那么，随着运动的开展，考据史学的弊端终于逐渐显露，并最终严重制约了“整理国故运动”的继续发展。
