“五行”一词，最早见于《尚书·甘誓》：“有扈氏威侮五行，怠弃三正，天用剿绝其命。”《甘誓》据说是夏朝遗文，文中的“五行”具体所指，没有说明，但“五行”和“三正”并用，可以推想它和上古历法及上古先民的尊天观念相联系。
“五行”次见于《尚书·洪范》：“初一曰五行……一曰水，二曰火，三曰木，四曰金，五曰土。水曰润下，火曰炎上，木曰曲直，金曰从革，土爰稼穑。润下作威，炎上作苦，曲直作酸，从革作辛，稼穑手甘。”《洪范》一文，据记载作于西周初年，乃周灭商后二年，商朝旧臣箕子向周武王所陈述的“天地之大法”的记录。箕子说，天赐给禹《洪范》九畴，也就是九种“天地之大法”，“五行”是九畴中的第一大法。这说明五行观念早在大禹时就有了。
《史记·历书》云：“黄帝考定星历，以立五行。”以此推论，五行观念的产生更上溯到了黄帝时期，并且说明五行的产生和星历气象有关。
五行说现代很多学者都说是古代朴素的唯物论，认为我国古代思想家把五行中的金木水火土当作构成宇宙万物的基本物质或元素。是不是这样，我们从五行范畴的形成来探讨，就可以清楚地得出结论。
五行的起源，有“五数说”、“五方说”、“五祀说”、“五星说”和“五工说”等等，事实上，五行应该源于河图。河图是天文图，河图源于太极图，太极图是说明阴阳之气的，阴阳之气的五分法具体化就是五气，五气易象化就是五行，五行实起源于五气，而五气是天地共同作用的结果。时令节气本来是日月地三体运行所成，然而，却可以用天上的木火土金水五星在地上的东南中西北的出没情况作标志。我在《太极河图洛书》一节已介绍过，太极图源于天文历法的测绘，河图洛书是用奇偶数按阳奇阴偶的原则从不同的角度用不同的方法对阴阴消长情况所作的天文解说图。河图数分布在太极图上，形成四象特征点和中宫特征点五个特征点。对于太阳年周视运动太极图而言，河图数1、6为冬至，2、7为夏至，3、8为春分，4、9为秋分，分别代表冬、夏、春、秋四象。5和10据中宫，代表四季土(四季均分之后的余气)。
古人将五个特征点象八卦一样，分别取法于自然之象而命名之，就是五行象。冬天气温冷如水，故以水配之；夏天气温热如火，故以火配之；春天草木欣然，故以木配之；秋天草木金黄，结实如金，故以金配之。因为一个太阳年365.25天，并非整数日，无论四分、八分、十分，还是十二分，都不能按天完全均分，所以对春夏秋冬或不同历法的月份必须采取适当措施予以调整，一年四季才能节气分明。又因为春夏秋冬在大地上随地理方位的不同而不同，大地(实际上指立足点)对不同地理方位的四季起着控制作用，因此，古人把调整节气的时段(闰日或称余分)以土配之，土据中央而控四方(闰以定岁,即定四季,四季配四方)。不同的历法，调整的办法也不相同，古人有时一年调整一次，将土季置于夏至之后，称为长夏；有时置于夏至和冬至之后，称为过年日(古十月历有大年和小年)；有时置于四季的后边，称为季土。一年调整不过来，就用置闰的办法超年度调整。不论如何调整，都将每年调整节气的时段统称为土季。金木水火土五行之象就这样形成了。由此可知，五行金木水火土在最初形成之时，是以实象的五种物质表示五种节气，已进行了一定的取象比类，后来，五行之象又泛指五个特征点，类象范围更广，一如八卦一样，可以类指万物万象，并形成为用五分法揭示宇宙万物的结构、关系、性质、状态或过程的抽象哲学范畴。
因为五行是用五分法揭示宇宙万物的结构、关系、性质、状态或过程的抽象哲学范畴，所以当然可以用来把具体物质的构成要素分为五类，并用金木水火土范畴来表示每一类，这是五行的应用，但是，这里的金木水火土并不实指金木水火土五种具体物质，就象乾坤可以表示天地，但并不单单就指天地，还可以表示父母、君臣等等。五行说是我国古代思想家创造的一种用取象分法思维揭示宇宙万物化生规律的辩证理论，五行之象既然是从实象中抽象出来的，当然也可以用其实象之间的关系来帮助理解这种抽象范畴之间的关系。不了解这一点而用朴素唯物论来解释它，其实正犯了形而上学的错误，目前有些学者由于混淆了五行从具象到抽象的过程，企图因五行的具象性而否定五行说的科学性，原因就在于此。
五行起源于四时五气，而四时五气是天地共同作用的结果，却是地的独有现象，所以五行由天生而属地，也就是说“五行丽地”。
《协纪辨方》说：“行也者，言其行于地也。质行于地，而气通于此数之有五焉，故曰五行。”五行取象于日常生活中最常见的“民并用之，废一不可”的五种物象，古人称之为“五材”。《尚书大传》说：“水火者，百姓之求饮食也；金木者，百姓之所以兴作也；土者，万物之所资生也，是为人用。五行即五材也。”有用之五材因被具象化为五行概念，后又上升为抽象的范畴，从而能以之对万物万象进行说理，故而被上古先民所崇拜，并被列为祀典。《国语·鲁语上》说：“凡谛、郊、祖、宗、报，此五者，国之典祀也。加之以社稷、山川之神，皆有功烈于民者也。及前哲令德之人，所以明质也。及天之三辰，民所以瞻仰也。及地之五行，所以生殖也。及九州名山川泽，所以出财用也。非是不在祀典。”这种对五行的祭典，由专职的“五行之官”负责。《左传·昭公二十九年》记蔡墨之言曰：“夫物物有其官，官修其方，朝夕思之，一日失职，则死及之。失官不食，官宿其业，其物乃至。……故有五行之官，实列受氏姓，封为上公，祀为贵神。社稷五祀，是尊是奉。木正曰句芒，火正曰祝融，金曰蓐收，水正曰玄冥，土正曰后土。”五行之官因“一日失职，则死及之”的重大责任，因而对五行知识的研究十分重视，从而促进了五行观念的发展。
五行之间的关系汉代董仲舒称之为“比相生而间相胜”，也就是相邻者相生，相间者相克。
