教育一词最早见于《孟子·尽心上》，“得天下英才而教育之”。《说文解字》释“教，上所施下所效”；“育，养子使作善也”，教育就是教诲培育的意思。
原始社会，人们通过口耳相传将与自身实践活动相关的信息保留下来。约公元前3000年前才有了象形文字的出现，学校最初萌芽，人们称之为“成均”。夏商周时期，人们将学校分别称为“校”“庠”“序”，中国教育开始有了初步发展。
然而教育在周朝有“学在官府”之称，虽说中央官学始于汉朝，但由此可以看出，在奴隶社会，平民接受教育的机会几乎为零，教育只是贵族享受特权的一种表现方式。
春秋战国是奴隶社会向封建社会转化的时期，社会动荡不安，百家争鸣，思想出现前所未有的交融，私学由此兴起。由“学在官府”变成“学在四夷”。其中孔子的贡献尤为重要。
春秋孔子在曲阜杏坛讲学，孔门弟子三千，七十二贤并立，培养了大批栋梁之材。孔子以六艺授课，礼乐射御书数，教导弟子全面发展。这种教育已经初具现代“德智体美劳”全面发展的模型。
孔子是儒家的代表人物，主张“仁”，探讨人的本性为主，主张性善思想，认为个性的差异是由后天学习的，主张后天教育，因材施教。子路问：“闻斯行诸？”子曰：“有父兄在，如之何其闻斯行之！”冉有问：“闻斯行诸？”子曰：“闻斯行之！”公西华曰：“由也问‘闻斯行诸？’子曰：‘有父兄在’；求也问‘闻斯行诸？’子曰：‘闻斯行之’。赤也惑，敢问？”子曰：“求也退，故进之；由也兼人，故退之。”（《论语.先进篇》）。这是《论语》中因材施教的典型例子，因为个人的个性差异不同而有不同的指引方法，对现今教师的启发不言而喻。
孔子教学主张徐徐善诱，从论语中可以看出，每次与弟子谈论哲理，孔子都是以“问”始，以“答”终，先让弟子发言，抒发他们内心的想法，孔子在阐述自身的观点，充分体现了“素质教育”的精神。反观当今社会的教育，学校将每个学生都教成一个模样，学校成了一个大型的机器生产地，学生进校门之前尚能保持自己内心最真实的想法，但是经过老师的熏陶，同学的融合，就趋而同之。中央电视台曾经有个广告，老师问孩子们：“雪融化了是什么？”开始的时候大家都会不假思索地回答是水，但是有一个孩子很怯懦地举手，告诉老师是“春天”。这个回答让老师很赞扬。当然，央视播出这个广告的目的是想起一个引导者的作用，告诉孩子们要发散思维，但是，如今你去学校同样问这个问题的时候，可能有十之八九的人会告诉你答案是“春天”。为什么会出现这样的现象呢？那是因为我们学习先贤只是徒具形而忘乎神。我们只是把这个故事当成是一个典范，告诉孩子该怎么做，却从不真正理解这个故事真正想要告诉我们的正是“不要告诉”。
让学生们有自己的思想，已所不欲，勿施于人。不要将自己的想法强加在别人身上，才是真正的教育。当然，并非是让教师完全地放纵，让孩子自由发展，而是要适度地给予他们空间。教师应该是一个引导者，而不是一个施与者。
汉代开始，官学发展初具规模。汉代特别重视发展官学，重点是太学。自汉武帝元朔五年（公元前124）创太学设置博士弟子50名，至汉成帝时增至3000人，质帝时太学生增至3万余人。汉代太学规模之宏大，世界罕见。
汉初推崇黄老之学，用以整治楚汉相争时期遗留的创伤，经过文景二帝励精图治，至汉武帝时，中央集权加强，经济迅速发展。武帝听从儒生董仲舒的建议，罢黜百家，独尊儒术。自此，儒学在中国奠定不可动摇的地位。
西汉教育制度之重要性，乃以育才与选贤双轨并进。换言之，乃是教育制度与选举制度之配合行使。由地方学即郡国学申送十八岁以上青年入太学，受业一年，经考试，以甲乙等分发。甲等得在宫廷充皇帝侍卫，乙等回归本乡作吏。为吏有成绩，重得选举入充皇宫侍卫，再由侍卫分派到中央及地方政府担任各职。此一制度，形成了此下汉代政府较之以前历史上所有之旧政府，展现了一独特之新面相。凡属政府成员，皆须太学出身，或是由太学生服务地方政府为吏之双重资格为出身。此等人，皆经政府之教育与选择。每一成员，既通经术，亦称文学，又擅吏事，汉人谓之“通经致用”。纵位极丞相，亦不例外，必备此资历。故汉代自武帝以下之政府，乃备受后世之崇重。后代政府，亦莫能自外于汉代之规模，而别创一新格。总之是受教育的始能任官职，教育地位，乃显在政治之上了。
教育为政治服务，这个观点随着封建统治的加强而不断受到认同，以往的贵族教育教导出来的贵族子弟由于先天享有的特权而荒诞学业，汉朝的察举制让非士族子弟获得政治话语权。
自隋炀帝始，开始科举，打破了魏晋时期九品中正制的格局，王谢“芝兰玉树”的政治世家的现象就此而终。寒门子弟十年寒窗得以鲤鱼跃龙门，参与政治活动，阶级之间的矛盾有了缓和。虽然唐宋时期仍有贵族学校的存在，但是相较于前期的贵族子弟垄断教育的现象已有突破性的进展。
而元、清两朝是少数民族执政的时期，元百年而终，正是因为阶级不可调和的矛盾，元朝人将人分为四等，教育也呈现阶级性，甚至在后期教育中科举选举一再中断。清朝吸取元朝教训，统治者重视汉学，重视教育对国家的影响，遂有康乾盛世。
纵观中国古代教育的发展，可以看出教育是调节阶级矛盾的重要工具，同时也是维护统治阶级长久统治的工具。文人在中国政坛中发挥着重要的作用，统治者对文人的态度可以体现为对一个民族的怀柔政策。