香港第一间博物馆设于第一代大会堂内，但大会堂于1933年拆卸大部分建筑后，这间博物馆亦消失。现存最历史悠久的博物馆，要数1953年在冯平山图书馆设立的中国艺术及考古文物陈列所。它比第二代大会堂早九年出现，以收藏中国古代文物为主，今天已改名香港大学美术博物馆。
中国艺术及考古文物陈列所由一位英国汉学家成立，他的中文姓名为林仰山，曾在山东济南的齐鲁大学任教，一九五一年受香港大学之邀出任中文系系主任。他喜好中国文化艺术，在冯平山图书馆腾出地方搜集陶瓷、青铜器和书画等，作为教学和研究之用，并经常举办展览。1955年政府夷平李郑屋村时发现古墓，委托富有考古经验的林仰山带领港大师生进行发掘。
1926年冯平山图书馆迁入新馆，原址正名为“冯平山博物馆”，两年后免费对外开放。1994年扩建新翼，与冯平山博物馆合并，展览面积增加，自此改名“香港大学美术博物馆”。
博物馆原是港大中文图书馆大楼，由商人冯平山捐款12万元兴建，1932年落成，供师生和公众使用。它位处般含道香港大学正门之旁，每日经过的人川流不息，但走进博物馆的参观者却寥寥可数。大概城市人都十分繁忙，难以停下脚步，抛开俗务，怀着闲逸之心欣赏艺术藏品。