该馆前身是冯玉祥于1927年倡导筹建的河南博物馆,馆址在开封市。1928年5月,改名民族博物院,当年10月10日,展出各族人物模型100多具。后陆续接收安阳、开封等处历史文物,其中有很多甲骨、青铜器等稀世珍宝。1930年12月,恢复河南博物馆的名称。当时该馆陈列内容有自然、历史两部分,是一座综合性博物馆。1935年曾选送藏品参加“中国艺术国际展览会”到英国伦敦展出。
1937年抗日战争爆发,将珍贵文物5200多件,分装68箱运往武汉,后转重庆。1938年开封沦陷,日本侵略军以“献铜”、“献铁”名义掠取铜炮、铁钟等文物168件。中华人民共和国建立后定名为河南省博物馆,其任务以辅助学校教学为主。1953年确定为地志性博物馆。1961年,该馆从开封迁到郑州,新馆建筑面积 2.1万平方米,其中大小陈列厅20个,面积约 1万平方米,库房3862平方米。1976年改为历史性博物馆。现在的新馆是1998年刚刚建造的。
1948年该馆在开封时,接收文物标本共11910件。原在重庆保管的文物,国民党政府选38箱运往台湾。另外30箱中的51件,拨交故宫博物院,其余的308件运回该馆。1986年,该馆有藏品11.6万余件,一级品259件。大部分藏品是在该省发掘出土的文物,具有鲜明的地方特色和较高的价值,如新郑裴李岗出土的椭圆形四足石磨盘和圆柱状石磨棒,是距今约8000年前的谷物加工工具,为裴李岗文化的典型器物;郑州商代遗址出土的兽面乳钉纹铜方鼎,通高1米,是商代前期大型礼器;新郑县出土的春秋时代莲鹤方壶,通高1.26米;淅川县出土的“王子午”铜鼎有铭文84字,是研究楚文化的标准器物。重要藏品还有战国时代的龙凤纹铜鉴,坐人漆绘灯,汉代的画像石、画像砖、陶建筑明器,北朝的刘根造像碑,隋代的白瓷围棋盘,唐代的三彩马、三彩俑,宋金时代的钧瓷器和乐舞砖俑等。
河南古代文化之光是这座博物馆最大,内容最充实的展览。展览文物有1000多件,均属馆藏文物精品。在这里,有着两三千年历史的文物随处可见。沿着几个展厅一路走下来,你会发现河南是中华民族在黄河流域兴起和发展整个过程的一个缩影。史前文明的遗物,商周时代的青铜器,汉代精巧的墓葬品,唐朝的唐三彩,宋朝的瓷器,在陈列品中都有精美的代表作。
此外,它还有《河南古代玉器》、《河南古代建筑》、《楚国青铜器》、《明清工艺珍品》《天地经纬》(古代天文学发展)几个主题展。
博物馆的造型简洁有力,充满想象。它的外型酷似金字塔,但它其实来源于元朝建在河南登封市的古观星台。进入内部,会看到它的吊顶绘有完整的星空图,天气好的时候,阳光透过屋顶,人如同站立在星空之下,充满了神秘的气息。