我国的人民代表大会制度同任何别的政治制度一样，不是凭空产生的。在近代历史上，各个阶级、各种社会势力围绕中国建立什么样的政治制度，进行过探索和激烈的斗争，但都失败了。中国共产党领导全国各族人民，在第一次国内革命战争时期建立了罢工工人代表大会、农民协会，在第二次国内革命战争时期建立了工农兵苏维埃，在抗日战争时期建立了参议会，在解放战争时期建立了人民代表会议。这些成功实践，为建国后实行人民代表大会制度积累了经验、奠定了基础。毛泽东同志等老一辈革命家总结这些经验，在《新民主主义论》中指出：民主革命胜利后，中国可以实行人民代表大会制度，按照民主集中制的原则建立从全国到省、县、区、乡的人民代表大会系统，并由各级人民代表大会决定大政方针，选举政府。

1949年9月中国人民政治协商会议举行第一届全体会议，这次会议通过的《中国人民政治协商会议共同纲领》，确定中华人民共和国的政治制度是民主集中制的人民代表大会制度。但当时在全国普选的条件还不成熟，自上而下地建立各级人民代表大会也难以进行。所以在建国初期，确定由中国人民政治协商会议第一届全体会议代行全国人民代表大会的职权。经过几年的过渡和积累，在1953年我国进行了第一次大规模的普选，自下而上逐级召开了人民代表大会。1954年9月，第一届全国人民代表大会第一次会议胜利召开，制定了新中国第一部宪法。这部宪法明确规定：中华人民共和国的一切权力属于人民；人民行使国家权力的机关是全国人民代表大会和地方各级人民代表大会。至此，我国人民代表大会制度以根本法的形式正式确立。