1905年11月日本政府接受清政府的要求，禁止中国留学在日本进行反清活动，并由文部省颁行了《取缔清国留日学生规则》。对于这个侮辱性的规定，8000多留日学生愤而抗议，3000多名留学生义无反顾地选择了回国。为了普及新式教育，王敬芳、姚宏业等回国的留日学生于1906年初在上海自办一所学校，并将学校定名为中国公学，取意为：中国人公有之学校。目标是成为“中国第一等学堂，世界第一等学堂”。
1911年，中国公学负责人王敬芳到南洋筹措学校的发展经费，并在华侨中募得捐款170万元。当其听说孙中山恰巧也在南洋为革命搞募捐后，王敬芳慷慨地把这笔钱交到了孙中山手里为其提供革命之用。孙中山拿到这笔款子后，曾亲口许诺等革命成功后将加倍奉还。只可惜后来，袁世凯上台，孙中山发动二次革命失败流亡日本，中国公学非但一分钱都没有拿到，反而因是与革命党人有密切关系的学校被政府下令停办。袁死后，中国公学才复办。
中国公学真正进入发展期是在1928年胡适正式就任中国公学校长后，尽管胡适担任校长仅有短短的两年，但其把学术自由民主的风气引进了校园，中国公学进入了“黄金时代”。在胡适执掌中国公学期间，他坚决抵制国民党的党化教育，那时的中国公学不挂国民党旗，星期四不做国民党纪念周。“学校广场走道旁，树有许多木牌，给学生贴壁报用。那些壁报，有无党无派的，有国民党员的，有左派的，有国家主义的。”
后来由于胡适在报纸上对蒋介石拘禁安徽大学校长刘文典提出了尖锐地抨击，惹得蒋介石十分不满，给中国公学施以压力，迫使胡适辞去了校长职位，另派国民党人充任校长一职。1932年一二八淞沪抗战爆发，日本轰炸上海，中国公学在战火中被毁。
上海的中国公学作为一所私立大学仅仅存在了26年，留下了一段中国近代高等教育史上的悲歌。
