明治4年（1871）開成の前身である共立学校が佐野鼎とその同志によって創立。文久元年（1861）に遣欧使節に随行し、欧米諸国を歴訪した佐野鼎は近代化の為には教育が重要と考えて共立学校の創立に至る。

明治5年（1872）3月に建学の精神ともいえる「学範」が制定された。その中には文明開花の担い手と成りうる学問・人格ともに優れた人材を育成するという佐野の願いが記されている。佐野の主旨に賛同して学校設立に参加した人々は社中と呼ばれた。佐野が加賀藩出身であったためか、旧加賀藩主前田慶寧をはじめ、加賀藩ゆかりの人が多かった。

同年11月の生徒人数は109名、うち男子99名、女子10名であった。校舎はベランダをもった白壁造り。文明開花を象徴とする擬洋風雨建築となっていた。教育の内容として「共立学校規則」より学科は英学・漢学・筆学・算学の四科が設置され、英学は外国人教師が担当した。また、授業時間は6時間。授業は10の等級が設けられ各種の試験があったようだ。英学の特徴に正則英語（外国で通じる英語）の授業があった。当時の和訳を重視した変則英語に対して外国人に対して通用する発音・会話・作文など佐野の理念に沿った教育がされていた。

明治初期の東京は教育制度が整わないことより私立学校が乱立し、共立学校の生徒数は減少していた。また外国人教師を雇う教育スタイルもあり、学校の資金を削ることになり経営難になっていた。そんななか、明治10年（1877）、佐野は東京で流行したコレラにかかり急逝する。このことより共立学校は一時廃校同然となっていた。

この状況を打開したのが初代校長の高橋是清である。高橋が校長になったのは明治11年（1878）、25歳の時であった。高橋は佐野の掲げた正則英語の教授を設けるという目標に共感していた。高橋の教育方針は東京大学予備門への入学を目指す生徒に、東京予備門の教員を呼んで教授をしてもらうというものであった。そして明治13年1月に制定された「改正共立学校諸規則」には、「本校ハ専ら他日東京大学予備門二入ラント欲スル者ノ為メ二必要ナル学科ヲ教授スル所トス」と明記されていた。そして「学問の利益は社会の利益を興さんとす」というところであり、近代日本の発展に先駆的な役割を果たす人材を輩出した。

明治19年（1896）4月、最初の運動会が飛鳥山で開催された。この時、校旗の代用としてイギリスのリットン卿の格言「ペンは剣に優れり」を使用した。これが図案化され「ペンと剣」の校章が定められたのであった。

明治23年（1890）に政府より中学校令が改正された。各府県に中学校を設立し、地方における教育の振興を図ろうというものだった。これにより地方から上京する生徒が減り、学校経営はなおのこと厳しさを増していた。その影響を受けて明治28年（1895）1月、開成は東京府に対し、私立から府立に移管する願い出をした。それにあたって、「共立」学校では校名としてそぐなわないため、校名を変えることとなった。

新たな校名は「易経」繋辞伝野中の言葉「開物成務」という言葉に基づいて「開成」となった。「開物成務」とは人知を開発し事物を成し遂げるという意味であり、佐野の近代化の人材という理念に沿った言葉である。その「開成」の名をとって東京府開成尋常中学校と改称した。

東京府開成尋常中学校としては6年間しかなかったが、校史に残る重要な時期であった。明治28年4月には制服を定めた。そして5月には校旗を新たに制定した。11月には初めての一泊の修学旅行を鎌倉方面にて行った。まさしく開成の基礎となった時代だった。明治32年（1899）には中学校令により東京府開成中学校となった。

大正14年（1925）から各中学校に配属将校が派遣され、軍事教練が開始された。昭和12年（1937）には日中戦争が勃発し、その長期化は国民生活にも大きな影響を与えた。校庭での防空演習など、学校生活にも戦時色が次第に色濃くなっていった。

昭和20（1945）年8月、日本は終戦を迎え、9月から新学期が開始された。授業再開後、地方に疎開していた生徒、招集されていた教職員が、続々と学校に戻ってきた。占領軍の指示により、軍事教練はもとより柔道・剣道は禁止され、修身・日本歴史・地理の授業も停止された。軍国主義の雰囲気は一掃されていったが、食糧・物資の欠乏は著しかった。そんな中、昭和21年（1946）には運動会とボートレースが復活した。生活も学習環境も厳しかったが、戦争中に比べれば前途は明るかった。

同年、民主化政策の一環として学制改革が行われた。いわゆる6・3・3制を導入し3年制の新制中学校が生まれ、義務教育の一部となった。昭和26年（1951）、日本は講和条約を結び、国際社会への復帰を果たす。開成にとっても、創立80周年にあたるこの年は新たなる出発の年であった。3月、私立学校法の施行に伴い、財団法人開成学園から学校法人開成学園に改組した。開成は戦争を経て新たな未来へ向けて出発をしたのである。

昭和34年（1959）に中学校校舎が落成し、「カイセイ」の人文字を作った。そして、同年高校生徒会が誕生した。当時の生徒の間では、ボートレースや運動会の応援のあり方を考えるうえで、「質実剛健」と「自主尊重」という開成の二つの伝統を、どのように融和させるのかという問題意識が根底にあった。そして、直接的には運動会の棒倒しをどうするかを生徒自身で考えたいという願いが、生徒会誕生のきっかけになったと言われている。

昭和35年（1960）に初めてスキー学校を実施。昭和37年（1962）から水泳学校が開始され、この年に運動会が7組対抗制となった。そして昭和46年（1971）に創立100周年を迎えた。記念事業として大体育館を建設し、そこで100周年記念式典を挙行した。

1970年代、生徒の大学への進学状況は明治期の昔のように著しい進展があった。教員の熱意、生徒の努力、保護者・卒業生の後援などが渾然と一致して成果を上げたのである。

昭和61年（1986）、事務局、食堂、図書館などを含む高等学校本館が完成し、懸案だった新しい時代に向けての環境整備が一段落した。

1980年代には、生徒が主体となって運営する運動会が安全面や運営方法でさまざまな問題点を抱えていた。問題点を無くし、より良い運動会へとする為に、教員の粘り強い指導と生徒間の議論が絶えず繰り返された。

平成9年（1997）には老朽化などの問題があった中学校舎を新築した。平成12年（2000）より開成マラソンのコースが荒川河川敷に移された。その後、中学1年生が全員参加する水泳学校の復活や、ペン剣基金による研究助成制度が創設が行われ、英語学校が始められる。そして2021年、150周年記念事業により、新高校校舎が落成した。場所を変え、時代を変え、校舎を変えど、「開成」というものにこれからもずっと多くの人が夢を刻んでいくのだろう。