Školství v Rudolfově má poměrně dlouhou tradici. První školu založenou v hornickém městě na přelomu 16. a 17. století finančně podporovali i mecenáši a těžaři na stříbrných dolech Vilém a Petr Vok z Rožmberka. Přesnější zprávy o poloze školy či charakteru samotné budovy však nemáme. Po zkáze Rudolfova v roce 1619, jejíž obětí se vedle celé řady veřejných budov stala i škola, se město zcela vylidnilo. Již roku 1630 bylo však nařízeno královským dekretem císaře Ferdinanda II., aby Rudolfovští mimo jiné zřídili na vlastní náklady katolickou faru a při ní školu. Pravým důvodem tu byla nepochybně sílící rekatolizace. Císařský příkaz byl realizován o deset let později. Podle všeho byl již tehdy za školní budovu vybrán dům na severní straně kostela dnešní čp. 129 v těsném sousedství s nově zřízenou katolickou farou.
Tato situace zůstávala nezměněna až do 2. poloviny 19. století, kdy se rudolfovská škola stala předmětem vášnivých národnostních sporů mezi místními Němci a Čechy. Do roku 1871 fungovala v Rudolfově čtyřtřídní dvojjazyčná škola s jednou třídou pro české děti. Situace se však změnila po odškolení českého Jivna, což posloužilo místní německé správě k prohlášení, že v rudolfovské školní obci již žádné české děti nejsou. V roce 1882 se místním Čechům podařilo po urgencích a zdlouhavém jednání zahájit vyučování v české soukromé matiční škole v domě kupce Bohuslava Kůrky naproti současné radnici. Pro obrovský zájem rodičů však muselo být brzy vyučování rozšířeno do nájemních prostor v dalších soukromých objektech, např. čp. 7 Rudolfa Tomáška. Roku 1890 se konečně i česká škola v Rudolfově dočkala zveřejnění postátnění. O to palčivěji začala být vnímána otázka nevyhovujících školních budov, které nestačily potřebám obou školních institucí v Rudolfově jak po stránce kapacitní tak hygienické. Již v roce 1890 nařizovalo tehdejší ministerstvo kultu a výchovy výstavbu nových školních budov. A skutečně v roce 1892 bylo při komisionálním řízení vybráno stavební místo č.p. 27 pro velkou budovu s oběma školami pod jednou střechou a vypracovány příslušné plány. Je proto nepochopitelným paradoxem, že německá správa obce dokázala vše zvrátit a ve snaze zabránit existenci české školy vzdorovat ve výstavbě nových budov pro českou i německou školu dalších dvacet let.
V roce 1907 se rudolfovským Němcům skutečně podařilo prosadit výstavbu pouze německé školní budovy dokončené o rok později. K výstavbě školní budovy české školy bylo přikročeno až v roce 1911 nařízením okresní školní rady z moci úřední na náklady rudolfovské školní obce bez jejího vědomí. Vyučování v nové pětitřídní české škole, postavené v těsné blízkosti školy německé na jižní straně kostela, bylo zahájeno vyučování ve školním roce 1912/1913 s 389 zapsanými žáky.
Vznikem Československé republiky po 1. světové válce došlo k radikálnímu úbytku žáků německé školy, což napomohlo zřízení české měšťanské školy v německé školní budově. Výuka ve třech ročnících měšťanské školy byla zahájena v roce 1927, o rok později přibyl i čtvrtý ročník tzv. učební kurz. Německá obecná škola již jen skomírala, když těsně před 2. světovou válkou měla jen dvě třídy. V Rudolfově tak existovaly vedle sebe tři školy, dvě české a jedna německá.
K další radikální změně došlo po druhé světové válce a odsunu německých obyvatel města. Obecná a měšťanská škola v Rudolfově byly sloučeny pod jednu správu. Tak byl položen základ k současnému stavu, kdy obě budovy slouží jedné základní škole.
Začátkem šedesátých let byla zahájena dlouhodobá rekonstrukce celého objektu školy, jejímž vyvrcholením měla být rozsáhlá přístavba pavilonu spojujícího obě budovy na konci osmdesátých let. Jako první byly nahrazeny historické fasády včetně oken necitlivými modernizujícími úpravami, které celkový ráz školy a tím i pomyslné centrum městečka znehodnotily. Rekonstrukce pokračovala v sedmdesátých letech výměnou lokálního vytápění kamny za ústřední topení, napojené v polovině devadesátých let na plyn. Z přístavby rozsáhlého spojovacího pavilonu bylo realizováno pouze torzo školní jídelny s patrovou nástavbou pro aulu a učebny. Na konci devadesátých let bylo rozestavěné torzo provizorně zakončeno spojovací chodbou obou budov. Tím prozatím stavební vývoj objektu rudolfovské školy skončil.