Hardstenen gevel en toren
Omstreeks 1505 vergrootte De Huyter de bestaande bebouwing aan de zuid- en achterzijde en voorzag het nieuwe huis van de opmerkelijke hardstenen gevel en een toren. De stenen voor de gevel kwamen uit Belgisch Brabant, en zijn het werk van steenhouwer Le Prince die op diverse stenen zijn merkteken heeft achtergelaten.
Ook voor de monumentale gevel hier verrees, stond op deze plek al een voornaam woonhuis. Opgravingen bij de verbouwingen in 1988 hebben zelfs de fundamenten blootgelegd van een middeleeuwse woontoren van 7 bij 7 meter met muren van een meter dikte, een bouwwerk van kasteelachtige allure uit de tijd dat Delft net haar stadsrechten had gekregen (1246). Ook aan de voorzijde van het gebouw waren bij een eerdere verbouwing in 1933 al zeer oude gemetselde funderingsresten aangetroffen, die dateren uit de tijd van de eerste stenen huizen.

Het laatgotisch huis
Het laatgotische Huyterhuis bestaat uit drie samengestelde bouwdelen. Het middelste deel is daarvan het oudst. Tussen de twee middelste vensters zit achter het wapen van Holland een nis. Oorspronkelijk stond daarin een Mariabeeld, dat waarschijnlijk de Beeldenstorm niet heeft overleefd. Ook de hoekpilaartjes op de trapgevel, de ‘pinakels’, zijn minder hoog dan ze vroeger blijkens oude afbeeldingen zijn geweest.
Achter het middengedeelte van de voorgevel zat vroeger de ‘voorzaal’, de rechtervleugel achter de ingang, diende alleen als imponerende entree, al zat achter in de hoek achter de muur nog een wenteltrap naar boven verborgen. Achter de linkervleugel van de gevel zat oorspronkelijk, naast nog een portaal met trappartijen, de bottelarij en de keuken. De deftige woonvertrekken of ‘salets’ lagen achter aan de tuinzijde. Tussen de voorzaal en de achtervertrekken lag het ‘comptoir’ en de ‘griffie’.

Ooievaar
Bij de grote stadsbrand van 1536 liep ook dit huis schade op, maar de hardstenen gevel doorstond de brand. Volgens de overlevering zou tijdens de brand een ooievaar een nest hebben gehad op het dak van het huis en met haar vleugels haar jongen hebben proberen te beschermen tegen de vlammen en dit met haar dood hebben moeten bekopen. Het verhaal is door Cornelis Musius, de prior van het St. Agatha-klooster, in dichtvorm vastgelegd.
Toen keizer Karel V kort na de grote brand in 1541 Delft bezocht, heeft hij in dit huis bij Jan de Huyter gelogeerd. Volgens een ander sterk verhaal zou hij De Huyter toen hebben gevraagd waarom dit fraaie huis niet door de brand getroffen was. De Huyter zou hem toen gevat hebben geantwoord: “Dit huis niet, maar dat wat er stond wel, majesteit.”
Na de Geuzenrevolutie van 1572 werd het huis van De Huyters geconfisceerd, omdat de toenmalige eigenaar, Jan de Huyter, de kleinzoon van de bouwer, als Spaansgezinde regent de stad was ontvlucht en actief collaboreerde met de Spanjaarden. Hoewel de familie nog lang tegen de onteigening heeft geprocedeerd, hebben ze het huis nooit teruggekregen en zijn ze ook nooit meer in Delft teruggekeerd.

’s Heeren Herberghe
Na de Opstand bood het huis korte tijd onderdak aan het Hof van Holland. Daarna deed het dienst als ’s Heeren Herberghe, een logement voor voorname gasten van de stad en de Staten van Holland. ’s Heeren Herberghe was de oude benaming voor een tijdelijk logeeradres van de landsheer. Uiteindelijk heeft één van de gasten van dit verblijf, legeraanvoerder Graaf van Hohenlohe, het gekocht. De graaf was een ijzervreter met een nogal ruwe reputatie. Hij bracht het tot opperbevelhebber van het Staatse leger, en trouwde met Maria van Buren, de oudste dochter van Willem van Oranje.
Zijn nazaten zouden het in 1645 na de nodige strubbelingen uiteindelijk verkopen aan het Hoogheemraadschap Delfland. Dat verbouwde het inmiddels aardig verwaarloosde pand voor destijds aanzienlijke bedragen tot het Gemeenlandshuis van het waterschap. Dankzij vele verbouwingen en uitbreidingen met omliggende panden en kantoren is het dat tot op de dag van vandaag gebleven.

Omstreden figuur
De bouwer van het Huyterhuis was geen bescheiden man. Zo heeft hij in zijn rijkversierde gevel onder meer ordetekenen laten opnemen van het Gulden Vlies, een illuster gezelschap, waarvan hij zelf, voor zover bekend, nooit deel uitmaakte. In de gevel zijn ook een H en een P aangebracht. Dat zou kunnen duiden op zijn eigen naam en de voornaam van zijn vrouw Petronella van Diepenhorst.
De carrière van De Huyter als dijkgraaf en schout was geplaveid met affaires. Zo kreeg hij in 1510 conflicten omdat hij binnen Delfland de functies van Hoogheemraad en Dijkgraaf wilde combineren. De regels stonden dat niet toe, en in 1518 bevestigde Karel V dat nog eens. Om zijn critici tenslotte de wind uit de zeilen te nemen, besloot hij het dijkgraafschap te verpachten.

‘Spel ende quaat’
Ook met de stadsbestuurders raakte hij in een machtsstrijd verwikkeld over bevoegdheden van het baljuwschap en de benoeming van de zogenaamde ambachtsbewaarders op het platteland. Die strijd zou meer dan een halve eeuw voortslepen en uiteindelijk ten gunste van de stad beslecht worden. In de machinaties rond de benoeming van een nieuwe dijkgraaf werd De Huyter in 1522 door zijn tegenstanders aangeduid als: “de meester van alle spel ende quaat…”, waartegen hij fel van leer trok.
De stadsbestuurders hadden meer met hem te stellen, omdat hij als schout, benoemd door Karel V als vertegenwoordiger van het landsbestuur, een stevige voet tussen de deur had in het bestuur. De kwesties liepen hier zo hoog op dat burgemeesters en schepenen een officiële klacht tegen hem indienden bij de keizer en hem een boete trachtten op te leggen van 10.000 gulden.
Volgens de burgemeesters was De Huyter “ri(j)ck en van groote vrinden” en had hij “lange tijt genouxh zijn spel gespeelt”. De Huyter verweet hen de stad als dekmantel te gebruiken voor wat zij niet recht in zijn gezicht durfden te zeggen. Deze affaires sleepten zich eindeloos voort. Een echte beslissing werd nooit genomen. Daarvoor was De Huyter een te belangrijke pion, ook voor Karel V. De Huyter bleef schout tot zijn dood in 1541.

Kleinzoon
De omstreden De Huyter overleefde zijn zoon Jan. Daarom vererfde zijn huis uiteindelijk aan zijn oudste kleinzoon, die eveneens Jan de Huyter heette. Na de Opstand in 1572 vluchtte deze kleinzoon naar Utrecht, waar hij zich liet strikken voor een regentenfunctie in het Spaanse bestuur en de Spaanse veldheer Valdez met raad en daad ter zijde stond bij diens beleg van Leiden. Daarmee was zijn toekomst in het nieuwe Delft van de Oranjes verkeken.

In de verkoop
In 1575 besloten de Staten van Holland het in beslag genomen huis te verkopen om met de opbrengst de garnizoenen te betalen. Voor het koopje van 2500 gulden ging het huis naar een driemanschap van prinsgezinde magistraten: de raadspensionaris mr. Paulus Buijs, de Delftse burgemeester mr. Cornelis de Conink, en de Dordtse regent mr. Jacob Muijs. Het bleken stromannen, want twee jaar later werd het huis voor hetzelfde bedrag doorverkocht aan de stad Delft. Oogmerk van de transacties zal vermoedelijk zijn geweest om het huis uit handen te houden van de familie De Huyter. Het huis werd toen, zoals gezegd, gastenverblijf ten behoeve van het stadsbestuur en de Staten van Holland.

Drankzuchtige legeraanvoerder
Als gastvrouw in ‘s Heeren Herberg werd Jannetje Jansdochter aangesteld. Zij was de weduwe van Mr. Hendrik Junius, de rector van de Latijnse School. Ze mocht in het pand commensalen houden en wijn tappen, mits de heren studenten maar op tijd plaats zouden maken als er hoge gasten kwamen.
Dat probleem deed zich voor toen zij opdracht kreeg generaal Philips Graaf von Hohenlohe te ontvangen. De man was berucht om zijn drankzucht, rokkenjagerij en lomp gedrag. De weduwe ging uiteindelijk schoorvoetend akkoord, na financieel te zijn gepaaid.
Het verblijf beviel de graaf kennelijk goed, want hij besloot het huis in 1583 te kopen voor 5500 gulden. Daarmee maakte de stad dus een aardige winst.

Twee dochters van Willem van Oranje
In 1595 trouwde graaf Van Hohenlohe met Maria (Maaike)van Buren, dochter van Willem van Oranje uit diens huwelijk met Anna van Buren. Maria ontmoet Philips als zij elf is, wil volgens de verhalen alleen hem als echtgenoot, maar krijgt hem pas als ze 39 is. Het echtpaar had in het huis 26 bedienden, maar hield Delft al een jaar na hun huwelijk voor gezien. Maria woonde liever op het familiekasteel in Buren. Aan de oude Delft werd een conciërge aangesteld.
Kort daarop werd het huis enige tijd verhuurd aan Emilia van Nassau, ook een dochter van Willem van Oranje, uit diens huwelijks met Anna van Saksen. Emilia trad op als gastvrouw aan het hof van haar broer Maurits. Daar ontmoette zij de Portugese troonpretendent Emanuel met wie zij in 1598, zeer tegen de zin van Maurits, in het geheim trouwde. Het jonge paar nam zijn intrek in het Huyterhuis, maar werd uiteindelijk verbannen en mocht zich niet meer aan het hof vertonen.

Graaf Philips van Hohenlohe, atelier Jan Anthonisz. van Ravestein (coll. Rijksmuseum).	Maria ook wel Maaike van Buuren huwde na jaren wachten Van Hohenlohe.	Emanuel van Portugal, korte tijd huurder.	Emilia van Nassau kreeg samen met Emanual tien kinderen.

Huyterfamilie claimt het
Na de dood van Philips van Hohenlohe bleef het huis in deze grafelijke familie. Het werd onder anderen bewoond door Steelant, de drossaard van Buren.
In 1625 deed Emilia van Nassau een poging om het huis te kopen. Zij had inmiddels samen met Emanuel tien kinderen gekregen, maar haar relatie met haar Portugese prins was de facto op een scheiding uitgelopen. Emanuel was om financiële redenen naar het Hof in Brussel vertrokken. De koop ging niet door omdat de familie De Huyter opnieuw juridische procedures begon om het huis terug te krijgen.
Toen de claim van de De Huyters na jaren procederen werd afgewezen, rees er in 1639 binnen de familie Van Hohenlohe onenigheid over de verkoop. Kandidaat was ene Jean Sallengre, die 24.000 gulden voor het huis had geboden. Na vijf jaar geharrewar werd die koop toch gesloten.

Dure aanwinst voor Delfland
Sallengre deed goede zaken. Hij kon het huis binnen een jaar, in 1645, voor 30.000 gulden en 150 gulden speldengeld voor zijn vrouw, verkopen aan het Hoogheemraadschap van Delfland. Ook die koop verliep niet zonder problemen, want de Hoogheemraden van Delfland hadden de koop gesloten, zonder de Hoofdingelanden daarin te betrekken. Tot dan toe stond het Gemeenlandshuis van Delfland in Maassluis.
De ingelanden waren niet blij met de kostbare aanwinst in Delft, te meer niet toen bleek dat de Hoogheemraden ook al direct 8700 gulden aan ingrijpend herstel hadden besteed. Uiteindelijk liep dit conflict met een sisser af en werd er nog eens voor het destijds niet geringe bedrag van 25.000 gulden aan het nieuwe onderkomen voor het waterschap vertimmerd.

Leonard Bramer
Aan de voorgevel werden in hardsteen de wapens van Delfland en de Hoogheemraden aangebracht. Ook het wapen van Holland, dat vermoedelijk al sinds 1572 het Mariabeeld verving, werd nu in steen uitgehakt. Bovendien werd de gevel geschilderd. Binnen werd aan de linkerzijde een nieuw voorsalet gemaakt met een duur goudleren behang (kosten 1190 gulden). In de vergaderzaal kwamen gobelins van 3796 gulden. En de Italiaans geschoolde Delftse schilder Leonard Bramer kreeg opdracht om een fresco en een schoorsteenstuk met een waterval te maken. Het goudlederen behangsel is in 1810 vervangen door een papieren behangetje van 90 gulden, zo blijkt uit de archieven van het huis.

Naar Den Haag?
Het is merkwaardig dat de Hoogheemraden na de uitvoerige en kostbare verbouwing reeds in 1670 het besluit namen om naar Den Haag te verhuizen en het Gemeenlandshuis te Delft te koop aan te bieden. De Hoogheemraden vergaderden liever in het chique Den Haag, inmiddels het centrum van de macht.
De stad Delft kwam echter direct in het geweer en beriep zich bij het Hof van Holland op besluiten van Karel V, waarin werd bepaald dat het Hoogheemraadschap zijn rechtdagen binnen Delft moest houden. Ook de hoofdingelanden gingen zich met de zaak bemoeien, waardoor het hele verhuisplan uiteindelijk niet doorging.

Vanaf 1693 diende het huis evenwel niet langer als woning voor de secretaris van Delfland. Als beheerder werd toen een “kastelein” aangesteld. In 1697 kreeg het Hoogheemraadschap het verzoek van de Staten van Holland om het huis te verhuren aan een Franse gedelegeerde bij de vredesonderhandelingen te Rijswijk. Ondanks grote bezwaren is het Hoogheemraadschap op dat verzoek ingegaan. Het ving er 4000 pond voor, plus 133 pond vergoeding voor gebroken glazen. Zelf huurde het in de tussentijd voor 1400 pond elders op de Oude Delft een huis.

Sepiatekening van het gebouw door A.Oltmans in 1835.	Foto van de situatie in 1870.	Mooi beeld van een rustige Oude Delft met een paar nieuwsgierige toeschouwers.

Wapens weggehakt
In 1765 werd het gebouw rechts achter de poort gesloopt en vervangen door een tuinkamer. In dit jaar nam de secretaris ook weer zijn intrek in het huis. In 1782 kwam er een discussie of het torentje niet moest worden afgebroken omdat het in zo’n slechte staat verkeerde. Het geringe prijsverschil van slechts 120 gulden tussen afbreken of herstellen redde de toren.
Met de Bataafse revolutie van 1795 werd geordonneerd “dat alle waepens en teekenen van Heraldie binnen een korte tijd zoo van voor de gebouwen, als uijt kerken en andere publicque plaatsen moesten worden geamoveerd”. Er is toen ijverig gehakt. Op schilden boven de voordeur zijn later opnieuw de familiewapens aangebracht, nu niet meer gebeeldhouwd maar geschilderd. Toen Napoleon in 1811 Delft bezocht, werden voor de zekerheid ook de wapens van Holland en Delfland aan de voorgevel met grote blikken schilden aan het zicht onttrokken.

Buurhuizen ingelijfd
In de jaren 1888-1891 vonden belangrijke interne verbouwingen plaats. Onder meer werd toen een brandvrij archief ingericht. Er kwam meer kantoorruimte, de Dijkgraaf kreeg een eigen kamer en er kwam een technische dienst onder leiding van een Ingenieur. Ook de secretaris-rentmeester kreeg een ruimere ambtswoning. En de gevel werd van haar 17e-eeuwse gele verflaag ontdaan. In 1931-1933 vond opnieuw een flinke aanpassing en uitbreiding van het gebouw plaats. In de jaren 1972-1975 werd een nieuwe kantoorvleugel aan de Phoenixstraat gebouwd en in 1988 werden de naastgelegen panden Oude Delft 165, 163 en 161 bij het complex ingelijfd.