Esterházy Ferenc 1743-ban monumentális rezidenciát terveztetett Franz Anton Pilgrammal a védelmi funkcióját elveszítő pápai vár helyére. A vizesárokkal körbevett épület látványtervét őrzi a kastély Nádor-termének falát díszítő falkép. Ez az elképzelés végül nem valósult meg teljes egészében, ugyanis a birtokot megöröklő Eszterházy Károly figyelmét inkább egyházi építkezései kötötték le. A barokk kastély építése csak 1784-ben fejeződött be, a kivitelezési munkálatokat a kor jeles mesterei – Grossmann József, Fellner Jakab – vezették.

Az egyemeletes barokk kastély a versailles-i kastélytípusba tartozik. Az épület parkra néző főszárnya íves oromzattal záruló középrizalittal és sarokrizalittal tagolt, az oromzaton látható az Esterházy-címer. Az épületegyüttes középső szárnyában lettek kialakítva a reprezentációs helyiségek, míg az oldalszárnyakban lévő vendéglakosztályok mellett a nyugati szárnyban volt a tulajdonos magánlakosztálya. A keleti szárnyban kapott helyet az 1750-es években kialakított kastélykápolna, melynek falait Joseph Ignaz Mildorfer freskói díszítik. A lapos kupolát tartó boltívek ívháromszögében angyalfigurák tartják Jézus szenvedésének relikviáit: a töviskoszorút, a kalapácsot a szegekkel, a lándzsát és a kelyhet. A párkány fölött emelkedik föl a feltámadt Jézus angyalseregtől körülvéve a Szentháromság másik két személyéhez. A kápolna az elmúlt évtizedekben a Jókai Mór Városi Könyvtár olvasóterme volt, 1990-ben a város a színvonalas helyreállításért Europa Nostra díjat kapott. 2015-től ismételten az építtető és mélyen hívő Esterházy család szándékai szerinti megszentelt hely, ahol miséket, esküvőket és keresztelőket lehet tartani.

A kastély külső formájában építése óta jelentős változás nem következett be. A belső tereket az 1860-as években Esterházy Pál újíttatta fel, ekkor épült az Ősök csarnoka és a Nádor-terem, a díszterem. Itt látható ma az a festmény, amely Pápát az 1700-as évek közepén ábrázolja. A Nádor-terem jellegzetes barokk berendezésével, intarziás parkettájával, barokk kályhájával érzékelteti, milyen lehetett a kastély korábbi állapotában. 2013 óta itt található a főúri enteriőrt bemutató kiállítás, ahol a látogatók bepillantást nyerhetnek a barokk főúri élet hétköznapjaiba.

A kastélyt 1945-től 1959-ig a szovjet hadsereg használta, ebben az időszakban nemcsak az épületben keletkeztek jelentős károk, de megsemmisült, illetve eltűnt szinte a teljes belső berendezés is. Ezt követően a kastély a városi könyvtárnak, a zeneiskolának, a művelődési háznak és a helytörténeti múzeumnak adott otthont. Egy 1996-ban elvégzett vizsgálat megállapította, hogy a belső terek életveszélyt jelentenek a látogatókra. A főépület felújítására több ütemben, 1988 és 2015 között került sor.

Az előcsarnokba belépve a barokk pompájú, kőkorláttal és stukkós mennyezettel pompázó lépcsőházba jutunk, amelyet gyakran hasonlítanak a pozsonyi Nyáry-palota híres lépcsőházához. Az Ősök Csarnoka története a 17. századba nyúlik vissza, a legrégebbi festmény 1650 körül készült. A kollekció az évszázadok alatt folyamatosan bővült, a II. világháború előtt az ekkor már 44 darabból álló ősgaléria a kastély három emeleti folyosóját foglalta magában. A háború után a festményeket államosították, azonban a gyűjtemény egy része visszakerült eredeti helyére: 2014. óta a kastély középső szárnyának Nádor terem előtti folyosószakasza 26 festményt foglal magában, emellett az az enteriőrökben további 5 festményt helyeztek el.

Az 1860-as években történt átépítés során állították fel a Párizsból hozatott kastélykaput. A díszudvaron állnak az 1790-es évekből származó kapuőrző, címertartó oroszlánszobrok. A kerítés megsemmisült, a kapunak is nyoma veszett 1945-ben. Az eredeti mintájára újjáépített kaput, illetve a kerítést 2019. szeptemberében avatták fel.

Az Esterházy-kastély a 2001. évi LXIV. Kulturális Örökségről szóló törvény alapján a Forster Központ közhiteles örökségvédelmi nyilvántartásában is szereplő műemlék. Megújulva kiemelt idegenforgalmi vonzerőt ad a városnak és a megyének is, hiszen Veszprém megyében az egyetlen Esterházy családhoz köthető kastély.