5. Zu beantworten bleibt die Frage, in welchem zeitlichen Rahmen der Beschwerdeführer ersatzpflichtig ist. Das kantonale Gericht hat für das Bundesgericht verbindlich (Art. 105 Abs. 1 BGG) festgestellt, dass der Beschwerdeführer am 1. November 2002 aus der Gesellschaft ausgeschieden ist. Ab diesem Zeitpunkt hat es ihn - anders als noch die Verwaltung - von der Ersatzpflicht ausgenommen und die Forderung soweit korrigiert.

5.1 Diese Anpassung ist grundsätzlich richtig, denn nach der Rechtsprechung ist für das Ende der Organstellung auf das Datum des tatsächlichen Ausscheidens abzustellen (anstelle vieler vgl. BGE 126 V 61 E. 4a sowie MARCO REICHMUTH, Die Haftung des Arbeitgebers und seiner Organe nach Art. 52 AHVG, Diss. Freiburg 2008, Rz. 244 f. mit Hinweisen) und haftet eine Person grundsätzlich nur für jenen Schaden, der durch die Nichtbezahlung von Beiträgen verursacht ist, die zu einem Zeitpunkt zur Zahlung anstanden, als sie eine formelle, materielle oder faktische Organstellung innehatte und somit disponieren sowie Zahlungen an die Ausgleichskasse veranlassen konnte (vgl. BGE 103 V 120 E. 5 S. 123 sowie REICHMUTH, a.a.O., Rz. 256 f. mit Hinweisen).

5.2 Der Beschwerdeführer bringt vor, die Gesellschaft habe in der fraglichen Zeit keine AHV-beitragspflichtigen Löhne bezahlt. Die Vorinstanz hat in diesem Zusammenhang auf die bundesgerichtliche Rechtsprechung verwiesen, wonach die rechtskräftigen Beitragsverfügungen im Schadenersatzverfahren nicht mehr anfechtbar sind, ausser wenn sie zweifellos unrichtig sind oder ein Revisionsgrund vorliegt (AHI 1993 S. 172, E. 3a, H 155/91; ZAK 1991 S. 125, E. II/1b, H 116/85). Diese Rechtsprechung findet auch auf Personen Anwendung, denen im Zeitpunkt des Verfügungserlasses keine Organstellung mehr zukommt. Dies ist damit begründet worden, dass für das Unternehmen ungeachtet der personellen Zusammensetzung der Organe stets dasselbe Interesse bestehe, die Frage des Beitragsstatus korrekt beantwortet zu haben, weil es als Arbeitgeber von Gesetzes wegen der Schuldner der Beiträge und somit die Gefahr sehr gering sei, dass ein Verzicht der Firma, von der Anfechtungsbefugnis Gebrauch zu machen, auf sachfremden Motiven beruhe (SVR 2001 AHV Nr. 15 S. 51, E. 3b, H 136/00). Es sei in diesem Zusammenhang zu berücksichtigen, dass jede juristische Person an der Abwehr ungerechtfertigter Nachzahlungsforderungen interessiert ist, einerseits weil sie keine Nichtschulden bezahlen wolle, andererseits weil die für die juristische Person handelnden Organe wegen der allfälligen persönlichen Haftung auch ein ganz besonderes Interesse daran hätten, ungerechtfertigte Zahlungen abzuwehren (Urteil des Eidg. Versicherungsgerichts H 14/00 vom 30. Juli 2001, E. 3d).

5.3 Gemäss Art. 6 Ziff. 1 EMRK (SR 0.101) hat jedermann ein Recht darauf, dass über Streitigkeiten in Bezug auf seine zivilrechtlichen Ansprüche und Verpflichtungen von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht entschieden wird. Entsprechend dem vom Europäischen Gerichtshof für Menschenrechte (EGMR) weit gefassten Begriff der "zivilrechtlichen" Ansprüche und Verpflichtungen hat das Eidg. Versicherungsgericht die prinzipielle Anwendbarkeit des Art. 6 Ziff. 1 EMRK für sämtliche Bereiche des Bundessozialversicherungsrechts - für Leistungs- ebenso wie für Beitragsstreitigkeiten - bejaht (vgl. BGE 131 V 66 E. 3.3 S. 70 mit Hinweisen). Am 1. Januar 2007 trat in Ergänzung zu Art. 6 Ziff. 1 EMRK die Rechtsweggarantie von Art. 29a BV in Kraft. Danach hat jede Person bei Rechtsstreitigkeiten Anspruch auf Beurteilung durch eine richterliche Behörde. Bund und Kantone können durch Gesetz die richterliche Beurteilung in Ausnahmefällen ausschliessen. Es wird damit garantiert, dass eine betroffene Person ein Gericht mit freier Rechts- und Sachverhaltsprüfung anrufen kann (KÄLIN/KIENER, Grundrechte, Bern 2007, S. 434; ANDREAS KLEY, in: Bernhard Ehrenzeller/Philippe Mastronardi/Rainer J. Schweizer/Klaus A. Vallender [Hrsg.], Die Schweizerische Bundesverfassung, St. Galler Kommentar, 2. Aufl. 2008, N. 15 zu Art. 29a BV mit Hinweisen).

5.4 Die von einer Schadenersatzforderung betroffene Person muss auf Grund der Rechtsweggarantie die Möglichkeit haben, das Massliche der Beitragsforderungen, für die sie haftbar gemacht wird, zumindest einmal bei einer Gerichtsinstanz bestreiten zu können, die den Sachverhalt frei prüft. Solange sie noch Organ der Gesellschaft ist, hat sie die Möglichkeit, eine solche Beitragsverfügung anzufechten, sei es direkt für die Gesellschaft oder indirekt, indem sie innerhalb der Unternehmung darauf hinwirkt, dass die Verfügung angefochten und die Rechtslage geklärt wird. Anders verhält es sich, wenn die ins Recht gefasste Person im Zeitpunkt der betreffenden Beitragsverfügung nicht mehr Organ der Gesellschaft ist: Aus der Unternehmung ausgeschiedene frühere Organe haben bei späterer Zustellung der Beitragsverfügung in der Regel keine Möglichkeit, Einfluss darauf zu nehmen, dass die Gesellschaft die Verfügung anficht. Beitragsschuldnerin und damit Verfügungsadressatin ist die Gesellschaft. Ein ehemaliges Gesellschaftsorgan ist nicht legitimiert, die Beitragsforderung vor Gericht zu ziehen. Es ist auch nicht immer so, dass die noch vorhandenen Organe zum Beispiel einer Unternehmung, deren Firmentätigkeit eingeschlafen ist, sich noch ausreichend um die Verwaltung kümmern; darum wird etwa eine Beitragsverfügung nicht mehr angefochten, auch wenn dazu aller Grund bestehen würde, weil in der entsprechenden Periode tiefere als die veranlagten oder gar keine beitragspflichtigen Lohnzahlungen erfolgten. Die bisherige Rechtsprechung (oben E. 5.2) wonach rechtskräftige Beitragsverfügungen im Schadenersatzprozess masslich nur eingeschränkt überprüfbar sind, ist darum zu differenzieren:

5.5 Diese Rechtsprechung gilt weiterhin, soweit die Beitragsverfügungen zu einem Zeitpunkt ergangen sind, als die ins Recht gefasste Person noch eine formelle, materielle oder faktische Organstellung hatte und entsprechend auch eine Einwirkungsmöglichkeit in der beitragspflichtigen Gesellschaft bestand. War hingegen die ins Recht gefasste Person in diesem Zeitpunkt als Organ ausgeschieden und hatte sie demzufolge keine Möglichkeit mehr, in ihrer Organeigenschaft die Beitragsverfügung anzufechten oder anfechten zu lassen, muss die Beitragsverfügung im Rahmen des Schadenersatzverfahrens frei überprüfbar sein.