X., geb. 1929, dipl. Ingenieur, wohnhaft in Neapel, kam am 16. November 1982 wie schon in den beiden Vorjahren zu Professor Dr. med. Y., dem Direktor der medizinischen Klinik des Universitätsspitals Zürich, um sich untersuchen zu lassen. Professor Y. empfahl u.a. in der Sprechstunde eine endoskopische Untersuchung des oberen Verdauungstrakts, welche am 17. November von Dr. med. Z., dem Leiter der Abteilung Endoskopie der Klinik, durchgeführt wurde (sog. diagnostische Endoskopie). Auf Anraten von Dr. Z. und Prof. Y. wurde die Entfernung eines kleinen Polypen im Zwölffingerdarm in Aussicht genommen und am 18. November von Dr. Z. ambulant vorgenommen (sog. therapeutische Endoskopie). Dabei kam es zu Komplikationen mit inneren Blutungen, wobei mehrere Operationen nötig wurden und der Patient 23 Tage, bis 10. Dezember 1982 bewusstlos in der Intensivstation des Universitätsspitals lag. Am 7. Januar 1983 konnte er das Spital verlassen.

X. macht geltend, infolge krasser Verletzung der ärztlichen Kunst durch Dr. Z. sei es zu schweren inneren Verletzungen gekommen; deswegen hätten praktisch die ganze Bauchspeicheldrüse und Teile des Magens entfernt werden müssen. Heute sei er nicht mehr in der Lage, beruflichen Verpflichtungen auch nur im bescheidensten Rahmen nachzukommen.

Am 9. Dezember 1983 erhob X. gegen den Kanton Zürich Klage auf Zahlung von Fr. 3'075'145.10 zuzüglich 5% Verzugszins ab 18. November 1982 auf Fr. 2'990'775.-- und ab 1. Mai 1983 auf Fr. 84'370.10. Der Beklagte beantragte Abweisung der Klage, weil kein Kunstfehler vorliege und weil allenfalls für einen solchen nicht der Kanton, sondern der privatärztlich tätige Prof. Y haften würde; sodann bestritt er weitgehend den behaupteten Schaden.

Replik und Duplik wurden auf die Frage beschränkt, welches Recht anwendbar sei und inwiefern danach der Beklagte oder nur Prof. Y. haftbar gemacht werden könne.

Im Einvernehmen der Parteien wurde einstweilen auf eine Vorbereitungsverhandlung verzichtet (Art. 35 Abs. 4 BZP) und eine Beschränkung der Hauptverhandlung auf die genannten Rechtsfragen in Aussicht genommen (Art. 66 Abs. 3 BZP).

Das Bundesgericht zieht in Erwägung:

1.- Die Zuständigkeit des Bundesgerichts als einzige Instanz ist gegeben und unbestritten (Art. 42 OG). Das gilt auch insoweit, als die Klage sich auf das kantonale öffentliche Recht stützt (BGE 107 Ib 157 E. 1 mit Hinweisen).

2.- Der Beklagte stellt die Frage in den Vordergrund, ob überhaupt ein ärztlicher Kunstfehler vorliege; dafür komme nicht darauf an, ob Privatrecht oder öffentliches Haftungsrecht zur Anwendung komme. Weil aber die Frage des Kunstfehlers nicht ohne Beweiserhebung beantwortet werden kann, ist vorerst die massgebliche Rechtsgrundlage zu bestimmen.

3.- Das Universitätsspital Zürich ist eine unselbständige öffentlichrechtliche Anstalt des Kantons Zürich. Als Chefarzt bzw. Oberarzt stehen Prof. Y. wie Dr. Z. in einem öffentlichrechtlichen Dienstverhältnis zum Beklagten (BGE 101 II 182 E. 2; 100 Ia 317 E. 3a; §§ 28 ff. der kantonalen Krankenhausverordnung vom 28. Januar 1981).

a) Öffentliche Beamte und Angestellte haften an sich für von ihnen verursachte Schäden nach Bundeszivilrecht (Art. 41 ff. OR). Der kantonale Gesetzgeber kann indes abweichende Regeln festsetzen, soweit der Beamte oder Angestellte den Schaden in Ausübung amtlicher Verrichtungen verursacht hat, nicht dagegen bei gewerblichen Verrichtungen (Art. 61 OR). Das Gemeinwesen selbst haftet aber für die Schädigung durch seine Funktionäre nur nach Massgabe des öffentlichen Rechts (Art. 59 ZGB), es sei denn, es handle sich um gewerbliche Verrichtungen, welche eine Organ- oder Geschäftsherrenhaftung auszulösen vermögen (Art. 55 ZGB, 55 OR; BGE 108 II 335 E. 1, 101 II 185 mit Hinweisen). Nach der herrschenden Auffassung gilt die Krankenbetreuung in öffentlichen Spitälern, soweit sie von Ärzten in amtlicher Eigenschaft ausgeübt wird, als hoheitliche, nicht als gewerbliche Tätigkeit (BGE 102 II 47, 101 II 183 mit Hinweisen auch auf abweichende Literaturmeinungen). Diese Rechtsprechung ist in einem unveröffentlichten Urteil vom 10. August 1981 nach grundsätzlicher Überprüfung bestätigt worden (Urteil B. gegen Hôpital de la Gruyère, E. 3). Es besteht kein Anlass, darauf zurückzukommen.

b) Soweit der behauptete Schaden in Ausübung amtlicher Tätigkeit der Spitalärzte verursacht worden ist (dazu nachstehend E. 5), richtet sich demnach die Haftung des Beklagten nach kantonalem öffentlichem Recht.

4.- Gemäss § 6 des kantonalen Gesetzes über die Haftung des Staates und der Gemeinden sowie ihrer Behörden und Beamten vom 14. September 1969 (Haftungsgesetz; HG) haftet der Staat für den Schaden, den ein Beamter in Ausübung hoheitlicher Verrichtungen einem Dritten widerrechtlich zufügt (Abs. 1).

Der Beklagte macht geltend, diese Bestimmung erfasse nicht jede dienstliche und amtliche Verrichtung, sondern nur hoheitliche Tätigkeit im engeren Sinn, nämlich Ausübung staatlicher Zwangsgewalt, was auf öffentliche Spitäler nicht zutreffe. Er beruft sich dafür auf die Entstehungsgeschichte und die seitherige Anwendung des Haftungsgesetzes.

a) Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach Wortlaut, Sinn und Zweck und den ihm zugrunde liegenden Wertungen, ausgelegt werden (BGE 103 Ia 290 E. 2c mit Hinweisen). Die Materialien fallen nur dann ins Gewicht, wenn sie angesichts einer unklaren gesetzlichen Bestimmung eine klare Antwort geben; sie sind umso weniger zu beachten, je weiter sie zeitlich zurückliegen (BGE 108 Ia 37 mit Hinweisen).

Der Wortlaut des Haftungsgesetzes ist umfassend und deckt grundsätzlich auch die Tätigkeit in öffentlichen Spitälern. Die Zürcher Kantonalbank und die Elektrizitätswerke des Kantons Zürich wurden ausdrücklich von der Unterstellung unter das Gesetz ausgenommen (§ 3 Abs. 2), und zwar mit der Begründung, sie übten grundsätzlich gewerbliche Verrichtungen aus und unterstünden daher primär dem Bundesrecht (Beleuchtender Bericht des Kantonsrats für die Volksabstimmung (verfasst vom Regierungsrat), S. 28); warum für öffentliche Spitäler dasselbe gelten sollte, ohne dass es ausdrücklich gesagt wurde, ist nicht ersichtlich.

b) Dass unter den "hoheitlichen Verrichtungen", welche nach § 6 HG eine Staatshaftung auslösen können, etwas anderes zu verstehen wäre als die "amtlichen Verrichtungen", für die das Gemeinwesen nicht kraft Bundeszivilrecht haftet, belegt der Beklagte nicht. Namentlich geben auch die Gesetzesmaterialien für die behauptete Differenzierung nichts her, war doch vorab im Antrag des Regierungsrats an den Kantonsrat (S. 23-24 und 31), aber auch im Beleuchtenden Bericht des Kantonsrats für die Volksabstimmung (S. 26) von "gewerblichen, d.h. nicht hoheitlichen Verrichtungen" die Rede, wobei letztere ausdrücklich mit amtlichen Verrichtungen gleichgestellt wurden. Auch das Bundesgericht versteht unter beidem dasselbe (vgl. BGE 102 II 47, 101 II 183).

Dass der Präsident der vorberatenden Kommission in seinem Eintretensreferat im Kantonsrat auch die Tätigkeit der Ärzte an öffentlichen Spitälern zu den gewerblichen Verrichtungen zählte, ist ebenfalls nicht schlüssig, zumal in der Beratung auch das Gegenteil angenommen und vom Kommissionspräsidenten selber in Betracht gezogen worden ist. Hingegen hiess es in der Tat im Antrag des Regierungsrats an den Kantonsrat, zu den nicht hoheitlichen Tätigkeiten gehöre unter anderem der Betrieb eines Spitals (S. 31) und im Beleuchtenden Bericht des Kantonsrats wurde entsprechend die Tätigkeit von Ärzten an öffentlichen Spitälern zu den gewerblichen Verrichtungen gezählt (S. 26). Diese Äusserungen über den Ausschluss der Spitäler vom Haftungsgesetz finden ihre Erklärung offenbar in einem Prozess, der kurze Zeit zuvor die Zürcher Gerichte beschäftigt hatte und in welchem Bezirksgericht und Obergericht - noch unter der Herrschaft des alten § 224 EG ZGB - angenommen hatten, die Ärzte kantonaler Krankenhäuser hafteten aus gewerblicher Tätigkeit nach Bundeszivilrecht; das Bundesgericht brauchte damals zu dieser Frage nicht Stellung zu nehmen (ZR 62/1963 Nr. 33; vgl. dazu auch BGE 101 II 184 E. 2a). Die heute herrschende Auffassung hat jedoch dieser Rechtsprechung und damit auch den genannten Äusserungen des historischen Gesetzgebers die Grundlage entzogen. Seither hat denn auch das Bezirksgericht Hinwil gegenteilig entschieden (ZR 76/1977 Nr. 43).

c) Die vom Beklagten vertretene Auslegung würde ausserdem zu Ergebnissen führen, die auch nicht den Absichten des historischen Gesetzgebers entsprochen haben können. Aufgrund der Auffassung des Beklagten müsste dessen Haftung für seine öffentlichen Spitäler nicht nur nach dem Haftungsgesetz, sondern überhaupt verneint werden, weil nach herrschender Auffassung Spitaltätigkeit hoheitlichen Charakter hat und somit die Haftung nach Bundeszivilrecht ausser Betracht fiele (Art. 59 ZGB). Der Geschädigte wäre somit allein auf die persönliche Haftung des Spitalpersonals angewiesen. Diesem würde die Berufung auf amtliche Verrichtung nichts helfen, weil Bundeszivilrecht nach Art. 61 Abs. 1 OR subsidiär anwendbar wäre. Die vom Beklagten vertretene Auslegung benachteiligt deshalb nicht nur den Geschädigten, sondern auch das Spitalpersonal. Das sind Ungereimtheiten, die im Wortlaut des Gesetzes keine Stütze finden und seinem Sinn und Zweck zuwiderlaufen.

Auf die amtliche Tätigkeit der Spitalärzte ist deshalb das Haftungsgesetz anwendbar.

5.- Nach Ansicht des Beklagten bezieht sich die Klage indes gar nicht auf die amtsärztliche Spitaltätigkeit, sondern auf die private ärztliche Tätigkeit des Chefarztes. Der Kläger sei zu diesem als Privatpatient gekommen, und der für die Behandlung beigezogene Dr. Z. habe als Hilfsperson des Chefarztes gehandelt.

Der Kläger bestreitet nicht, dass er als Privatpatient zu Prof. Y. gekommen sei, hält aber für entscheidend, dass er von diesem zur Untersuchung und Behandlung an das Spital verwiesen und dann von Oberarzt Dr. Z. behandelt worden sei. Mit der Verweisung an das Spital sei er zu diesem in ein öffentlichrechtliches Verhältnis getreten, gleich wie wenn er von einem frei praktizierenden Arzt zur Untersuchung und Behandlung überwiesen worden wäre. Er macht denn auch Dr. Z. für die Schädigung anlässlich der therapeutischen Endoskopie vom 18. November 1982 wie für vorangehende ungenügende Information über das bestehende Risiko und unverhältnismässige Indikation verantwortlich. Beiläufig erklärt er allerdings auch, Prof. Y. habe die Operationsempfehlung von Dr. Z. bestätigt; doch macht er ihm daraus keinen Vorwurf und behauptet namentlich nicht, der Beklagte habe auch für dieses Verhalten von Prof. Y. einzustehen. Es braucht daher nicht geprüft zu werden, wie es sich mit der Verantwortlichkeit von Prof. Y. verhielte.

a) Nach der Krankenhausverordnung vom 28. Januar 1981 unterstehen die Chefärzte kantonaler Krankenhäuser dem kantonalen Personalrecht (§ 28; BGE 100 Ia 316 E. 3). Der Regierungsrat kann ihnen bewilligen, Privatpatienten auf eigene Rechnung zu untersuchen und zu behandeln, sei es ambulant in der Sprechstunde, sei es stationär in der Privatabteilung des Spitals (§ 30 Abs. 1). Die Rechnungstellung für das Arzthonorar erfolgt über die Spitalverwaltung, wobei der Arzt 10-30% seiner Einnahmen dem Staat abzugeben hat (§ 30 Abs. 3 und 4). Schliesslich wird bestimmt, dass das Verhältnis der Privatpatienten zu den Ärzten dem Privatrecht untersteht (§ 36 Abs. 3). Im übrigen beruhen die Beziehungen des Spitals zu seinen Patienten, wie sich aus Gesundheitsgesetz, Krankenhausverordnung und Taxordnungen ergibt, auf öffentlichem Recht (BGE 101 II 185 f. E. 3, 98 Ia 521, ebenso das Verwaltungsgericht Zürich in ZR 79/1980 Nr. 23).

Es ist nicht bestritten, dass Prof. Y. vom Regierungsrat die Führung einer Privatpraxis an drei Nachmittagen pro Woche bewilligt worden ist und dass der Kläger ihn in diesem Rahmen aufgesucht hat.

b) Die Privatarztbewilligung gilt ausdrücklich nur "für persönliche Verrichtungen des Bewilligungsinhabers" (§ 30 Abs. 2). Abweichende Anordnungen sind vorbehalten, werden hier aber nicht behauptet. Die Bewilligung kann sodann bei Abwesenheit des Chefarztes auf einen Stellvertreter übertragen werden; dass Dr. Z. in diesem Sinn in Abwesenheit von Prof. Y. tätig geworden wäre, wird ebenfalls nicht geltend gemacht. Es ist daher nicht zu untersuchen, wie seine Tätigkeit diesfalls haftungsrechtlich zu beurteilen wäre (vgl. dazu BGE 82 II 328). An der Beschränkung der Privatarztbewilligung auf persönliche Verrichtungen des Chefarztes vermag auch der Umstand nichts zu ändern, dass die moderne Medizin eine weitgehende Arbeitsteilung erfordert, wie der Beklagte hervorhebt. Es liegt auf der Hand, dass damit gerade eine Abgrenzung gegenüber Beanspruchung von Spitalpersonal angestrebt wird, namentlich wo wie hier ein spezialisierter Oberarzt mit weiterem medizinischen Personal keineswegs einfache Verrichtungen übernimmt. Der Beklagte muss sich bei dieser von ihm getroffenen Ordnung behaften lassen.

c) Ob die Chefärzte ihren Oberärzten für medizinische Verrichtungen an Privatpatienten einen Anteil ihres Honorars überlassen, kann demgegenüber nicht entscheidend sein, zumal das nach Darstellung des Beklagten ein freiwilliges Entgegenkommen der Chefärzte ist. Davon abgesehen bestätigt auch die kantonale Taxordnung für ambulante Patienten, dass sich nur die Entschädigung für die "persönlichen Bemühungen" des Bewilligungsinhabers nach privatärztlichen Grundsätzen richtet, während für Leistungen des Spitals die Taxordnung gilt (§ 2 Abs. 1 und Abs. 2). Es besteht kein Grund zur Annahme und ist auch nicht behauptet, dass danach Endoskopien, wie sie hier vorgenommen wurden, nicht dem Patienten vom Spital in Rechnung gestellt werden.

d) Die massgebende Tätigkeit von Dr. Z. beruht demnach nicht auf der privaten Beziehung zwischen Chefarzt und Privatpatient gemäss § 36 Abs. 3 der Krankenhausverordnung. Sie fällt deshalb in den Anwendungsbereich des Haftungsgesetzes, ohne dass zu prüfen ist, wieweit im übrigen die Behandlung der Privatpatienten nach der kantonalen Ordnung als amtliche (vgl. BGE 102 II 50 f. E. 2 für das Kantonsspital Olten) oder als private (vgl. BGE 82 II 325 ff. für das Kantonsspital Aarau) ärztliche Tätigkeit einzustufen ist.

Demnach beschliesst das Bundesgericht:

Auf die Streitsache wird das kantonale Haftungsgesetz angewendet.