Nach Art. 14 des Kanalisationsreglements der Gemeinde Birmenstorf vom 12. Januar 1962 kann für die vorzeitige Erstellung einer Gemeindekanalisation weit ausserhalb des bestehenden Kanalnetzes oder für schlecht ausgenützte Leitungen zusätzlich zur Anschlussgebühr ein Baubeitrag erhoben werden. Der Gemeinderat von Birmenstorf erteilte Otto Zehnder am 12. August 1969 unter verschiedenen Bedingungen und Auflagen die Bewilligung zur Erstellung eines Mehrfamilienhauses, obwohl die Abwasserbeseitigung im damaligen Zeitpunkt noch nicht gelöst war. In der Baubewilligung wurde jedoch festgehalten, dass das Gebäude erst bezogen werden dürfe, wenn der Anschluss an die Kanalisation erfolgt sei. In der Folge entstand zwischen Zehnder und der Gemeinde Streit über die Erhebung eines Baubeitrags. Zehnder weigerte sich, einen solchen Baubeitrag zu entrichten. Der Gemeinderat teilte ihm daher am 9. Juli 1961 mit, dass er vom Bau der in Aussicht genommenen Kanalisationsleitung (Strang E) absehen werde, wenn Zehnder mit der Beitragsleistung nicht einverstanden sei. Am 10. August 1971 kamen die Parteien an einer gemeinsamen Sitzung überein, dass Zehnder einen Baubeitrag von Fr. 14'000.- statt des ursprünglich geforderten Betrages von Fr. 28'000.- entrichten werde. Das Sitzungsprotokoll wurde am 18. August 1971 versandt und von Zehnder am 25. August 1971 mit dem Vermerk "gelesen und einverstanden" unterzeichnet. In der Folge verweigerte Zehnder jedoch die Bezahlung der Abgabe. Er machte geltend, die Voraussetzungen für die Erhebung eines Baubeitrags gemäss Art. 14 des Kanalisationsreglements seien nicht erfüllt. Er habe sein Einverständnis zur Vereinbarung mit dem Gemeinderat nur gegeben, weil ihm dieser damit gedroht habe, dass die Kanalisation ohne die Leistung eines Baubeitrags nicht erstellt werde.

Der Gemeinderat von Birmenstorf verfügte am 4. Juni 1974, dass Zehnder gemäss Art. 14 des Kanalisationsreglements einen Baubeitrag von Fr. 14'000.- zu bezahlen habe. Gegen diese Verfügung rekurrierte Zehnder ohne Erfolg an das Baudepartement und das Verwaltungsgericht des Kantons Aargau.

Das Bundesgericht weist die gegen das Urteil des Verwaltungsgerichts erhobene Beschwerde ab.

Aus den Erwägungen:

2.- a) Der Beschwerdeführer und die Gemeinde Birmenstorf haben am 10. August 1971 eine Vereinbarung über die Beitragsleistung, die Schaffung eines provisorischen Anschlusses für den Neubau des Beschwerdeführers sowie über die sofortige Erstellung des Kanalisationsstranges E geschlossen. Diese Übereinkunft bezieht sich auf Fragen, die vom öffentlichen Recht geregelt sind, und sie stellt daher einen öffentlichrechtlichen Vertrag dar (BGE 103 Ia 509).

Die neuere Rechtsprechung und Lehre anerkennt, dass öffentlichrechtliche Verträge auch stillschweigend zugelassen sein können, sofern sie vom Gesetz nicht ausdrücklich ausgeschlossen werden (BGE 103 Ia 512 mit Verweisung auf ZWAHLEN, Le contrat de droit administratif, ZSR 77/1958 II, S. 624a und weiteren Hinweisen). Vertragliche Vereinbarungen über die Erschliessung von Bauland - die Erstellung der Kanalisation für die Beseitigung der Abwasser stellt ein Teilerfordernis der Erschliessung zur Herbeiführung der Baureife eines Grundstückes dar - sowie über die mit der Erschliessung verbundenen Leistungen der Gemeinde und der Eigentümer und Bauherren kommen in der Praxis häufig vor (IMBODEN, Der verwaltungsrechtliche Vertrag, ZSR 77/1958 II, S. 187 a f.; ZWAHLEN, a.a.O., S. 545 a f.; IMBODEN/RHINOW, Schweizerische Verwaltungsrechtsprechung, Nr. 46 I S. 283 lit. c; BGE 103 Ia 34; BGE 95 I 418). Sie ermöglichen es vielfach, eine Tatbestandsungewissheit zu beseitigen, "die, könnte sie nicht durch eine gütliche Verständigung geregelt werden, durch die zuständigen Instanzen in freier Würdigung und Überzeugung behoben werden müsste" (IMBODEN/RHINOW, a.a.O., Nr. 46, S. 280). Eine solche Ungewissheit liegt in der Regel bei Mehrkosten vor, wie sie unter baurechtlichen oder entschädigungsrechtlichen Gesichtspunkten oft ermittelt werden müssen. Eine Verständigung zwischen dem Gemeinwesen und dem Privaten erlaubt es in derartigen Fällen, ohne unverhältnismässigen Aufwand die Mehrkostenfrage einvernehmlich zu lösen.

b) Leistungen aus öffentlichrechtlichen Verträgen sind nach dem aargauischen Recht grundsätzlich auf dem Weg der verwaltungsrechtlichen Klage durchzusetzen (§ 60 Ziff. 1 des Gesetzes über die Verwaltungsrechtspflege vom 9. Juli 1968). Das gleiche Vorgehen sehen das Bundesrecht (Art. 116 lit. b OG) und die Verwaltungsrechtspflegegesetze zahlreicher Kantone vor (vgl. z.B. Art. 17 Ziff. 4 des bernischen Gesetzes über die Verwaltungsrechtspflege vom 22. Oktober 1961; § 162 Abs. 1 lit. a des luzernischen Gesetzes über die Verwaltungsrechtspflege vom 3. Juli 1972; Art. 76 lit. a, 79 lit. a des st. gallischen Gesetzes über die Verwaltungsrechtspflege vom 16. Mai 1965). In diesem Verfahren können Einwendungen erhoben werden, mit denen die Gültigkeit des Vertrages bestritten wird. Sie können sich - grundsätzlich gleich wie im Falle einer privatrechtlichen Übereinkunft - auf das Zustandekommen des Vertrages beziehen; darüber hinaus kann geltend gemacht werden, dass der Vertrag seinem Inhalt nach gegen Vorschriften des öffentlichen Rechts verstosse und damit rechtswidrig sei. Wenn sich in der neueren Rechtsprechung und Lehre das Prinzip gefestigt hat, dass die Handlungsform des öffentlichrechtlichen Vertrages auch stillschweigend zugelassen sein kann, sofern sie vom Gesetz nicht ausdrücklich ausgeschlossen wird, so ändert das nichts am Grundsatz, dass das Gemeinwesen beim Abschluss eines öffentlichrechtlichen Vertrages gleichermassen an das materielle Recht gebunden ist, wie wenn es eine Verfügung erlassen würde, und dass es von den Bürgern namentlich keine Leistungen fordern kann, für welche eine gesetzliche Grundlage nicht gegeben ist. Die rechtliche Bindung der Behörden bedeutet aber nicht, dass die Fehlerhaftigkeit eines öffentlichrechtlichen Vertrages ohne weiteres zu dessen Ungültigkeit führe. Wie das Bundesgericht in BGE 103 Ia 514 E. 4a hinsichtlich eines den Bürger begünstigenden Vertrages ausgeführt hat, sind die Rechtswirkungen einer inhaltlich fehlerhaften Vereinbarung aufgrund einer Abwägung zwischen dem Interesse an der richtigen Durchführung des objektiven Rechts und dem Vertrauensschutzinteresse des Bürgers zu bestimmen. Ungültigkeit des Vertrages ist nur dann anzunehmen, wenn das Interesse an der richtigen Durchführung des objektiven Rechts überwiegt. Im vorliegenden Fall steht nicht ein begünstigender, sondern ein den Bürger jedenfalls teilweise belastender Vertrag zur Diskussion. Es ist auch in diesem Falle anzunehmen, dass nicht jeder rechtliche Mangel geeignet sei, die Ungültigkeit des Vertrages zu bewirken, sondern dass diese Folge nur mit Hinblick auf derartige Rechtsfehler eintrete, die schwer genug sind, damit die Geltendmachung durch den Privaten, der dem Vertrag vorher seine Zustimmung erteilt hat, nicht als gegen Treu und Glauben verstossend erscheint. Insbesondere wird die Ungültigerklärung eines öffentlichrechtlichen Vertrages wegen inhaltlicher Mängel nur unter erschwerten Voraussetzungen in Frage kommen, wenn die Vereinbarung Vergleichscharakter trägt (vgl. auch die eingehende gesetzliche Regelung, die in § 59 des deutschen Verwaltungsverfahrensgesetzes vom 25. Mai 1976 getroffen wurde). Wie es sich mit diesen Fragen verhält, braucht hier jedoch nicht abschliessend erörtert zu werden, da die Gemeinde Birmenstorf auf die Einwendung des Beschwerdeführers hin, der Vertrag leide an einem Willensmangel und überdies seien die rechtlichen Voraussetzungen für die Erhebung eines Baubeitrags nicht gegeben, eine hoheitliche, auf dem Beschwerdeweg anfechtbare Beitragsverfügung erliess. Der Beschwerdeführer macht nicht geltend, dass der Erlass einer Verfügung an sich unzulässig gewesen sei. Bei dieser Sachlage ist zu prüfen, ob der auf jener Verfügung beruhende Entscheid des Verwaltungsgerichts verfassungsmässig sei.

c) Es sei immerhin festgehalten, dass der Einwand des Beschwerdeführers unbehelflich gewesen wäre, sein Einverständnis zur Vereinbarung vom 10. August 1971, auf welche auch die Verfügung in Ziffer 2 verweist, sei durch eine unzulässige Drohung erreicht worden.

Ob ein öffentlichrechtlicher Vertrag an einem Willensmangel leide, ist unter Heranziehung der Bestimmungen des Obligationenrechts zu beurteilen. Diese finden ausserhalb des Privatrechts zwar keine direkte Anwendung, doch ist auf sie als Ausdruck allgemeiner Rechtsgrundsätze insoweit abzustellen, als sich die Regelung auch auf dem Gebiet des öffentlichen Rechts als sachgerecht erweist (vgl. BGE 99 Ib 121 E. 3b mit Hinweisen; GRISEL, Droit administratif suisse, S. 225; IMBODEN/RHINOW, a.a.O., Nr. 46, S. 283). Das ist hinsichtlich der Bestimmungen über die Drohung und die Geltendmachung der Willensmängel (Art. 29-31 OR) der Fall. Die Auslegung und Anwendung dieser Vorschriften prüft das Bundesgericht auf staatsrechtliche Beschwerde hin jedoch nicht mit freier Kognition, sondern lediglich auf das Vorliegen von Willkür hin (vgl. BGE 103 Ia 508 E. 1 hinsichtlich der Auslegung öffentlichrechtlicher Verträge).

Gemäss Art. 31 OR hat der durch Irrtum, Täuschung oder Furcht beeinflusste Teil binnen Jahresfrist dem andern zu eröffnen, dass er den Vertrag nicht halte. Die Frist beginnt im Falle der Furcht mit deren Beseitigung. Wie der Beschwerdeführer vorbringt, bestand für ihn die Furcht darin, dass die Gemeinde Birmenstorf den Strang E nicht erstelle. Entgegen seiner Annahme kann ohne Willkür davon ausgegangen werden, dass diese Furcht nicht erst mit der Erstellung des fraglichen Stranges dahingefallen sei, sondern bereits kurze Zeit nach dem Zustandekommen der am 10. August 1971 erzielten Vereinbarung. In der Folge erteilte der Gemeinderat nämlich den Auftrag zum Bau der Leitung, und es wird nicht geltend gemacht, dass er darauf noch hätte zurückkommen können. Unter diesen Umständen war die Jahresfrist zur Geltendmachung des Willensmangels am 8. Oktober 1973 längst abgelaufen. Es verhielte sich übrigens selbst dann nicht anders, wenn man annehmen wollte, die Furcht sei erst mit dem Anschluss der Liegenschaft an die Kanalisation beseitigt worden. Dieser Anschluss erfolgte nämlich im Mai oder Juni 1972, also ebenfalls mehr als ein Jahr vor dem Zeitpunkt, in welchem sich der Beschwerdeführer erstmals auf einen Willensmangel berief.

Der erhobene Einwand vermöchte auch in materieller Hinsicht nicht durchzudringen. Ein Willensmangel im Sinne von Art. 29 OR läge nur dann vor, wenn der Beschwerdeführer vom Gemeinderat widerrechtlich durch Erregung gegründeter Furcht zum Vertragsschluss bestimmt worden wäre. Das Verhalten des Gemeinderates war jedoch rechtmässig, was die Anrufung von Art. 29 OR ausschliesst (OSER/SCHÖNENBERGER, N. 13 zu Art. 29 OR; BECKER, N. 3f zu Art. 29 OR). Wie das Verwaltungsgericht ohne Willkür ausführte, war der Gemeinderat nicht verpflichtet, den Bau des Stranges E sofort in Auftrag zu geben. Aufgrund der Erteilung der Baubewilligung im Jahre 1969 war er zwar nach Treu und Glauben gehalten, Hand zur Lösung der dem Beschwerdeführer entstandenen Probleme zu bieten, doch kam er dieser Verpflichtung nach mit der Aufnahme der Verhandlungen und der Bereitschaft, den Strang E vorzeitig zu erstellen, wenn der Beschwerdeführer die im Kanalisationsreglement vorgesehenen Baubeiträge entrichte. Der in geschäftlichen Belangen offenbar erfahrene Beschwerdeführer - er hatte auch wiederholt auf Auskünfte seines Rechtsberaters hingewiesen - besass im übrigen ausreichend Zeit, um sein Einverständnis zu bedenken, unterzeichnete er doch das am 18. August 1971 zugestellte Protokoll über die am 10. August 1971 erzielte Verständigung erst am 25. August 1971. Wenn er den Beitrag für ungerechtfertigt hielt, hätte er überdies schon im damaligen Zeitpunkt verlangen können, dass der Gemeinderat eine rekursfähige Verfügung erlasse. Von einer widerrechtlichen Erregung gegründeter Furcht kann daher keine Rede sein.

Im folgenden bleibt zu prüfen, ob der auf der Beitragsverfügung vom 4. Juni 1974 beruhende Entscheid des Verwaltungsgerichts verfassungsmässig sei.

3.- Nach Art. 14 des kommunalen Kanalisationsreglements kann der Gemeinderat von den interessierten Grundeigentümern über die Anschlussgebühr hinaus einen Baubeitrag erheben:

a) Der Beschwerdeführer macht geltend, das Verwaltungsgericht habe diese Vorschrift in unhaltbarer Weise angewandt und willkürlich angenommen, dass hinsichtlich des Kanalisationsstranges E die Voraussetzung einer "schlecht ausgenützten" Leitung erfüllt sei. Diese Rüge ist unbegründet. Das Verwaltungsgericht konnte ohne Verstoss gegen Art. 4 BV davon ausgehen, dass die Gemeinde Birmenstorf den Kanalisationsstrang E im Interesse des Beschwerdeführers und in geringerem Masse in demjenigen von Felix Zehnder vorzeitig erstellt hatte, nämlich in den Jahren 1971 und 1972 anstatt erst im Jahre 1975, in dem Zeitpunkt, in dem die kantonale Ortsverbindungsstrasse ausgebaut wurde. Es bedarf keiner weiteren Begründung, dass es naheliegend und sachlich richtig gewesen wäre, den Kanalisationsstrang gleichzeitig mit dem Strassenausbau zu verwirklichen. Das Verwaltungsgericht konnte sodann gestützt auf vertretbare Gründe annehmen, dass der Kanalisationsstrang E bis zum Zeitpunkt der Erstellung des anschliessenden Teilstückes der Kanalisation im Jahre 1975 schlecht ausgenützt war. Die vom Beschwerdeführer selbst angeführte Tatsache, dass nach Erstellung des anschliessenden Teilstückes weitere Liegenschaften angeschlossen wurden, liess es ohne Verletzung von Art. 4 BV zu, von einer schlechten Ausnützung des Stranges E bis zum Zeitpunkt des Ausbaus der Kanalisation zu sprechen. Wenn das Verwaltungsgericht dem Antrag des Beschwerdeführers nicht entsprach, es sei festzustellen, wieviele Liegenschaften an den Strang E angeschlossen seien, so verletzte das Art. 4 BV nicht. Das Gericht konnte diesen Antrag als unerheblich erachten, da sich die schlechte Ausnützung des Stranges E mit Rücksicht auf die vorzeitige Erstellung bejahen liess. Bei dieser Sachlage war nicht entscheidend, wieviele Liegenschaften später, nach Erstellung des weiteren Teilstückes, angeschlossen wurden.