A.- Die Firma N. AG wurde am 13. Februar 1976 ins Handelsregister des Kantons Zürich eingetragen. Zunächst war Dr. X während einiger Tage einziges Mitglied des Verwaltungsrates und einzelunterschriftsberechtigt. An seiner Stelle wurde laut Handelsregistereintrag vom 26. Februar 1976 S. einziges Verwaltungsratsmitglied und neben seiner Ehefrau einzelunterschriftsberechtigt. Bei der Gründung war vorerst auch E. einzelunterschriftsberechtigt, nach Eintritt von S. jedoch nur noch zusammen mit je einem der beiden einzelunterschriftsberechtigten Eheleute S. zeichnungsberechtigt.

Am 27. September 1977 wurde über die Aktiengesellschaft der Konkurs eröffnet. In diesem Verfahren kam die Ausgleichskasse des Kantons Zürich mit einer Forderung von Fr. 67'251.35, bestehend aus Sozialversicherungsbeiträgen sowie Verwaltungskosten und Mahngebühren, zu Verlust. Am 25. Oktober 1979 wurde der Konkurs geschlossen und in der Folge die Firma im Handelsregister gelöscht.

Gestützt auf Art. 52 AHVG machte die Ausgleichskasse den Betrag von Fr. 67'251.35 gegenüber E. und S. geltend (Verfügungen vom 18. Dezember 1979).

B.- E. und S. erhoben gegen diese Verfügungen Einsprache. Daraufhin reichte die Ausgleichskasse gegen S. Klage gemäss Art. 81 Abs. 3 AHVV ein.

Die AHV-Rekurskommission des Kantons Zürich hiess die Klage am 13. Juni 1980 gut, indem sie S. zur Bezahlung des Betrages von Fr. 67'251.35 verpflichtete.

C.- S. lässt Verwaltungsgerichtsbeschwerde führen und die Aufhebung des Entscheides der Rekurskommission beantragen. Eventuell sei die Sache zur Durchführung eines Beweisverfahrens an die Vorinstanz zurückzuweisen.

Die Ausgleichskasse und das Bundesamt für Sozialversicherung beantragen die Abweisung der Verwaltungsgerichtsbeschwerde.

1. Nach Art. 52 AHVG hat ein Arbeitgeber, der durch absichtlich oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen.

In seinem Urteil B. vom 28. Juni 1982 (BGE 108 V 183) hat das Eidg. Versicherungsgericht seine bisherige Rechtsprechung zu dieser Bestimmung wie folgt zusammengefasst und präzisiert:

Die wesentliche Voraussetzung für die Schadenersatzpflicht besteht nach dem Wortlaut des Art. 52 AHVG darin, dass der Arbeitgeber absichtlich oder grobfahrlässig Vorschriften verletzt hat und dass durch diese Missachtung ein Schaden verursacht worden ist. Absicht bzw. Vorsatz und Fahrlässigkeit sind verschiedene Formen des Verschuldens. Art. 52 AHVG statuiert demnach eine Verschuldenshaftung, und zwar handelt es sich um eine Verschuldenshaftung aus öffentlichem Recht. Die Schadenersatzpflicht ist im konkreten Fall nur dann begründet, wenn nicht Umstände gegeben sind, welche das fehlerhafte Verhalten des Arbeitgebers als gerechtfertigt erscheinen lassen oder sein Verschulden im Sinne von Absicht oder grober Fahrlässigkeit ausschliessen. In diesem Sinne ist es denkbar, dass zwar ein Arbeitgeber in vorsätzlicher Missachtung der AHV-Vorschriften der Ausgleichskasse einen Schaden zufügt, aber trotzdem nicht schadenersatzpflichtig wird, wenn besondere Umstände die Nichtbefolgung der einschlägigen Vorschriften als erlaubt oder nicht schuldhaft erscheinen lassen.

Die Ausgleichskasse, welche feststellt, dass sie einen durch Missachtung von Vorschriften entstandenen Schaden erlitten hat, darf davon ausgehen, dass der Arbeitgeber die Vorschriften absichtlich oder mindestens grobfahrlässig verletzt hat, sofern keine Anhaltspunkte für die Rechtmässigkeit des Handelns oder die Schuldlosigkeit des Arbeitgebers bestehen. Gestützt darauf verfügt sie im Sinne von Art. 81 Abs. 1 AHVV die Ersetzung des Schadens durch den Arbeitgeber. Diesem steht das Recht zu, im Einspracheverfahren (Art. 81 Abs. 2 AHVV) Rechtfertigungs- und Exkulpationsgründe geltend zu machen, für die er im Rahmen seiner Mitwirkungspflicht den entsprechenden Nachweis zu erbringen hat. Die Ausgleichskasse prüft in Anwendung der Untersuchungsmaxime die Einwände des Arbeitgebers. Erachtet sie die vorgebrachten Rechtfertigungs- oder Exkulpationsgründe als gegeben, so heisst sie die Einsprache gut. Andernfalls hat sie gemäss Art. 81 Abs. 3 AHVV Klage zu erheben.

2. Im vorliegenden Fall steht fest, dass die Firma N. AG entgegen der Vorschrift von Art. 14 Abs. 1 AHVG paritätische bundesrechtliche Sozialversicherungsbeiträge sowie Verwaltungskosten und Mahngebühren der Ausgleichskasse nicht bezahlt hat und dass dieser dadurch ein Schaden erwachsen ist. Der Beschwerdeführer begründet dies damit, dass er zwar der AHV-Abrechnung die nötige Aufmerksamkeit geschenkt und anfangs 1977 auch festgestellt habe, dass die geschuldeten AHV-Beiträge in einem wieder höheren Betrag unter den Kreditoren erschienen seien.

E. als Geschäftsführer der Firma habe ihm aber erklärt, dass mit der Ausgleichskasse eine Zahlungsvereinbarung habe getroffen werden können. Der Abschluss dieser Zahlungsvereinbarung schliesse Fahrlässigkeit, jedenfalls grobe Fahrlässigkeit aus. Selbst wenn keine Zahlungsvereinbarung getroffen worden wäre, so ergäbe sich daraus doch keine grobe Fahrlässigkeit des Beschwerdeführers, weil dieser sich auf die Angaben des E. habe verlassen dürfen. Ein besonderes Misstrauen diesem gegenüber habe sich nicht aufgedrängt.

Der Beschwerdeführer verneint also jegliches grobfahrlässige Verhalten seinerseits mit dem Hinweis auf das Vorliegen einer mit der Ausgleichskasse getroffenen Zahlungsvereinbarung. Über den Inhalt dieser Vereinbarung hat er allerdings keine Angaben gemacht; seine Behauptung, es sei eine solche Vereinbarung getroffen worden, ist von der Ausgleichskasse jedoch nie bestritten worden. Es kann offenbleiben, wie es sich damit verhält, denn der Auffassung, eine solche Zahlungsvereinbarung schliesse grundsätzlich ein grobfahrlässiges Verhalten aus, kann ohnehin nicht beigepflichtet werden. Der Firma wurde ja nicht zum voraus und generell eine Stundung bewilligt. Vielmehr konnte in einem solchen Zahlungsaufschub bloss der Versuch erblickt werden, den - bereits widerrechtlich eingetretenen - Zahlungsrückstand der Firma nachträglich wieder in Ordnung zu bringen, wobei es der Ausgleichskasse in erster Linie darum gehen musste, die eingetretenen Rückstände ohne Verlust einbringen zu können. Eine solche Massnahme an sich vermag die nicht rechtzeitige Bezahlung sowohl der bereits verfallenen als auch der erst fällig werdenden Beiträge überhaupt nicht zu entschuldigen bzw. zu rechtfertigen. Es fragt sich lediglich, ob die Zahlungsrückstände, welche zur Stundung Anlass gegeben haben, sich durch ein entschuldbares oder gerechtfertigtes Verhalten des Beschwerdeführers begründen lassen.

3. a) Nicht jedes einer Firma als solcher anzulastende Verschulden muss auch ein solches seiner sämtlichen Organe sein. Vielmehr hat man abzuwägen, ob und inwieweit eine Handlung der Firma einem bestimmten Organ im Hinblick auf dessen rechtliche und faktische Stellung innerhalb der Firma zuzurechnen ist. Das Eidg. Versicherungsgericht hat in konstanter Praxis ausgeführt, grobe Fahrlässigkeit sei gegeben, wenn ein Arbeitgeber das ausser acht lasse, was jedem verständigen Menschen in gleicher Lage und unter gleichen Umständen als beachtlich hätte einleuchten müssen (EVGE 1957 S. 219, 1961 S. 232, ZAK 1961 S. 448, 1972 S. 729). Das Mass der zu verlangenden Sorgfalt ist abzustufen entsprechend der Sorgfaltspflicht, die in den kaufmännischen Belangen jener Arbeitgeberkategorie, welcher der Betreffende angehört, üblicherweise erwartet werden kann und muss. Dabei sind an die Sorgfaltspflicht einer Aktiengesellschaft grundsätzlich strenge Anforderungen zu stellen (vgl. ZAK 1972 S. 729). Eine ähnliche Differenzierung ist auch notwendig, wenn es darum geht, die subsidiäre Haftung der Organe eines Arbeitgebers zu ermitteln. Nach Art. 722 Abs. 1 Ziff. 3 OR hat die Verwaltung die mit der Geschäftsführung beauftragten Personen zu überwachen und sich regelmässig über den Geschäftsgang unterrichten zu lassen. Sie hat diese Pflicht nach Massgabe der besonderen Umstände des Einzelfalles "mit aller Sorgfalt" zu erfüllen. Das setzt u.a. voraus, dass der Verwaltungsrat die ihm unterbreiteten Berichte kritisch liest, nötigenfalls ergänzende Auskünfte verlangt und bei Irrtümern oder Unregelmässigkeiten einschreitet. Dabei wird es aber einem Verwaltungsratspräsidenten einer Grossfirma nicht als grobfahrlässiges Verschulden angerechnet werden können, wenn er nicht jedes einzelne Geschäft, sondern nur die Tätigkeit der Geschäftsleitung und den Geschäftsgang im allgemeinen überprüft (vgl. Mario M. Pedrazzini, Gesellschaftsrechtliche Entscheide, Bern 1974, S. 127, mit Hinweis auf BGE 97 II 403 und die Literatur) und daher beispielsweise nicht beachtet, dass in Einzelfällen die Abrechnung über Lohnbeiträge nicht erfolgt ist. Das Gegenstück wäre der Präsident des Verwaltungsrates einer Firma, der faktisch das einzige ausführende Organ der Firma ist oder aber der Verwaltungsratspräsident einer Firma, dem aus irgendwelchen Quellen bekannt ist oder doch bekannt sein sollte, dass die Abrechnungspflicht möglicherweise mangelhaft erfüllt wird (BGE 103 V 125).

b) Bei der Firma N. AG handelte es sich um ein kleines Unternehmen mit sehr einfacher Verwaltungsstruktur: das Aktienkapital belief sich auf Fr. 50'000.--; der Beschwerdeführer war einziger und einzelzeichnungsberechtigter Verwaltungsrat neben seiner ebenfalls einzelzeichnungsberechtigten Ehefrau und dem von ihm als Geschäftsführer bezeichneten E., der seinerseits nur mit dem Beschwerdeführer oder dessen Ehefrau kollektivzeichnungsberechtigt war. Bei derart einfachen und leicht überschaubaren Verhältnissen muss vom einzigen Verwaltungsrat einer Aktiengesellschaft, der als solcher die Verwaltung der Aktiengesellschaft als einzige Person in Organstellung zu besorgen hat, der Überblick über alle wesentlichen Belange der Firma selbst dann verlangt werden, wenn er seine Befugnisse weitgehend an einen Geschäftsführer delegiert hat. Er kann mit der Delegation der Geschäftsführung nicht zugleich auch seine Verantwortung als einziges Verwaltungsorgan an den Geschäftsführer delegieren. Es liegt hier kein Sonderfall eines Grossunternehmens im Sinne von BGE 103 V 125 vor, wo eine weitgehende Aufteilung der Funktionen unter mehrere Verwaltungsräte bzw. die Delegation an angestellte Geschäftsführer unerlässlich ist und wo dem Verwaltungsrat nicht als grobfahrlässiges Verschulden angerechnet werden kann, "wenn er nicht jedes einzelne Geschäft, sondern nur die Tätigkeit der Geschäftsleitung und den Geschäftsgang im allgemeinen überprüft... und daher beispielsweise nicht beachtet, dass in Einzelfällen die Abrechnung über Lohnbeiträge nicht erfolgt ist". Vor allem aber fällt im vorliegenden Fall in Betracht, dass der Beschwerdeführer schon allein aufgrund seiner eigenen Sachdarstellung auch rein faktisch von der Nichterfüllung der Beitragspflicht Kenntnis gehabt haben muss. Zum gleichen Ergebnis gelangt man aufgrund der Tatsache, dass der Beschwerdeführer am 21. Februar 1977 eine Beitragsabrechnung und eine Lohnbescheinigung für die Ausgleichskasse persönlich unterzeichnet und darin ausdrücklich auf die Mahnung der Kasse für die Beitragsperiode Oktober bis Dezember 1976 Bezug genommen hat. Es ist ihm daher mindestens als Grobfahrlässigkeit anzurechnen, wenn ihm die Nichterfüllung der Beitragspflicht gleichwohl entgangen sein sollte. Sodann zeigt die Regelung der Zeichnungsberechtigung, dass der Geschäftsführer E. keine umfassende Selbständigkeit besass. Seine Zeichnungsberechtigung, die nur kollektiv mit je einem der beiden Einzelzeichnungsberechtigten, d.h. mit dem Beschwerdeführer selber oder mit dessen Ehefrau, ausgeübt werden konnte, hatte praktisch überhaupt keine Kompetenz zum Inhalt, weil ja jeweils schon die Unterschrift des andern einzelzeichnungsberechtigten Partners genügte, während E. seinerseits ohne einen dieser beiden Partner nicht rechtsgültig unterzeichnen konnte. Mit dieser Kompetenzeinschränkung wollte der Beschwerdeführer nach seiner eigenen Darstellung in der Verwaltungsgerichtsbeschwerde "einer Sorgfaltspflicht als Verwaltungsrat besonders Genüge tun, nämlich verhindern, dass die Mittel unter Missachtung seiner Entscheide ausgegeben oder gar verschleudert würden". Er hat also mindestens bezüglich der Ausgaben eine sehr strenge und detaillierte Kontrolle geführt, während anderseits der Geschäftsführer E. wegen der speziellen Regelung der Zeichnungsberechtigung auch keine anderweitigen Geschäfte selbständig, ohne Wissen und Einverständnis des Beschwerdeführers oder dessen Ehefrau, tätigen konnte. Unter diesen Umständen muss vorausgesetzt werden, dass sich der Beschwerdeführer faktisch um alle Geschäftsvorfälle kümmerte, welche für die Firma irgendwie von Belang waren, wozu selbstverständlich auch die Verpflichtungen, insbesondere die zunehmende Verschuldung, gehörten. Es wird denn auch ausdrücklich anerkannt, dass er jedenfalls grundsätzlich über die Beitragsschulden gegenüber der Ausgleichskasse orientiert war. Selbst wenn der Firma Zahlungserleichterungen gewährt worden sein sollten, musste ihm bewusst sein, dass er es gar nicht so weit hätte kommen lassen dürfen und dass er nicht weiterhin von den Löhnen paritätische Beiträge abziehen durfte, ohne diese - zusammen mit den Arbeitgeberbeiträgen - der Ausgleichskasse zu überweisen.

Ebenso musste er wissen, dass es sich bei diesen Beiträgen um privilegierte Forderungen der Ausgleichskasse handelte, dass die Zweckentfremdung der vom Lohn abgezogenen Beiträge einen Straftatbestand bildet (Art. 87 Abs. 3 AHVG) und dass er in Anbetracht der zunehmenden Verschuldung der Firma erst recht für die Bezahlung dieser Beiträge hätte sorgen müssen. Indem der Beschwerdeführer diese seine Sorgfaltspflicht missachtete, hat er das ausser acht gelassen, "was jedem verständigen Menschen in gleicher Lage und unter gleichen Umständen als beachtlich hätte einleuchten müssen". Es sind weder Umstände dargetan worden, welche sein Verhalten als berechtigt oder entschuldbar erscheinen liessen, noch ergeben sich hierfür irgendwelche Anhaltspunkte aus den Akten...

Demnach erkennt das Eidg. Versicherungsgericht:

Die Verwaltungsgerichtsbeschwerde wird abgewiesen.