Der Regierungsrat des Kantons Zürich erliess am 23. Juli 1970 die Verordnung zum Schutze des Orts- und Landschaftsbildes von Ellikon am Rhein (nachfolgend Schutzverordnung genannt), wodurch Ellikon am Rhein und seine Umgebung zur Erhaltung der Landschaft in ihrer Gesamtwirkung und zur Wahrung der ländlichen Eigenart des Ortsbildes als geschütztes Gebiet erklärt wurden (§ 1 der Schutzverordnung). Das Schutzgebiet umfasst fünf Zonen mit unterschiedlichen Eigentumsbeschränkungen. Die Verordnung trat am 7. August 1970 in Kraft.

Durch die Schutzverordnung wurden die landwirtschaftlich genutzten Grundstücke der Beschwerdegegner ganz oder teilweise dem Landschaftsschutzgebiet (II. Zone) bzw. dem Landwirtschaftsgebiet (III. Zone) zugewiesen. Diese Parzellen lagen nach dem ersten, damals geltenden Zonenplan der Gemeinde Marthalen vom 4. Februar/4. März 1965 in der Wohnzone für Einfamilienhäuser. Die Grundeigentümer forderten mit Eingabe vom 19. Februar 1971 Entschädigung für materielle Enteignung.

Das Verfahren zog sich in die Länge. Erst rund 10 Jahre später verpflichtete die Schätzungskommission IV den Staat Zürich mit Schätzungsentscheid vom 9. Januar 1981, den Beschwerdegegnern für die aus der Schutzverordnung fliessenden Eigentumsbeschränkungen Entschädigungen in der Höhe von Fr. 15.-- per m2 bzw. Fr. 20.-- per m2, total Fr. 869'600.--, zu bezahlen und zum jeweiligen Zinsfuss der Zürcher Kantonalbank für bestehende erste Hypotheken auf Wohnliegenschaften zu verzinsen.

Der Staat Zürich zog diesen Entscheid ans Verwaltungsgericht weiter, welches die vom Staat Zürich zu leistende Entschädigung mit Entscheid vom 14. Mai 1982 (eröffnet am 30. September 1982) - somit mehr als elf Jahre nach Anmeldung der Forderung - auf total Fr. 572'363.-- herabsetzte. Das Gericht nahm im Sinne seiner Rechtsprechung an, die Schutzzone habe einen gefestigten Verkehrswert getroffen und einen gängigen Preis dauernd zerstört.

Gegen diesen Entscheid erhob der Staat Zürich Verwaltungsgerichtsbeschwerde beim Bundesgericht mit dem Antrag, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass der Staat den Beschwerdegegnern keine Entschädigung aus materieller Enteignung schulde. Das Bundesgericht tritt auf die Verwaltungsgerichtsbeschwerde nicht ein.

Aus den Erwägungen:

2.- a) Die Beschwerdegegner sind der Meinung, das Verfahren sei in untragbarer Weise verzögert worden. Da für diese Verzögerung die kantonalen Behörden verantwortlich seien, dürfe der Kanton daraus keinen Vorteil ziehen.

b) Es ist zunächst zu prüfen, ob der von den Beschwerdegegnern erhobene Vorwurf der Verschleppung gerechtfertigt ist.

Nach zürcherischem Recht hat das allenfalls entschädigungspflichtige Gemeinwesen mangels Verständigung das amtliche Schätzungsverfahren gemäss Gesetz betreffend die Abtretung von Privatrechten vom 30. November 1879 einzuleiten (§ 9). Wenn in der Folge die Parteien gegen den Schätzungsentscheid Einsprache erheben (§§ 45 und 46), entscheidet das Verwaltungsgericht, wobei das Gemeinwesen als Kläger auftritt (§ 49). Das Verwaltungsgericht berücksichtigt den Schätzungsentscheid im Sinne eines gerichtlich erhobenen Expertenberichts (§ 51).

Diese Verfahrensregelung, die vom üblichen Enteignungsverfahren abweicht, indem es in jedem Falle die aktive Rolle im Verfahren dem Gemeinwesen zuweist, verstärkt dessen Verantwortung. Im vorliegenden Falle hat das zuständige Statthalteramt Andelfingen auf Zuschrift vom 26. September 1975 der Direktion der öffentlichen Bauten des Kantons Zürich am 30. September 1975 das Schätzungsverfahren eingeleitet, somit erst rund viereinhalb Jahre nach Forderungsanmeldung. Alsdann verstrichen rund weitere fünfeinviertel Jahre bis zum Entscheid der Schätzungskommission vom 9. Januar 1981.

Wie der Gemeinderat Marthalen in seiner Vernehmlassung vom 21. Januar 1983 darlegt und am Augenschein bestätigt wurde, ist die Verzögerung des Verfahrens auf die nicht ordnungsgemässe Behandlung der Entschädigungsforderungen, die aus der Zonenordnung der Gemeinde hergeleitet wurden, zurückzuführen. Das Schätzungsverfahren hiefür hätte die Gemeinde rechtzeitig einleiten sollen. In der irrigen Annahme, diese Forderungen würden mit dem Erlass der Schutzverordnung hinfällig, leitete die Gemeinde das Schätzungsverfahren jedoch erst am 22. April 1977 ein.

Die Durchsicht der Akten bestätigt, dass eine gewisse Unklarheit über den Verfahrensablauf durch die beruhigenden und wohlwollenden Äusserungen der kantonalen Vertreter ausgelöst wurde (vgl. Protokolle vom 21. April 1970 und 10. Juni 1970). Die Gemeinde war der Meinung, der Kanton habe für alle Entschädigungen - auch diejenigen aus ihrer Zonenordnung 1965 - aufzukommen, was ihr von der kantonalen Baudirektion auch zugesichert worden war. Doch wurden die Forderungen aus der Zonenordnung 1965 an die kantonale Finanzdirektion weitergeleitet, wovon der Leiter des Büros für Landerwerb gemäss seiner Aussage erst an einer Schätzungsverhandlung im Jahre 1976 Kenntnis erhielt (siehe Aussage Dr. Bopp an der Schätzungsverhandlung vom 2. November 1977).

Die vom Leiter des Büros für Landerwerb mit dem Gemeinderat geführten Verhandlungen führten zu einem unter den üblichen Genehmigungsvorbehalten verbindlichen Angebot vom 14. Januar 1974. Aus der Antwort des Gemeinderates vom 31. Januar 1975 ergibt sich, dass die Beschwerdegegner dem Angebot zustimmten. Dennoch kamen die Entschädigungsverträge nicht zustande, weil das Büro für Landerwerb vom Gemeinderat verlangte, er müsse von den weiteren Eigentümern, deren Forderungen der Staat ablehnte, eine Verzichtserklärung beibringen, ein Anliegen, dem der Gemeinderat nicht entsprechen konnte. Aus diesem Grunde wurde am 30. September 1975 das Schätzungsverfahren eingeleitet. In der Folge wurde dessen Ablauf bis zum Entscheid über das erst am 22. April 1977 von der Gemeinde eingeleitete Schätzungsverfahren unterbrochen.

Dieser Verfahrensablauf lässt klar erkennen, dass die Verzögerung des Verfahrens sowohl der Gemeinde als auch dem Kanton zur Last zu legen ist. Wohl haben die Beschwerdegegner keine energischen Schritte zur Beschleunigung des Verfahrens unternommen, doch ist dies verständlich, da sie darauf vertrauen durften, die zuständigen Behörden würden die ihnen zustehende aktive Rolle richtig ausüben, um entweder zu einer Verständigung oder innert nützlicher Frist zu einem Entscheid zu gelangen.

c) Die aussergewöhnlich lange Dauer des Verfahrens ist als ungebührlich zu bezeichnen. Sie widerspricht den aus Art. 4 BV fliessenden Anforderungen an ein rechtsstaatliches Verfahren. Auch wenn für die abschliessende Beurteilung von Entschädigungsbegehren aus materieller Enteignung im allgemeinen mit einem grossen Zeitaufwand gerechnet werden muss, ist das tragbare Mass deutlich überschritten. Es ist kaum verständlich, dass es den Behörden der Gemeinde und des Kantons nicht gelang, die Behandlung der aus dem Zonenplan und der Schutzverordnung hergeleiteten Entschädigungsbegehren zu koordinieren. Die Verzögerung des Schätzungsverfahrens um mehrere Jahre hätte vermieden werden können, wenn die Gemeinde das Verfahren spätestens gleichzeitig mit dem Kanton eingeleitet hätte. Dass die Schätzungskommission die beiden Verfahren trennte, mag naheliegen, ist jedoch von der Sache her keineswegs zwingend. Die Kommission hatte in beiden Verfahren die gleichen Fragen aufgrund der Erhebungen über den Liegenschaftsmarkt zu entscheiden, wobei der Obmann der Kommission die Beweisverfügung hinsichtlich der nun streitigen kantonalen Schutzzonenentschädigung bereits am 13. Dezember 1975 getroffen hatte.

Schliesslich beweist der Ablauf des von der Gemeinde am 22. April 1977 eingeleiteten und letztinstanzlich mit Entscheid des Verwaltungsgerichts am 4. September 1979 abgeschlossenen Verfahrens, dass zweieinhalb Jahre genügen, um zum Abschluss zu gelangen. Es steht daher ausser Frage, dass bei rechtzeitiger Einleitung und Koordination der beiden Verfahren der Entscheid des Verwaltungsgerichts längst vor Inkrafttreten des Raumplanungsgesetzes hätte ergehen können. Selbst wenn zusätzlich zweieinhalb Jahre für die Verständigungsbemühungen eingerechnet werden, hätte das Verfahren zweifellos in fünf Jahren seit Forderungsanmeldung abgeschlossen werden können. Eine längere Dauer ist in der vorliegenden Sache, die keineswegs aussergewöhnliche Schwierigkeiten bot, klarerweise nicht mehr angemessen.

Nach der Rechtsprechung ist eine ungebührliche Verfahrensverzögerung den Behörden nicht nur dann zur Last zu legen, wenn sie das Verfahren absichtlich bis zum Inkrafttreten neuen Rechts aufgeschoben haben. Entgegen der in der Literatur zum Teil geäusserten Vermutung (siehe u. a. ALFRED KÖLZ, Intertemporales Verwaltungsrecht, ZSR 1983 II S. 207 f.) genügt es, wenn die ungebührliche Verzögerung aus objektiven Gründen der Behörde zur Last fällt (so ausdrücklich auch IMBODEN/RHINOW, Schweizerische Verwaltungsrechtsprechung, Nr. 15, II, 4b, S. 97, und besonders deutlich im nicht veröffentlichten Bundesgerichtsurteil Sigg vom 12. Juli 1978, E. 4b, S. 10: "... wenn die Bewilligungsbehörde ihren Entscheid absichtlich bis zum Inkrafttreten des neuen Rechts hinausgezögert hat oder wenn ihr sonst eine Verzögerung in der Behandlung des Gesuches anzulasten ist ...").

d) Aus diesen Erwägungen folgt, dass das Entschädigungsverfahren für die aus der kantonalen Schutzverordnung vom 23. Juli 1970 hergeleiteten Forderungen bei einem rechtsstaatlichen Verfahrensablauf vor Inkrafttreten des eidgenössischen Raumplanungsgesetzes am 1. Januar 1980 hätte abgeschlossen werden können und müssen.

3.- a) Das Rechtsmissbrauchsverbot als Teil des Grundsatzes von Treu und Glauben, welcher auch im öffentlichen Recht gilt (BGE 94 I 520 E. 4a; KATHARINA SAMELI, Treu und Glauben im öffentlichen Recht, in ZSR 96 II S. 302 ff.; BEATRICE WEBER-DÜRLER, Vertrauensschutz im öffentlichen Recht, S. 43; MERZ, N. 511 ff. zu Art. 2 ZGB), untersagt die zweckwidrige Verwendung eines Rechtsinstitutes zur Verwirklichung von Interessen, die dieses Rechtsinstitut nicht schützen will (BGE 94 I 667). Es geht nach rechtsstaatlichen Erwägungen nicht an, einen Privaten die Nachteile einer neuen Ordnung tragen zu lassen, wenn die von der Behörde zu verantwortende ungebührlich lange Verfahrensdauer zur Folge hatte, dass das neue Recht noch vor dem Entscheid in Kraft treten konnte. Würde in einem solchen Fall die Anwendung des neuen Rechts zu einer Benachteiligung des Privaten und zu einem Vorteil des Kantons führen, muss dies zur Folge haben, dass das alte Recht anzuwenden ist. (In diesem Sinne die Rechtsprechung zur Verzögerung von Bewilligungsverfahren, BGE 99 Ia 122 E. 4b; 107 Ib 138 E. 3)

b) Mit dem Inkrafttreten des Bundesgesetzes über die Raumplanung erwuchs dem Kanton Zürich der Vorteil, dass er den Entscheid des Verwaltungsgerichts mit Verwaltungsgerichtsbeschwerde anfechten konnte (Art. 34 Abs. 2 RPG). Vor dem 1. Januar 1980 stand einem Gemeinwesen keine Befugnis zu, einen solchen Entscheid ans Bundesgericht weiterzuziehen (BGE 107 Ib 222 E. 2).

c) Da wie dargelegt die Behörden die ungebührlich lange Dauer des Verfahrens zu verantworten haben und das Entschädigungsverfahren bei einem rechtsstaatlichen Verfahrensablauf vor dem Inkrafttreten des eidgenössischen Raumplanungsgesetzes am 1. Januar 1980 hätte abgeschlossen werden können und müssen, ist es mit dem Grundsatz von Treu und Glauben nicht vereinbar, dass der Kanton Zürich von der ihm erst seit dem 1. Januar 1980 zustehenden Möglichkeit, das Verwaltungsgerichtsurteil ans Bundesgericht weiterzuziehen, Gebrauch machen kann. Sonst würde er Nutzen ziehen aus einer ungebührlichen Verzögerung, die ihm selber zur Last fällt. Auf die Beschwerde kann deshalb nicht eingetreten werden.

4.- a) Selbst wenn man annehmen wollte, das Prinzip von Treu und Glauben führe nicht dazu, dass dem Kanton die Befugnis, Verwaltungsgerichtsbeschwerde zu erheben, abzusprechen wäre, könnte er mit seiner Beschwerde keinen Erfolg haben. Denn der Kanton könnte aus den erwähnten rechtsstaatlichen Gründen zumindest nicht einen Vorteil für sich beanspruchen, der ihm aus der materiellrechtlichen Situation nach dem 1. Januar 1980 erwüchse. Wenn das alte Recht, wie es vor dem Inkrafttreten des Raumplanungsgesetzes galt, für den privaten Grundeigentümer günstiger war, hat er nach dem Gesagten Anspruch darauf, dass es und nicht das neue Recht angewendet werde.

b) Gemäss dem bundesrechtlichen Begriff der materiellen Enteignung, dessen Umschreibung durch das Bundesgericht wiederholt publiziert wurde (BGE 109 Ib 15 f. E. 2 mit Hinweisen), kann von einer materiellen Enteignung der Beschwerdegegner entgegen der vom Verwaltungsgericht in seiner Vernehmlassung ausgesprochenen Meinung nicht die Rede sein. Die landwirtschaftlich genutzten Grundstücke der Beschwerdegegner waren in dem für die Beurteilung massgebenden Zeitpunkt (Veröffentlichung der Schutzverordnung vom 23. Juli 1970, § 23) aus rechtlichen Gründen nicht - auch nicht in naher Zukunft - überbaubar.

Der Weiler Ellikon besass keine den Anforderungen des damals geltenden Bundes- und kantonalen Rechts entsprechenden Abwasseranlagen (Eidg. Gewässerschutzgesetz vom 16. März 1955; kantonales Wassergesetz vom 2. Juli 1967, Wassergesetz). Auch wenn die Grundstücke gemäss der früheren Bauordnung Marthalen vom 4. März/3. Juni 1965 in einer Bauzone für Einfamilienhäuser lagen, war eine Überbauung mit Wohnhäusern nicht möglich, weil die häuslichen Abwässer einer Kanalisation hätten zugeführt werden müssen (§ 87 Wassergesetz). Provisorische Lösungen konnten nur in Ausnahmefällen gestattet werden (§ 88 Wassergesetz). Es konnte daher auch nicht mit einer Überbauung in naher Zukunft gerechnet werden, schloss doch das Erfordernis einer Ausnahmebewilligung eine derartige Annahme aus (BGE 106 Ia 373 E. 2b). Ein entsprechendes, im Jahre 1968 für Parzelle Nr. 1730 eingereichtes Gesuch wurde übrigens am 8. Mai 1968 abgelehnt. Das Verwaltungsgericht stellte richtigerweise selbst fest, ein potentieller Käufer hätte nicht mit einer Überbauung vor 10-15 Jahren rechnen können. Eine materielle Enteignung gemäss dem bundesrechtlichen Begriff des Raumplanungsgesetzes liegt somit nicht vor.

c) Vor dem Inkrafttreten des eidgenössischen Raumplanungsgesetzes hatten die Kantone die Freiheit, den Begriff der materiellen Enteignung weiter zu fassen und kantonalrechtlich eine Entschädigung auch in Fällen zu gewähren, in denen sie nach Art. 22ter BV nicht geschuldet war. In diesem Sinn hat das Verwaltungsgericht entschieden. Nach dem Rechtszustand, wie er vor dem Inkrafttreten des Raumplanungsgesetzes gegeben war, ist sein Urteil nicht zu beanstanden. Es ergibt sich somit, dass die Beschwerdegegner zwar nach heutigem Recht keine Entschädigung aus materieller Enteignung beanspruchen, aber nach früherem Recht einen solchen Anspruch geltend machen können. Da die Behörden die ungebührlich lange Dauer des Verfahrens zu verantworten haben, müsste, wenn auf die Verwaltungsgerichtsbeschwerde eingetreten werden könnte, nach dem Grundsatz von Treu und Glauben die Frage der materiellen Enteignung nach der materiellrechtlichen Situation vor dem 1. Januar 1980 beurteilt werden. Wäre auf die Beschwerde einzutreten, müsste sie somit abgewiesen werden.