A.- Dr. X., damals noch als Fabrikant in Surabaja (Java) tätig, erwarb 1953 in Uetikon am See ein Wohnhaus mit Scheune samt 23 319 m2 Land. Er beabsichtigte, nach seiner Rückkehr in die Schweiz hier zu wohnen und etwas Landwirtschaft zu treiben. Im Jahre 1956 kehrte er in die Schweiz zurück; er hoffte damals immer noch, aus der Liquidation seines Besitzes in Indonesien ein beträchtliches Vermögen zu retten. Dies gelang dann aber wegen der dortigen wirtschaftlichen und politischen Verhältnisse nicht. Ab 1958 war er als Unternehmensberater tätig. Er bewohnte die Liegenschaft in Uetikon bis 1961.

X. versuchte 1959, den gesamten Landbesitz an die MON-SANTO Research SA zu veräussern. Ein vertraglich eingeräumtes Kaufsrecht wurde vom Berechtigten nicht ausgeübt. Am 7. Januar 1961 verkaufte X. das Wohnhaus samt den Ökonomiegebäuden und 5000 m2 Land zum Preise von Fr. 400 000.-- Am 2. Februar 1962 veräusserte er 3515 m2 zum Preise von Fr. 153 472.50, am 9. Februar 1962 3000 m2 zu Fr. 150 000.--. und schliesslich am 16. Januar 1965 - auf Grund eines Kaufsrechtes, das er im Jahre 1961 eingeräumt hatte - 1798 m2 zu Fr. 152 830.-- an die Käuferin des Wohnhauses.

Bei der Veranlagung der 12. Wehrsteuerperiode (1963/64) wurden die drei letzten Verkäufe als gewerbsmässiger Liegenschaftenhandel betrachtet und der dabei erzielte Gewinn von Fr. 423 328.-- als wehrsteuerpflichtiges Einkommen im Sinne des Art. 21 Abs. 1 lit. a WStB behandelt.

B.- X. rekurrierte an die kantonale Wehrsteuerrekurskommission; der Rekurs wurde abgewiesen (Entscheid vom 28. September 1966). Der Begründung ist zu entnehmen:

Die berufliche Tätigkeit des Steuerpflichtigen stehe zwar in keinem Zusammenhang mit den Liegenschaftsverkäufen. Indessen habe er schon zur Zeit des Kaufes nicht über die Mittel für einen derart umfangreichen Grundbesitz verfügt. Er habe vielmehr in der Hoffnung gehandelt, aus den Betrieben in Surabaja ein Vermögen zu lösen. Er habe daher von Anfang an damit rechnen müssen, er werde gezwungen sein, die Liegen schaften wieder zu verkaufen. Dass er nach einem möglichst grossen Gewinn gestrebt habe, ergebe sich aus der spätern Parzellierung. Er habe auch Fremdkapital beansprucht, was ebenfalls auf Gewerbsmässigkeit hinweise.

C.- Gegen diesen Entscheid reichte X. eine Verwaltungsgerichtsbeschwerde beim Bundesgericht ein. Er beantragt, für die Einkommenssteuer sei nur der Erwerb aus seiner Beratertätigkeit (Fr. 18 600.--) zu berücksichtigen. Er macht geltend: Als er die Liegenschaft erworben habe, habe er angenommen, es werde ihm möglich sein, auf seinem Gut mit dem aus Java herauszuziehenden Vermögen zu leben. Daher habe er sofort den Auftrag erteilt, sein Haus umzubauen. Noch nach seiner Rückkehr habe er vorerst geglaubt, es werde ihm möglich sein, sein Vermögen teilweise in die Schweiz zu überweisen. Erst als sich gezeigt habe, dass er in Indonesien alles verloren habe, sei er gezwungenermassen zum Verkauf seines Grundbesitzes in Uetikon geschritten. Er habe zuerst versucht, seinen Sitz gesamthaft zu verkaufen. Nachdem sich diese Verhandlungen zerschlagen hatten, habe er sein Haus am 7. Januar 1961 abgestossen und nachher - in verschiedenen Teilen - auch das Land. Als er das Land gekauft habe, habe er nicht an einen Wiederverkauf gedacht.

D.- Die Wehrsteuerverwaltung des Kantons Zürich und die Eidgenössische Steuerverwaltung beantragen, die Beschwerde sei abzuweisen.

1. Nach den Feststellungen der Vorinstanz hat der Beschwerdeführer seinen Grundbesitz in vier Teilverkäufen in den Jahren 1961 bis 1962 abgestossen. Hinsichtlich des am 7. Januar 1961 abgeschlossenen Verkaufs des Wohnhauses mit 5 000 m2 Umschwung wurde auch von der Veranlagungsbehörde kein unter die Steuerpflicht gemäss Art. 21 Abs. 1 lit. a WStB fallendes Geschäft erblickt. Umstritten ist somit bloss, ob der Erlös des nach dem 7. Januar 1961 verkauften Landes steuerpflichtig sei.

2. Gewinne aus dem Verkauf von Liegenschaften unterliegen der Wehrsteuer vom Einkommen nur dann, wenn der Veräusserer gewerbsmässig Handel treibt (Art. 21 Abs. 1 lit. a WStB) oder wenn der Gewinn im Betrieb eines zur Führung kaufmännischer Bücher verpflichteten Unternehmens erzielt worden ist (Art. 21 Abs. 1 lit. d WStB). Unbestritten ist, dass der Beschwerdeführer diese zweite Voraussetzung nicht erfüllt. Hingegen nimmt die Wehrsteuerverwaltung des Kantons Zürich mit der Eidg. Steuerverwaltung an, jener habe die Gewinne beim gewerbsmässigen Handel mit Liegenschaften erzielt.

3. a) Ein gewerbsmässiger Liegenschaftshandel liegt vor, wenn ein Steuerpflichtiger Grundstückskäufe und -verkäufe nicht bloss im Rahmen der Verwaltung seines Vermögens oder in Ausnützung einer sich zufällig bietenden Gelegenheit vornimmt, sondern planmässig und mit der Absicht, damit einen Verdienst zu erzielen. Die Gewerbsmässigkeit kann sich einerseits aus der Häufung der An- und Verkäufe ergeben, anderseits aber auch bei vereinzelten Umsatzgeschäften aus dem Zusammenhang mit einer andern Erwerbstätigkeit, in deren Schranken sie erfolgt. So betrachtet das Bundesgericht den Kauf und Verkauf einer Liegenschaft durch Baumeister, Gipsermeister, Architekten und ähnliche Berufsleute als gewerbsmässig, wenn diese damit ihrer Unternehmung oder ihrem Bureau Arbeit verschaffen wollen (BGE 82 I 174, BGE 92 I 122 Erw. 2 a; ASA 30 S. 374).

b) Der Beschwerdeführer gehört nicht zu den Personen, deren Liegenschaftenhandel einem Hauptberuf dient; die Verkäufe standen in keinem Zusammenhang mit seiner Tätigkeit als Unternehmensberater. Auch die Steuerbehörden ziehen dies nicht in Zweifel; sie machen aber geltend, der Beschwerdeführer habe von Anfang an an ein Spekulationsgeschäft gedacht. Für diese Annahme fehlen indessen zwingende Anhaltspunkte.

Der Beschwerdeführer hat das Gut "Im Brand" erworben, um dieses zu seinem Alters- und Ruhesitz zu gestalten. Er hat es nach seinem Geschmack ausgebaut und es während fünf Jahren bewohnt. Möglich ist, dass er beim Erwerb des Gutes auch Überlegungen hinsichtlich einer späteren Veräusserung anstellte. Dies wird aber kaum jemand unterlassen, der sein Vermögen in Grund und Boden anlegt. Die Veräusserung des Gutes erfolgte anerkanntermassen unter einem gewissen Zwang. Nachdem die Hoffnungen des Beschwerdeführers, sein Vermögen aus Java in die Schweiz überführen zu können, sich nicht verwirklichten, war die Belastung durch den Unterhalt für ihn zu gross. Er musste daher einen Verkauf anstreben. Er hat dabei sein zu privaten Zwecken gekauftes und nicht mehr tragbares Land bestmöglich veräussert. Dass er dabei einen erheblichen Gewinn erzielen konnte, macht diesen noch nicht zum Einkommen im Sinne von Art. 21 WStB.

4. Was die Steuerbehörden dagegen vorbringen, dringt nicht durch:

a) Die Veranlagungsbehörde glaubt, dass der Beschwerdeführer schon deshalb den Rahmen gewöhnlicher Vermögensverwaltung überschritten habe, weil er sein Gut parzellieren liess. Unbestrittenermassen versuchte der Beschwerdeführer zunächst, seinen Grundbesitz gesamthaft zu verkaufen. Erst nachdem seine Versuche nicht zum Ziele führten, schritt er zur Parzellierung. Diese stellte aber keine über eine gewöhnliche Liegenschaftenverwaltung hinausgehende Massnahme dar. Es war nicht schwer, das Gut in vier Grundstücke aufzuteilen; jeder Architekt konnte ohne besondere Mühe geeignete Vorschläge unterbreiten.

b) Die Veranlagungsbehörde hat besonderes Gewicht auf den Umstand gelegt, dass der Beschwerdeführer Liegenschaftsvermittler zu Hilfe gezogen habe. Dies spreche gegen die blosse Ausnützung zufällig sich bietender Gelegenheiten. Dieser Beizug genügt indessen nicht, um ein gewerbsmässiges Handeln nachzuweisen; denn es brauchte vermutlich nicht mehr als einige Inserate, um damals in der Zeitspanne von etwa 2 Jahren in dieser gesuchten Lage vier Käufer zu finden. Bestimmt setzte es aber keine intensive Tätigkeit voraus. Die Tatsache, dass der Beschwerdeführer Vermittler in Dienst nahm, beweist vielmehr, dass sein persönlicher Einsatz bescheiden war.

c) Die Vorinstanz schliesst die Annahme, der Beschwerdeführer habe im Rahmen einer ordentlichen Vermögensverwaltung gehandelt, auch deshalb aus, weil er weder zur Zeit des Kaufes noch später die Mittel für einen derart umfangreichen Grundbesitz besessen habe. Richtig ist, dass sich die Gewerbsmässigkeit aus der Inanspruchnahme bedeutender fremder Gelder ergeben kann (BGE 92 I 122 Erw. 2 a). Im vorliegenden Fall fehlt es an diesbezüglichen Feststellungen der Vorinstanz. Aber auch wenn der Beschwerdeführer bedeutende fremde Mittel zum Erwerb des Gutes "Im Brand" eingesetzt haben sollte, drängen seine damaligen Verhältnisse nicht zum vorneherein die Annahme eines spekulativen Kaufes auf; die Steuerbehörden bringen denn auch nichts vor, was seine Behauptung, er habe noch 1956 (bei seiner Rückkehr) an die teilweise Rettung seines Besitzes in Java geglaubt, als unzutreffend erscheinen liesse.

5. Nach der Einschätzung des Kantonalen Steueramtes sind dem Beschwerdeführer - neben dem unbestrittenen Einkommen von 18 600 Franken - eigene Arbeiten im Betrage von Fr. 3968.-- angerechnet worden. Die Eidg. Steuerverwaltung macht in ihrer Vernehmlassung geltend, diese Aufrechnung sei in der Folge nicht angefochten worden. Dem Entscheid der Wehrsteuer-Rekurskommission ist darüber nichts zu entnehmen. Der Beschwerdeführer beantragt seinerseits, sein wehrsteuerpflichtiges Einkommen für die 12. Periode (1963/64) sei auf Fr. 18 600.-- festzusetzen. Unter diesen Umständen ist die Sache zur weiteren Abklärung und zu neuem Entscheid an die Vorinstanz zurückzuweisen.

Demnach erkennt das Bundesgericht:

Die Beschwerde wird gutgeheissen, das Urteil der Vorinstanz aufgehoben und die Sache zu neuer Entscheidung im Sinne der Erwägungen zurückgewiesen.