A.- Par décision du 26 juin 1973, la Caisse cantonale genevoise de compensation a fixé à 9000 fr. (plus frais d'administration) les cotisations AVS/AI/APG dues pour l'année 1973 par le ressortissant israélien Edward K., en tant qu'assuré n'exerçant pas d'activité lucrative. Elle s'est fondée pour ce faire sur la taxation fiscale 1971/72 qui, calculant l'impôt forfaitaire sur la base de la dépense du contribuable (art. 18bis AIN et art. 4A de la loi générale sur les contributions publiques), avait retenu un revenu de 136770 fr., lequel, multiplié par 30 (art. 28 RAVS), donnait une fortune déterminante de 4 103 100 fr.

B.- L'assuré a recouru. Il faisait valoir qu'il avait renoncé à l'imposition forfaitaire par lettre du 29 décembre 1972 et concluait au calcul des cotisations sur la base d'une fortune de 2 720 675 fr. indiquée dans sa déclaration d'impôts pour 1971.

Par jugement du 17 mai 1974, la Commission cantonale genevoise de recours en matière d'AVS a rejeté le recours, en réservant toutefois une rectification éventuelle sur la base d'une communication ultérieure du fisc...

C.- Edward K. interjette recours de droit administratif. Il invoque à nouveau sa déclaration fiscale et reprend sa conclusion de première instance.

Tandis que la caisse de compensation intimée conclut au rejet du recours en l'état, l'Office fédéral des assurances sociales met en question le statut de l'assuré et propose de renvoyer la cause au premier juge pour qu'il statue sur la base des données du dossier fiscal.

Le juge délégué a requis production des dossiers fiscaux.

1. La caisse et le juge cantonal ont qualifié l'assuré de personne n'exerçant pas d'activité lucrative. Le recourant n'a pas contesté cette qualification, que l'Office fédéral des assurances sociales en revanche met en question.

Selon l'art. 104 lit. b OJ, le recours peut être formé pour constatation inexacte ou incomplète des faits pertinents, sous réserve de l'art. 105 al. 2. Or ce dernier article - ici applicable en vertu de l'art. 132 OJ - dispose que "lorsque le recours est dirigé contre la décision d'un tribunal cantonal ou d'une commission de recours, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure".

En l'occurrence, les faits retenus par la commission de recours ne sont pas manifestement inexacts ou incomplets. Certes, la remarque de l'office fédéral suscite quelques doutes quant à l'exactitude de ces faits; mais ces doutes ne sont guère étayés par les dossiers fiscaux (le fait que la déclaration pour 1973 porte un montant de 267 058 fr. sous une rubrique désignée par "Bureau à Munich [supprimé en 1974]" ne suffit pas à établir la présence d'une activité lucrative) et ne sauraient rendre manifestement inexacts ou incomplets les faits constatés par le premier juge.

La commission de recours n'a par ailleurs pas établi les faits au mépris de règles essentielles de procédure. Edward K. s'étant dit sans activité lucrative et la caisse de compensation intimée ayant admis cette situation, il n'incombait pas au juge de mettre en doute la réalité de cet élément, que nul ne contestait, et d'effectuer une enquête d'office à ce sujet.

Aussi le Tribunal fédéral des assurances doit-il statuer sur la base des faits retenus par le premier juge (voir p.ex. arrêt Ortiz du 10 janvier 1973, non publié sur ce point).

2. Les assurés n'exerçant pas d'activité lucrative paient des cotisations sur la base de leur fortune et du revenu qu'ils tirent de rentes, selon un tableau figurant à l'art. 28 al. 1 RAVS. Si un tel assuré dispose à la fois d'une fortune et d'un revenu sous forme de rente, le montant de la rente annuelle multiplié par 30 est ajouté à la fortune (art. 28 al. 2 RAVS).

Tandis que la fortune est déterminée par les autorités fiscales, dont l'estimation lie en principe les caisses de compensation (art. 23 al. 4 RAVS), la détermination du revenu acquis sous forme de rente incombe aux caisses de compensation (art. 29 RAVS). Ce système ne soulève guère de problèmes particuliers, si les données fiscales relatives à la fortune reposent sur une taxation ordinaire, même exécutée d'office en l'absence de déclaration du contribuable. Mais la taxation extraordinaire des étrangers sans activité lucrative se différencie fondamentalement de la taxation ordinaire: elle n'indique - ne serait-ce que sous forme d'estimation - ni la fortune ni le revenu réels du contribuable, et encore moins la source de ce revenu, mais un revenu fictif en fonction de la seule dépense.

Ces indications ne sont guère utilisables au regard de l'art. 28 RAVS, en vertu duquel sont déterminants la fortune - arrêtée autant que possible à son montant réel - d'une part, et uniquement les revenus provenant de rentes, à l'exclusion des revenus de la fortune, d'autre part. La taxation fiscale n'est donc en soi pas déterminante, et il appartient à la caisse d'estimer la fortune sur la base de toutes les indications dont elle peut disposer. La jurisprudence a cependant réservé le cas où il se révèle impossible d'évaluer la fortune de l'intéressé: la caisse peut alors assimiler à une rente à capitaliser, au sens de l'art. 28 al. 2 RAVS, le revenu pris pour base de l'impôt forfaitaire (voir par exemple RCC 1968 p. 272, 1965 p. 93 et 1973 p. 398).

3. En l'espèce, la caisse a assimilé à une rente le revenu pris pour base de l'impôt forfaitaire, selon la méthode rappelée ci-dessus. Le recourant demande au contraire que soit retenue sa fortune réelle, qu'il chiffre à 2 720 675 fr.

Sans vouloir mettre en doute l'intégrité ni la bonne foi de l'assuré, il faut constater tout d'abord qu'il n'a pas indiqué - et n'avait d'ailleurs pas à indiquer, puisqu'il invoquait expressément l'impôt forfaitaire - sa fortune dans la déclaration fiscale pour 1971; dans la formule même de déclaration ne figure que la valeur des immeubles en Suisse, soumise à l'impôt sur la fortune en raison du lieu de situation de ces immeubles, et la formule annexe relative à l'état des titres et autres placements de capitaux était indispensable à l'imputation de l'impôt anticipé et de la retenue supplémentaire d'impôt USA. Il faut constater ensuite que l'autorité fiscale n'a vérifié - et n'avait à vérifier - les indications relatives à la fortune que dans la mesure où cette vérification était nécessaire à l'examen des conditions mises à l'impôt forfaitaire (art. 18bis al. 2 AIN et art. 4A al. 3 de la loi générale sur les contributions publiques); le défaut de contestation ne vaut donc pas constat d'exactitude. Il faut remarquer enfin que le chiffre invoqué par le recourant ne correspond pas exactement aux indications portées dans les pièces fiscales; il paraît en particulier ne pas englober la fortune immobilière, du moins à première vue.

La conclusion du recourant ne peut donc être admise en l'état, et l'évaluation de sa fortune exigerait un plus ample examen. Or pareil examen est-il possible de la part de la caisse de compensation? Dans les cas où le Tribunal fédéral des assurances a déclaré possible une évaluation de la fortune, la situation était relativement simple et aisée à embrasser dans son ensemble: ici le montant d'une pension alimentaire (RCC 1968 p. 272), là une fortune immobilière et la valeur d'un logement gratuit (RCC 1965 p. 93). Il en va fort différemment en l'occurrence, où le dossier fiscal révèle des transactions financières très nombreuses, qui modifient constamment les éléments de la fortune et leur répartition. Pour vérifier - par une vérification qui mérite ce titre - les déclarations de l'intéressé quant à l'état de sa fortune à une date donnée, il est donc indispensable d'examiner toutes les transactions effectuées à tout le moins au cours de l'année précédente (voire d'une période plus longue), de contrôler l'emploi des créances réalisées et l'origine des capitaux nouvellement engagés, de comparer ces éléments aux revenus déclarés et de vérifier ces revenus eux-mêmes. Pour le fisc qui, procédant à une taxation ordinaire, doit établir non seulement la fortune mais plus encore le revenu, il est nécessaire et usuel d'effectuer des examens d'une pareille ampleur. Pour une caisse de compensation, en revanche, de telles investigations sont disproportionnées par rapport au seul résultat déterminant en matière d'AVS, qui est l'évaluation de la fortune; et cela abstraction faite de ce que la caisse de compensation ne dispose pas des moyens matériels nécessaires pour des recherches aussi amples et complexes.

Il apparaît donc impossible d'évaluer la fortune réelle de l'intéressé, en ce sens que les mesures de vérification sont disproportionnées avec le résultat désiré et ne peuvent être exigées de la part d'une caisse de compensation. Or, nonobstant la présomption de bonne foi qui doit être attachée à toute déclaration d'un assuré, la vérification ou tout au moins sa possibilité doit être donnée. C'est pourquoi force est de constater qu'on se trouve ici en présence de l'un de ces cas, réservés par la jurisprudence, où la caisse est en droit d'assimiler à une rente, dont le montant est capitalisé selon l'art. 28 al. 2 RAVS, le revenu pris pour base de l'impôt forfaitaire.

4. Le premier juge a toutefois réservé une rectification éventuelle sur la base d'une communication ultérieure du fisc, et la caisse de compensation se déclare prête à traiter le passage de l'impôt forfaitaire à la taxation ordinaire comme un changement de situation. L'Office fédéral des assurances sociales objecte à ces thèses qu'un changement de mode de taxation ne constitue pas un cas d'application des règles de l'art. 25 RAVS et que l'autorité fiscale, passant à la taxation ordinaire à partir de 1973, n'aura jamais vérifié la situation de fortune au jour déterminant du 1er janvier 1971.

Les objections de l'Office fédéral des assurances sociales sont en soi fondées. Il est clair en effet que, passant dès 1973 du système de l'impôt forfaitaire au mode de taxation ordinaire, le fisc établira la fortune au 1er janvier 1973 et ne se préoccupera de l'état antérieur que dans la mesure où l'examen en sera nécessaire à la vérification de l'état de fortune au 1er janvier 1973 et du revenu durant les années de calcul. On n'aura donc jamais une situation, formellement vérifiée par l'autorité fiscale, de la fortune au 1er janvier 1971, qui est la date déterminante pour la cotisation 1973 selon le rythme normal des périodes de calcul, de taxation et de cotisations. Il est tout aussi évident, par ailleurs, que l'on ne se trouve pas en présence d'une modification des bases mêmes de la fortune, apparentée et par conséquent assimilable à la modification des bases du revenu que connaît l'art. 25 RAVS; le changement porte sur le système d'imposition.

C'est pourtant à cette dernière solution, envisagée par la caisse de compensation, qu'il y a lieu de s'arrêter. En effet, l'assimilation à une rente à capitaliser, au sens de l'art. 28 al. 2 RAVS, du revenu pris pour base de l'impôt forfaitaire n'est qu'un pis-aller. Il serait donc non seulement choquant pour l'assuré mais plus encore contraire à la logique de continuer à appliquer cette solution d'exception pour des périodes pour lesquelles la fortune réelle est connue et a été vérifiée par le fisc selon le mode ordinaire de taxation. Le passage de l'impôt forfaitaire à la taxation fiscale ordinaire représente un changement si incisif du mode d'évaluation de la fortune qu'il est alors permis d'appliquer une règle parallèle à celle de l'art. 25 RAVS, c'est-à-dire de prendre la fortune réelle nouvellement établie pour base de calcul des cotisations dès le jour où ce changement de traitement fiscal est intervenu.

Le recours doit donc être rejeté, le jugement de première instance étant confirmé avec les précisions ci-dessus.

Par ces motifs, le Tribunal fédéral des assurances prononce:

Le recours est rejeté dans le sens des considérants.