A.- Pierre Chevallier, né en 1920, ressortissant français, domicilié à Chêne-Bourg (GE), est affilié à l'AVS suisse depuis 1948. Il travaillait alors dans le secteur privé. En 1953, il entra au service de l'Organisation internationale du travail (OIT), qui l'occupa d'abord comme nettoyeur puis comme gardien de nuit. Depuis 1960, il a le statut de fonctionnaire. Dès lors, il assume seul la charge des cotisations AVS/AI/APG. dont jusque-là l'OIT avait supporté une partie en qualité d'employeur.

A la suite de la publication de l'arrêt rendu le 15 juin 1971 par le Tribunal fédéral des assurances dans la cause Hochberger (RO 97 V 144 - RCC 1972 p. 630), la Caisse cantonale genevoise de compensation vérifia systématiquement la situation des affiliés étrangers employés par des organisations internationales. Ce travail s'échelonna sur toute l'année 1973. Dans quelques cas, la caisse estima que l'intéressé n'avait pas le droit d'être assuré. Elle le constata dans une dizaine de décisions, qui, si on l'en croit et qu'on fasse abstraction du présent litige, seraient passées en force.

En ce qui concerne Pierre Chevallier, la caisse de compensation lui notifia le 14 décembre 1973 qu'en qualité de fonctionnaire étranger au service de l'OIT il n'aurait plus dû cotiser dès 1960, qu'en conséquence elle allait lui rembourser les cotisations versées de 1963 à 1973, soit 13'226 fr. 20, que l'obligation de restituer les cotisations antérieures était éteinte par la prescription mais que ces dernières seraient "prises en compte pour le calcul de la rente".

B.- Pierre Chevallier recourut. Il contesta n'avoir pas eu le droit de demeurer affilié à l'AVS depuis 1960 et allégua que, même s'il avait cotisé à tort, la décision attaquée contrevenait au principe de la bonne foi. Il conclut à ce qu'on le maintînt dans l'AVS.

La caisse conclut au rejet du recours. Selon elle, incontestablement, l'affiliation avait été maintenue à tort; il fallait mettre fin à cette situation illégale; tout au plus pouvait-on se demander si le principe de la bonne foi ne devait pas amener à le faire pour l'avenir seulement, en respectant ainsi les éventuels droits acquis du recourant, solution qui cependant créerait une inégalité de traitement avec les personnes qui avaient accepté des décisions semblables à celle faisant l'objet du litige.

La Commission cantonale de recours rejeta le recours le 17 mai 1974. Elle déclara la décision attaquée conforme à la loi et à la jurisprudence et, par souci de garantir une application uniforme du droit, nia qu'un assuré pût - dans la situation du recourant - exciper de sa bonne foi pour jouir d'un avantage illicite.

C.- Pierre Chevallier a formé un recours de droit administratif contre le jugement cantonal. Il admet avoir été affilié sans droit mais persiste à alléguer qu'il doit, en vertu du principe de la bonne foi, être maintenu dans son statut d'assuré. Il conclut à l'annulation de la décision en cause.

La caisse de compensation relève que, de toute façon, il faut renoncer à assurer le recourant dès et y compris 1974.

Dans sa réponse, l'Office fédéral des assurances sociales conclut au rejet du recours et au renvoi de l'affaire à l'administration, afin qu'elle examine s'il n'y a pas lieu de restituer aussi les cotisations versées de 1954 à 1962. Selon l'office, le recourant aurait dû s'apercevoir, s'il avait fait preuve de la diligence qu'on pouvait attendre de lui, de ce que la caisse de compensation l'avait affilié, ou gardé comme affilié, à tort.

1. a) Aux termes de l'art. 1er al. 2 lit. a LAVS, ne sont pas assurés les ressortissants étrangers qui bénéficient de privilèges et d'immunités diplomatiques ou d'exemptions fiscales particulières. Le recourant Pierre Chevallier est Français. Dès 1960 au moins, il bénéficie des exemptions fiscales particulières auxquelles ont droit les fonctionnaires de l'OIT. Il est donc incontestable, et aujourd'hui incontesté, que depuis lors il ne lui était plus permis d'être assuré, ni à la caisse de compensation de le traiter comme tel.

b) Les cotisations versées indûment par des personnes qui ne sont pas tenues de cotiser doivent être restituées à celui qui les a payées; la créance en restitution est prescriptible; le délai de la prescription absolue est de dix ans, par analogie avec la solution du droit civil (arrêt Hochberger, cité dans l'exposé des faits). L'Office fédéral des assurances sociales comprend la jurisprudence dans ce sens que le délai de dix ans ne s'appliquerait pas en toutes circonstances. Il voit justement dans la présente cause un cas où un délai plus long serait indiqué. Il n'en précise pas la durée, mais paraît songer à vingt ans, puisqu'il propose l'éventuelle restitution des cotisations versées depuis 1954.

Les réserves faites à l'époque par la Cour de céans n'autorisent cependant pas à considérer le délai de dix ans qu'elle a instauré comme une indication plus ou moins vague, valable lorsque l'administration ou le juge ne sont pas convaincus de l'opportunité d'agir autrement. Ce serait méconnaître le but de la prescription, qui est de protéger, après un certain temps, les situations acquises (voir par exemple RO 100 V 154, plus spécialement consid. 3c pp. 157-158; 97 V 144, consid. 2a p. 148). Suivant la conception de l'Office fédéral des assurances sociales, il n'y aurait plus de sécurité, ni pour l'assuré ni pour l'administration. Il ne se justifie dès lors pas de maintenir les réserves susmentionnées, sauf pour les cas d'abus de droit. Par conséquent, la caisse intimée doit rembourser à Pierre Chevallier les cotisations qu'il a payées au cours des dix années qui ont précédé la décision attaquée, donc de 1963 à 1973. Puisqu'il est exclu, pour les motifs exposés ci-dessus, de restituer les cotisations versées indûment pour une période antérieure, il faudra les prendre en considération plus tard, à l'occasion du calcul d'une rente, si l'on ne veut pas créer d'inégalité de traitement entre l'institution d'assurance et les assurés dans ce domaine. Tout au plus sied-il de réserver ici aussi l'éventualité d'un abus de droit, ce que la Cour de céans a du reste déjà fait dans l'arrêt Hochberger.

2. Le recourant excipe du principe de la bonne foi pour demander d'être maintenu dans l'assurance, bien qu'il n'en remplisse plus les conditions. Il cite à ce propos de la doctrine et de la jurisprudence relatives aux cas, exceptionnels, dans lesquels l'intérêt du justiciable doit primer celui de l'administration au rétablissement de la légalité (v. GRISEL, Droit administratif suisse, p. 57; GIACOMETTI, Allgemeine Lehren des rechtsstaatlichen Verwaltungsrechts, p. 223; MERZ, Commentaire ad art. 2 CCS, note 72; PIERRE SALADIN, La révocation des actes administratifs, pp. 129-130, 167-168; RO 89 I 434, 91 I 94). Le Tribunal fédéral des assurances a cependant jugé récemment que le principe de la protection de la bonne foi cède le pas à une réglementation spéciale résultant impérativement et directement de la loi (RO 100 V 154, 158 et 162). Or il a vu une telle réglementation dans les dispositions de l'art. 16 LAVS, aux termes desquelles les cotisations dont le montant n'a pas été fixé par décision notifiée dans un délai de cinq ans ne peuvent plus être exigées ni payées (RO 100 V 154). Il ne saurait en aller autrement du principe très semblable posé dans l'arrêt Hochberger pour combler une lacune de la loi, s'agissant de cotisations payées à tort par des personnes non assujetties à l'AVS. Dans ces conditions, c'est à juste titre que la caisse de compensation a décidé de rembourser au recourant les contributions versées indûment, dans la mesure où les règles concernant la prescription le permettaient, et déclaré formatrices de rente celles qui ne pouvaient pas être restituées. En l'occurrence, on ne saurait en effet parler d'abus de droit. Le recours doit ainsi être rejeté, mais sans qu'on suive la proposition de l'Office fédéral des assurances sociales de réformer in pejus la décision attaquée ou du moins de compléter l'instruction à cette fin.

Par ces motifs, le Tribunal fédéral des assurances prononce:

Le recours est rejeté.