A.- M., de nationalité espagnole, marié, père de trois enfants, a exercé une activité lucrative en Suisse, de 1971 à 1973, au bénéfice d'un permis A (saisonnier).

En 1977, il est revenu en Suisse sans être au bénéfice d'une autorisation de travail ou de séjour. Il a trouvé un emploi de chauffeur au service, successivement, de deux missions permanentes auprès des organisations internationales à Genève, tout d'abord la représentation du Gabon, puis la représentation de la République de Côte d'Ivoire, pour laquelle il a travaillé à partir du 16 février 1979. Il a été licencié pour le 30 septembre 1990, à la suite de mesures d'austérité décidées par le gouvernement de la Côte d'Ivoire. Pendant la durée de ces deux engagements, il fut titulaire d'une carte de légitimation (de type E) délivrée par le Département fédéral des affaires étrangères.

Durant cette même période, il n'a été affilié à aucun régime de sécurité sociale, ni en Suisse ni à l'étranger.

B.- Après son licenciement, M. n'a pas retrouvé d'emploi. Il a obtenu une autorisation de séjour en Suisse (permis B).

Le 19 juin 1991, il a demandé à la Caisse cantonale genevoise de compensation de l'affilier aux régimes d'assurances sociales suisses (AVS/AI/APG, assurance-chômage) en tant que salarié d'un employeur non tenu de payer des cotisations, avec effet rétroactif au 1er janvier 1986, soit dans les limites de la péremption quinquennale selon l'art. 16 al. 1 LAVS.

Par décision du 20 janvier 1992, la caisse de compensation a rejeté la demande, au motif que l'intéressé, durant la période pour laquelle il demandait à payer des cotisations, bénéficiait des privilèges et immunités diplomatiques et que, de ce fait, il ne pouvait pas être considéré comme faisant partie du cercle des personnes assujetties à l'AVS.

C.- Par jugement du 23 juin 1993, la Commission cantonale genevoise de recours en matière d'AVS a rejeté le recours formé contre cette décision par M.

D.- Contre ce jugement, M. interjette un recours de droit administratif dans lequel il demande au tribunal de constater qu'il était obligatoirement assuré à l'AVS depuis 1977 et qu'il doit, de ce fait, payer des cotisations sur le revenu qu'il a réalisé dès le 1er janvier 1986.

La caisse de compensation conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales (OFAS).

1. (Pouvoir d'examen)

2. Le litige porte uniquement sur l'assujettissement à l'AVS du recourant pour une période pendant laquelle il était au service d'une mission diplomatique. En effet, après la cessation de ses rapports de travail, à fin septembre 1990, et l'obtention d'un permis B, il est devenu obligatoirement assuré à l'AVS en vertu de l'art. 1er al. 1 let. a LAVS (cf. RCC 1989 p. 398; pour les autres assurances, voir notamment l'art. 1er LAI et l'art. 2 LACI).

3. a) Selon l'art. 1er al. 2 let. a LAVS, ne sont pas assurés les ressortissants étrangers qui bénéficient de privilèges et d'immunités diplomatiques ou d'exemptions fiscales particulières. L'art. 1er let. c RAVS considère comme tels les membres des délégations étrangères auprès des organisations internationales ayant leur siège en Suisse, ainsi que les familles de ces personnes.

L'exemption de la sécurité sociale en vertu des privilèges et immunités diplomatiques repose, en droit international, sur la Convention de Vienne sur les relations diplomatiques, du 18 avril 1961 (RS 0.191.01), ratifiée par la Suisse le 30 octobre 1963, par le Gabon le 2 avril 1964 et par la République de Côte d'Ivoire le 1er octobre 1962. A propos de cette exemption, l'art. 33 de ladite Convention dispose ce qu'il suit:

1. Sous réserve des dispositions du paragraphe 3 du présent article, l'agent diplomatique est, pour ce qui est des services rendus à l'Etat accréditant, exempté des dispositions de sécurité sociale qui peuvent être en vigueur dans l'Etat accréditaire.

2. L'exemption prévue au paragraphe 1 du présent article s'applique également aux domestiques privés qui sont au service exclusif de l'agent diplomatique, à condition:

a. Qu'ils ne soient pas ressortissants de l'Etat accréditaire ou n'y aient pas leur résidence permanente; et

b. Qu'ils soient soumis aux dispositions de sécurité sociale qui peuvent être en vigueur dans l'Etat accréditant ou dans un Etat tiers.

3. L'agent diplomatique qui a à son service des personnes auxquelles l'exemption prévue au paragraphe 2 du présent article ne s'applique pas doit observer les obligations que les dispositions de sécurité sociale de l'Etat accréditaire imposent à l'employeur.

4. L'exemption prévue aux paragraphes 1 et 2 du présent article n'exclut pas la participation volontaire au régime de sécurité sociale de l'Etat accréditaire pour autant qu'elle est admise par cet Etat.

5. Les dispositions du présent article n'affectent pas les accords bilatéraux ou multilatéraux relatifs à la sécurité sociale qui ont été conclus antérieurement et elles n'empêchent pas la conclusion ultérieure de tels accords.

Conformément à une décision du Conseil fédéral du 31 mars 1948/20 mai 1958 (cf. RSDIE 1991, p. 553), le régime des privilèges et immunités diplomatiques s'applique également aux membres des missions permanentes auprès des organisations internationales à Genève, qui jouissent d'un statut analogue à celui des missions diplomatiques établies à Berne.

b) Le bénéfice de l'exemption de la sécurité sociale (dite aussi immunité sociale) s'étend aux membres du personnel de service de la mission qui ne sont pas ressortissants de l'Etat accréditaire ou n'y ont pas leur résidence permanente (art. 37 § 3 de la Convention). A l'inverse donc, les ressortissants de l'Etat accréditaire ou les résidents permanents, membres du personnel de service, sont assujettis aux assurances sociales de l'Etat accréditaire (voir la note de la Direction du droit international public du 25 juin 1990, in: CAFLISCH, La pratique suisse en matière de droit international public 1990, RSDIE, 1991 p. 552 ad 7.9); ces ressortissants ou résidents sont traités, en Suisse, comme des salariés dont l'employeur n'est pas tenu de cotiser selon l'art. 6 LAVS (arrêt non publié G. du 17 novembre 1976). En effet, l'obligation d'observer, comme employeur, les dispositions de la sécurité sociale de l'Etat accréditaire n'est applicable à l'agent diplomatique que pour les personnes qui sont à son propre service (art. 33 § 3 de la Convention; voir la communication à ce sujet de la Direction du droit international public à l'OFAS, in: CAFLISCH, La pratique suisse en matière de droit international public 1987, ASDI 1988, p. 241 ss).

c) Par "membre du personnel de service", il faut entendre des membres du personnel de la mission employés au service domestique de celle-ci (art. 1er let. g de la Convention). Il s'agit, notamment, des chauffeurs, des gouvernantes, des jardiniers et des cuisiniers (SALMON, Manuel de droit diplomatique, Bruxelles 1994, no 525; MENÉTREY, Le statut fiscal des représentations diplomatiques et consulaires et de leur personnel, RDAF 1978, p. 88).

4. a) Il y a lieu de constater, tout d'abord, que le recourant n'était pas au service privé d'un agent diplomatique, de sorte que le problème à résoudre ne se pose pas sous l'angle de l'art. 33 § 2 et 3 de la Convention.

Il apparaît, en revanche, qu'il faisait partie du personnel de service d'une mission diplomatique au sens des dispositions conventionnelles précitées, comme en atteste d'ailleurs le fait qu'il était titulaire d'une carte de légitimation remise par le Département fédéral des affaires étrangères. Du reste, le recourant n'a jamais manifesté, dans le passé, la volonté de renoncer aux exemptions sociales (et aussi fiscales; cf. art. 37 § 3 de la Convention) dont il bénéficiait. A cet égard, on peut se demander si sa requête d'affiliation rétroactive aux assurances sociales suisses, après de longues années de silence et au moment seulement où le besoin d'une couverture d'assurance se fait sentir de manière concrète (notamment celle de l'assurance-chômage), n'est pas incompatible avec les règles de la bonne foi et si elle ne devait pas, pour ce motif déjà, être rejetée. Compte tenu de ce qui va suivre, il n'est toutefois pas nécessaire d'approfondir cette question.

b) Le recourant, de nationalité espagnole, n'est pas ressortissant de l'Etat accréditaire. Dès lors, sauf à considérer qu'il avait sa résidence permanente en Suisse, durant ses deux engagements successifs au service d'une représentation étrangère, on doit admettre qu'il n'était pas assujetti aux régimes de sécurité sociale suisse. A ce propos, le recourant fait valoir qu'il avait acquis, avec les années, une résidence permanente en Suisse à la date à laquelle sa demande d'affiliation à l'AVS devrait normalement prendre effet (1986), car, à cette date, il résidait à Genève depuis pratiquement dix ans.

La notion de résidence permanente au sens de la Convention de Vienne n'est, a priori, définie ni dans le droit international ni dans le droit interne suisse. En Suisse, ainsi que dans d'autres pays européens, notamment en Allemagne et en France, on considère comme déterminant, pour décider de la résidence permanente, le moment du recrutement de l'agent; le statut est alors fixé pour toute la durée des fonctions; la durée des fonctions et de résidence dans l'Etat accréditaire ne joue à cet égard pas de rôle (SALMON, op.cit., no 500). Le Tribunal fédéral des assurances a déjà eu l'occasion d'adopter ce point de vue, indirectement tout au moins et dans un autre contexte il est vrai. C'est ainsi qu'il a jugé que les années - même nombreuses - passées en Suisse par un étranger au bénéfice de privilèges et d'immunités diplomatiques ne comptaient pas comme années de résidence au sens des dispositions de conventions bilatérales de sécurité sociale permettant d'étendre conditionnellement aux ressortissants étrangers le bénéfice de l'art. 42 al. 1 LAVS, relatif au droit à une rente extraordinaire de vieillesse (arrêt non publié R. du 6 novembre 1990).

Conformément à cette notion de la résidence permanente, la pratique et la jurisprudence helvétiques considèrent comme résidents permanents toutes les personnes engagées sur place par l'Etat accréditant, sauf si elles sont au bénéfice d'une carte d'identité spéciale (carte de légitimation) au moment du changement d'emploi et/ou sont entrées en Suisse avec un visa ou une autorisation ad hoc pour occuper un emploi donnant droit à une carte d'identité spéciale (MENÉTREY, loc.cit., p. 73; décision de la Commission cantonale argovienne de recours en matière fiscale du 26 novembre 1982, signalée par CAFLISCH, in: La pratique suisse en matière de droit international public 1983, ASDI, 1984, p. 187 ch. 7.7; réponse du Conseil fédéral à une motion Spielmann du 2 mars 1992 concernant le respect des Conventions de Vienne sur les relations diplomatiques par les Missions accréditées en Suisse, BO 1992 CN 1198 ss). En résumé, si une mission diplomatique en Suisse engage un ressortissant étranger résidant déjà en Suisse (normalement au bénéfice d'un permis B ou C délivré par la police des étrangers), ce ressortissant ne pourra pas se prévaloir des immunités consacrées par la Convention de Vienne (MENÉTREY, loc.cit., p. 74).

c) Lors de ses deux engagements en qualité de chauffeur, le recourant ne bénéficiait d'aucun permis de séjour ou d'établissement. C'est pour cette raison, d'ailleurs, que le Département fédéral des affaires étrangères lui a délivré une carte de légitimation qui le dispensait, justement, du règlement de ses conditions de séjour en Suisse (BOURGNON, Fiche juridique suisse no 831b p. 5). Le titulaire d'une telle carte doit en principe quitter la Suisse à la fin de sa période d'activité au service d'une mission diplomatique. Le fait que le recourant a obtenu un permis de séjour, après la cessation de son emploi au service de la représentation ivoirienne, ne saurait lui conférer, a posteriori, le statut de résident permanent pour la période antérieure à son licenciement. Par conséquent, on doit admettre que, jusqu'à la fin de cet emploi, le recourant bénéficiait de l'immunité sociale au sens de la Convention de Vienne.

5. Le recourant invoque aussi le principe de l'égalité de traitement entre ressortissants suisses et ressortissants espagnols consacré par la Convention de sécurité sociale entre la Suisse et l'Espagne du 13 octobre 1969. Il fait valoir, à ce propos, que, même s'ils bénéficient de privilèges et d'immunités diplomatiques ou d'exemptions fiscales particulières, les ressortissants suisses sont obligatoirement affiliés à l'AVS (art. 1er al. 2 let. a LAVS a contrario). L'égalité de traitement postulerait qu'il en soit de même pour les ressortissants espagnols. Le recourant invoque, en outre, le principe, découlant de la même convention, de la soumission à la législation sociale du lieu de travail.

La convention bilatérale précitée pose pour principe, à son art. 2, que, sous réserve de dispositions contraires de cet accord international et de son Protocole final, les ressortissants suisses ou espagnols sont soumis aux obligations et admis au bénéfice de la législation de l'autre Partie dans les mêmes conditions que les ressortissants de cette Partie. Elle part, en outre, du principe de l'affiliation à la législation du lieu de travail, principe qui découle de l'art. 3 § 1.

L'art. 5 de la même convention prévoit toutefois une réglementation spéciale (réservée par l'art. 33 § 5 de la Convention de Vienne) relative aux membres des missions diplomatiques et postes consulaires. La teneur de cette disposition est la suivante:

1 Les ressortissants de l'une des Parties contractantes envoyés comme membres des missions diplomatiques et postes consulaires de cette Partie sur le territoire de l'autre sont soumis à la législation de la première Partie.

2 Les ressortissants de l'une des Parties qui sont engagés sur le territoire de l'autre pour des travaux dans une mission diplomatique ou un poste consulaire de la première Partie sont soumis à la législation de la seconde Partie. Ils peuvent opter pour l'application de la législation de la première Partie dans les trois mois suivant le début de leur emploi.

3 Les dispositions du paragraphe 2 sont applicables par analogie aux ressortissants de l'une des Parties qui sont employés au service personnel d'une des personnes visées au paragraphe premier.

4 Les paragraphes 1 à 3 ne sont pas applicables aux employés des membres honoraires des postes consulaires.

Cette disposition, de toute évidence, n'est pas applicable en l'espèce, dès lors que le recourant n'était pas au service de l'une des Parties contractantes. Celles-ci n'ont réglé, sous l'angle de la sécurité sociale, que la situation de leurs ressortissants au service de missions diplomatiques ou de postes consulaires de l'une des Parties, en dérogeant, partiellement tout au moins, au régime de la Convention de Vienne (art. 5 § 2).

La question de l'assujettissement à la sécurité sociale des agents diplomatiques ou consulaires ressortissants de l'une des Parties est réglée ici de manière exhaustive. Les membres et employés des missions diplomatiques ou postes consulaires qui ne sont pas visés par l'art. 5 (c'est le cas du recourant) tombent, logiquement, sous le régime de la Convention de Vienne. Par rapport aux art. 2 et 3 de la Convention hispano-suisse, les dispositions pertinentes de la Convention de Vienne apparaissent en effet plus précises, puisqu'elles traitent de catégories de personnes bien déterminées. Conformément à une règle classique d'interprétation, valable aussi en cas de concurrence de deux traités internationaux (JAAC 1984, 48/IV, no 61, p. 423), on doit considérer qu'elles l'emportent, en tant que lex specialis, sur les dispositions, plus générales, des art. 2 et 3 de la Convention hispano-suisse.

Du reste, le Tribunal fédéral des assurances a déjà eu l'occasion de juger, à propos de ressortissants français, que la règle de la soumission à la législation du lieu de travail, également contenue dans la Convention franco-suisse de sécurité sociale, devait céder le pas devant les dispositions de la LAVS qui excluent de l'assurance les ressortissants étrangers au bénéfice de privilèges et d'immunités diplomatiques ou d'exemptions fiscales particulières (ATF 110 V 154 consid. 3c; arrêt non publié D. du 22 septembre 1977).

6. Quant à la possibilité réservée par l'art. 33 § 4 de la Convention de Vienne d'une participation volontaire au régime de la sécurité sociale de l'Etat accréditaire, elle n'existe pas s'agissant de la Suisse. En effet, la seule forme d'assurance volontaire que connaît le droit de l'AVS est l'assurance facultative des ressortissants suisses résidant à l'étranger, aux conditions fixées par l'art. 2 LAVS (ATF 110 V 153 consid. 3c).

7. (Frais de justice)