A.- L'art. 41 de la loi cantonale vaudoise du 18 juin 1984 sur la Caisse de pensions de l'Etat de Vaud (LCP), entrée en vigueur le 1er janvier 1985, a la teneur suivante:

"Si l'assuré ou le pensionné décède sans laisser de conjoint ou

d'enfant ayant droit à une prestation selon les art. 60 ss et 66 ss, ses

versements et ceux de l'Etat (ou d'un autre employeur, art. 6 et 9) sont

acquis à la Caisse."

Quant à l'art. 8 al. 1 LCP, il prévoit d'autre part que l'affiliation prend fin, entre autres éventualités, lorsque l'assuré cesse définitivement ses fonctions. Cependant, la couverture des risques d'invalidité définitive et de mort subsiste encore trente jours après la cessation définitive des fonctions, pour autant que l'assuré ne soit pas engagé par un nouvel employeur (art. 8 al. 3 LCP).

B.- A la suite de son engagement comme assistante sociale, le 1er janvier 1985, Christiane P., née en 1947, célibataire, a été affiliée, dès la même date, à la Caisse de pensions de l'Etat de Vaud (CPEV). Ayant été assurée précédemment à une autre institution de prévoyance, elle a bénéficié d'une prestation de libre passage, qui a servi au rachat d'années d'assurance auprès de la nouvelle caisse.

L'assurée ayant démissionné de sa fonction pour le 30 juin 1985, la CPEV lui a communiqué que le montant de sa prestation de libre passage s'élevait à 47'975 fr. 15 et lui a demandé de lui faire part de ses intentions quant à l'affectation de cette somme (lettre du 19 juin 1985).

Christiane P. n'a pas répondu à cette communication. Elle est décédée le 15 juillet 1985, en laissant pour seuls héritiers légaux sa mère, ainsi que ses trois frère et soeurs. Elle n'avait pas pris de nouvel emploi entre le 30 juin 1985 et le jour de son décès.

Les frère et soeurs de la défunte ont requis le versement en leur faveur de la prestation de libre passage. Par décision du 12 février 1986, la CPEV a refusé de faire droit à cette requête, au motif que, l'assurée étant décédée le 15 juillet 1985, soit - à teneur de l'art. 8 al. 3 LCP - pendant le temps de prolongation de la couverture des risques d'invalidité et de décès, et n'ayant laissé ni conjoint ni enfants, ses propres versements, ceux de l'Etat ou ceux d'un autre employeur lui étaient acquis, conformément à l'art. 41 LCP.

C.- Les frère et soeurs survivants de Christiane P. ont recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Ils ont allégué que l'affiliation de leur soeur défunte avait cessé le 30 juin 1985 et que la disposition invoquée de l'art. 8 LCP, laissant temporairement subsister la couverture de certains risques, n'avait pas eu pour effet de faire "revivre une affiliation périmée".

Par jugement du 3 septembre 1986, la juridiction cantonale a rejeté le recours porté devant elle. Elle a admis, en substance, que la défunte était encore assurée à la CPEV le jour de son décès, compte tenu de l'art. 8 al. 3 LCP. Par conséquent, le montant de la prestation de libre passage à laquelle elle aurait eu droit ne constituait pas encore une créance exigible, susceptible de tomber dans la succession.

D.- Les frère et soeurs de l'assurée interjettent recours de droit administratif contre ce jugement en concluant au paiement par la CPEV d'une somme de 47'000 fr. avec intérêts à 5% l'an dès le 16 juillet 1985.

La caisse intimée conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales (OFAS), il propose d'admettre celui-ci.

Conformément à l'art. 110 al. 4 OJ, il a été procédé à un échange ultérieur d'écritures, au terme duquel les parties et l'OFAS ont maintenu leurs points de vue respectifs.

4. a) Selon l'art. 27 al. 2 LPP, l'assuré a droit à une prestation de libre passage lorsque ses rapports de travail ont été dissous avant la survenance d'un cas d'assurance et qu'il quitte l'institution de prévoyance (voir également l'art. 331c CO). D'autre part, l'art. 10 al. 3 LPP - auquel correspond l'art. 8 al. 3 LCP - dispose que, durant trente jours après la dissolution des rapports de travail, le salarié demeure assuré auprès de l'ancienne institution de prévoyance pour les risques de décès et d'invalidité; en cas de nouvel engagement du salarié avant l'expiration de ce délai, c'est la nouvelle institution de prévoyance qui est compétente.

La juridiction cantonale et les parties, de même que l'OFAS, s'accordent à considérer que la solution du présent litige dépend exclusivement du point de savoir à quelle date l'affiliation de l'assurée défunte à la CPEV a pris fin: si cette date doit être fixée au 30 juillet 1985 (fin de la couverture d'assurance prolongée selon l'art. 10 al. 3 LPP), le montant de la prestation de libre passage demeure acquis à la caisse, conformément à l'art. 41 LCP; en revanche, si l'affiliation a cessé le 30 juin 1985 (dissolution des rapports de service), la prestation, devenue exigible à la même date, tombe dans la succession de l'assurée, décédée le 15 juillet 1985, et doit donc être versée aux héritiers de celle-ci.

Les premiers juges ont opté pour le premier terme de l'alternative, contrairement à l'opinion des recourants, à laquelle se rallie l'office fédéral.

b) Ce n'est toutefois pas sur ce terrain qu'il convient de se placer en l'espèce. En effet, en cas de décès de l'assuré, les ayants droit ne reçoivent pas la prestation de l'institution de prévoyance en vertu d'une prétention successorale. Ils disposent d'un droit originaire qui leur est conféré directement par la loi (art. 18 à 22 LPP) ou par le règlement de l'institution de prévoyance; dans cette dernière éventualité, ils apparaissent comme les bénéficiaires d'une stipulation pour autrui au sens de l'art. 112 CO, le travailleur stipulant s'étant fait promettre par la caisse, obligée, le versement de prestations à certains tiers survivants. Ainsi donc, à défaut de survivants désignés par la loi ou les statuts, les héritiers, en tant que tels, ne peuvent prétendre ni le paiement de prestations ni la restitution des contributions versées (sur ces divers points, voir: ATF 112 II 38, 245; arrêt du Tribunal fédéral du 18 mai 1981, SZS 1983, p. 37; RIEMER, Das Recht der beruflichen Vorsorge in der Schweiz, p. 121; REYMOND, Les prestations de prévoyance en cas de décès prématuré, SZS 1982, p. 178 ss; BLAUENSTEIN, Prévoyance professionnelle et droit successoral, Revue suisse d'assurance 1982, p. 43; UMBRICHT/LAUR, La nouvelle loi sur les caisses de pension, tome I, ch. 5.3.3). A cet égard, l'on ne saurait parler d'un enrichissement illégitime de la caisse: raisonner ainsi conduirait à nier l'essence même de toute opération d'assurance (cf. arrêt du 26 juin 1987 en la cause B., publié dans la SZS 1987, p. 244).

De fait, la date de la fin de l'affiliation de l'assurée n'aurait d'incidence pratique que si la CPEV eût été tenue de s'acquitter de son obligation en espèces, conformément à l'art. 30 LPP (auquel correspond l'art. 331c al. 4 CO; cf. ATF 113 V 124 consid. 3): dans cette hypothèse, et en admettant que la créance fût exigible le 30 juin 1985, l'assurée aurait acquis de son vivant le montant litigieux, qui eût alors été transmissible à ses héritiers. Mais, dans le cas particulier, l'intéressée n'a pas requis le versement en espèces de sa prestation de libre passage. Il n'apparaît pas non plus qu'elle remplissait objectivement les conditions légales d'un tel versement, par exemple parce qu'elle envisageait de quitter définitivement la Suisse ou de s'établir à son propre compte, ou encore de se marier et de cesser toute activité lucrative (art. 30 al. 2 let. a à c LPP et art. 331c al. 4 let. b ch. 1 à 3 CO). D'ailleurs, supposé que ces conditions aient été réalisées, il faudrait encore se demander si une requête explicite de l'assurée n'eût pas été malgré tout nécessaire pour fonder une éventuelle obligation de la CPEV vis-à-vis des recourants (pour une telle solution: Tribunal de district d'Uster, SZS 1984, p. 165 ss), question qui peut demeurer indécise en l'espèce.

c) Dans ces conditions, c'est le maintien de la prévoyance professionnelle qui devait en l'espèce prévaloir après la dissolution des rapports de travail, conformément aux art. 27 al. 1 LPP et 331c CO. Comme la LCP ne prévoit pas la possibilité d'une affiliation dite "externe" (cf. RIEMER, op.cit., p. 108-109) et que, par ailleurs, l'assurée n'avait pas repris un emploi après le 30 juin 1985 (vraisemblablement en raison de son état de santé déficient, qui a conduit à son décès), le montant de la prestation de libre passage ne pouvait ni être laissé auprès de la CPEV (art. 29 al. 3 LPP et 331c al. 3 CO) ni être transféré auprès d'une autre institution de prévoyance (art. 29 al. 3 LPP et 331c al. 1 CO).

En vertu de la délégation de compétence que lui confère l'art. 29 al. 4 LPP, le Conseil fédéral a adopté l'ordonnance sur le maintien de la prévoyance et le libre passage du 12 novembre 1986 (RS 831.425). Celle-ci stipule, à son art. 2, que la prévoyance est maintenue au moyen d'une police de libre passage ou d'un compte de libre passage, lorsque l'une ou l'autre des situations envisagées ci-dessus n'est pas réalisée (poursuite de l'assurance auprès d'une nouvelle institution ou auprès de l'institution jusqu'ici compétente). A son art. 6 al. 1, ladite ordonnance fixe le cercle des bénéficiaires en cas de décès du preneur de prévoyance selon l'ordre suivant: 1) les survivants au sens des art. 18 à 22 LPP; 2) les autres enfants, le veuf ainsi que les personnes à l'entretien desquelles le preneur de prévoyance subvenait de façon substantielle; 3) les autres héritiers. Cette ordonnance n'est toutefois entrée en vigueur que le 1er janvier 1987 et elle n'est donc pas applicable au cas d'espèce.

Auparavant, le Conseil fédéral avait édicté une ordonnance du 27 février 1985 (entrée en vigueur le 1er mars 1985; RS 831.424) sur "le maintien de la prévoyance dans le domaine de la LPP", qui déclarait applicables, à titre transitoire, "les dispositions en vigueur jusqu'à ce jour" (art. 1er). Il s'agit-là d'un renvoi aux règles du code des obligations, y compris en ce qui concerne le régime obligatoire (voir à ce sujet: RCC 1985 p. 207) et donc, en particulier, à l'art. 331c CO.

Il s'ensuit en l'occurrence que le maintien de la prévoyance aurait dû être garanti au moyen de la constitution d'une créance en prestations futures, soit envers une compagnie d'assurance, soit envers une banque ou une caisse d'épargne (art. 331c al. 1 CO). Partant, les droits que les survivants auraient pu exercer à l'encontre de l'assureur ou de la banque devaient, en vertu de l'art. 331c al. 2 CO, s'apprécier exclusivement selon le règlement de l'ancienne caisse, c'est-à-dire de la CPEV (cf. VISCHER, Traité de droit privé suisse, volume VII, tome I, 2, p. 135). Or, la LCP, en cas de décès du fonctionnaire ou de l'agent, prévoit le versement de prestations au conjoint et aux orphelins (art. 60 ss et 66 ss). Elle ne reconnaît aucun droit aux héritiers en tant que tels. A défaut d'ayants droit expressément désignés, les versements de l'assuré et ceux de l'Etat sont acquis à la caisse (art. 41).

d) Ainsi donc, même si l'on admettait avec les recourants et l'OFAS que l'affiliation de l'assurée défunte a pris fin le 30 juin 1985, ces derniers ne disposaient de toute façon pas d'une créance à l'encontre de la caisse intimée.

Le recours de droit administratif se révèle dès lors mal fondé.