A.- A., né en 1930, a été employé au service de l'entreprise X SA jusqu'au 30 novembre 1985. A ce titre, il a été affilié au Fonds de prévoyance en faveur du personnel de X SA (ci-après: le Fonds). A partir du 28 juillet 1985, A. a présenté une incapacité totale de travail, qui s'est prolongée, à un taux variable, jusqu'au 30 juin 1986. Après avoir tenté de reprendre une activité lucrative, il s'est annoncé à l'assurance-invalidité. Il a été mis au bénéfice par cette assurance d'une demi-rente du 1er juillet 1986 au 30 juin 1987 et du 1er décembre 1987 au 28 février 1988. Depuis le 1er mars 1988, il a perçu une rente entière.

Le Fonds lui a pour sa part accordé une pension d'invalidité, fondée tout d'abord sur une incapacité de gain de 50 pour cent pour le mois de janvier 1988, puis de 100 pour cent jusqu'au 31 mars 1995, soit jusqu'à l'accomplissement par l'affilié de sa 65ème année. A cette date, le Fonds a mis fin au service de la rente et a versé à l'assuré un capital de retraite de fr. 88'851.45.

B.- Par écriture du 3 novembre 1997, A. a assigné la Fondation en paiement d'une rente d'invalidité viagère, ainsi que d'une rente de vieillesse, avec intérêts à 5 pour cent sur le montant des arrérages de rentes dès leur exigibilité.

La défenderesse a reconnu devoir au demandeur une rente annuelle de fr. 4787.45 dès le 1er avril 1995, plus les intérêts, à condition que le demandeur restitue au Fonds le capital nécessaire au financement de cette rente.

Statuant le 23 mars 2000, le Tribunal des assurances du canton de Vaud a condamné la défenderesse à verser au demandeur une rente viagère annuelle d'invalidité de fr. 4787.45 dès le 1er avril 1995, avec intérêts à 5 pour cent l'an dès le 31 octobre 1997. Il a statué en outre que le demandeur était débiteur de la défenderesse du montant de fr. 66'492.35 avec intérêts à 5 pour cent l'an dès le 7 janvier 1998.

C.- A. interjette un recours de droit administratif contre ce jugement en concluant à la réforme du chiffre III de son dispositif en ce sens que le demandeur est débiteur de la défenderesse d'un montant de fr. 39'265.20 avec intérêts à 5 pour cent l'an dès le 7 janvier 1988.

Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour instruction complémentaire et nouveau jugement au sens des motifs.

Le Fonds conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales (OFAS), il renonce à se déterminer à son sujet.

1. Selon l'art. 26 al. 3, première phrase, LPP, le droit aux prestations d'invalidité s'éteint au décès du bénéficiaire ou dès la disparition de l'invalidité. Lorsque l'assuré perçoit une rente d'invalidité selon la LPP jusqu'à l'âge-terme selon l'art. 13 al. 1 LPP, cette rente n'est donc pas remplacée par une rente de vieillesse. C'est ainsi à juste titre que les premiers juges ont considéré que le recourant avait droit - dans le cadre des prestations minimales selon la LPP - à une rente viagère d'invalidité. Ce point n'est pas discuté par les parties, pas plus que le montant de la rente viagère allouée au recourant.

D'autre part, comme ce dernier avait touché, à l'âge-terme de la vieillesse, un capital de retraite, les premiers juges ont considéré que le montant nécessaire au financement de la rente d'invalidité (fr. 66'492.35) devait être remboursé au Fonds. La question du remboursement de ce montant n'est pas non plus contestée par le recourant.

Est litigieux, en revanche, le montant du capital de retraite, fixé à fr. 88'851.45 et duquel il faut déduire la somme de fr. 66'492.35.

2. a) Selon l'art. 23 du règlement du Fonds du 7 décembre 1981, la libération du paiement des cotisations est acquise dès que la capacité de gain de l'affilié-assuré a duré plus de six mois (al. 1). Si l'incapacité de gain dure plus de six mois, une prestation égale aux cotisations d'épargne de l'employeur et de celles de l'affilié continue à être versée par la Neuchâteloise Assurances sur les comptes "Epargne-Prévoyance A et B" de l'affilié-assuré (al. 2).

Conformément à ce plan d'épargne, le capital de retraite de l'assuré est crédité d'une cotisation d'épargne annuelle de 5,9 pour cent du dernier salaire annuel assuré. Pour calculer le capital de retraite du recourant au 31 mars 1995 (fr. 88'851.45), le Fonds intimé est parti d'un capital acquis au 1er janvier 1985 de fr. 32'934.11.

Il a ensuite porté en compte une bonification de 5,9 pour cent d'un salaire annuel assuré de 46'800 francs. Pour la période du 1er juillet 1986 au 30 juin 1987, il a réduit de moitié la bonification, pour tenir compte d'un taux d'incapacité de gain de 50 pour cent. Par ailleurs, il a crédité le compte de l'assuré, annuellement, d'un intérêt de 4 pour cent. Les premiers juges ont confirmé ce calcul.

b) Par un premier moyen, le recourant fait valoir que les dispositions du règlement appliquées par l'intimé ne sauraient conduire à un résultat moins favorable pour lui que l'application des "minima" LPP. Selon le recourant, pour calculer le capital de retraite, il faut porter en compte, à partir du capital acquis au 1er janvier 1985, des bonifications de vieillesse au sens de l'art. 15 al. 1 LPP. Ces bonifications doivent être calculées au taux de 18 pour cent du salaire coordonné fixé par l'art. 16 LPP. A cela doit s'ajouter un intérêt annuel de 4 pour cent. Selon le calcul du recourant, il en résulterait un capital acquis au 1er avril 1995 de fr. 116'078.60. Par conséquent, il ne devrait restituer à l'intimé que le montant de fr. 39'265.20 (plus les intérêts) selon le décompte suivant:

capital acquis au 01.04.1995: fr. 116'078.60

./. capital reçu le 01.04.1995: fr. 88'851.45

./. capital à restituer: fr. 66'492.35

solde en faveur de l'intimé: fr. 39'265.20

c) Ce moyen n'est pas fondé. Comme le relève à juste titre l'intimé, l'avoir de vieillesse accumulé par l'assuré en application des art. 15 et 16 LPP sert à déterminer le montant de la pension de retraite future de l'intéressé. Pour ce qui est d'un assuré invalide, l'art. 14 OPP 2 prévoit que, dans la perspective d'une réinsertion possible dans la vie active, l'institution de prévoyance doit continuer de tenir, jusqu'à l'âge-terme de la vieillesse, le compte de vieillesse de l'invalide auquel elle verse une rente (al. 1). Lorsque le droit à la rente d'invalidité s'éteint par suite de disparition de l'invalidité, l'assuré a droit à une prestation de libre passage dont le montant correspond à son avoir de vieillesse (al. 4). Cette réglementation - applicable uniquement à la prévoyance professionnelle obligatoire selon la LPP - vise les personnes invalides au bénéfice d'une rente selon les art. 23ss LPP, dont l'état de santé s'améliore et qui recouvrent finalement leur capacité de gain. En pareil cas, la rente d'invalidité doit être supprimée conformément à l'art. 26 al. 3 LPP. Or, pour que l'invalide réadapté reçoive à l'âge-terme de la vieillesse des prestations non réduites, il est indispensable, d'une part, que l'avoir de vieillesse acquis avant l'invalidité ait été préservé et, d'autre part, que celui-ci se soit accru, pendant la période de l'invalidité, de la même manière (bonifications de vieillesse et intérêts) que si l'assuré était resté pleinement actif (voir à ce sujet le commentaire par l'OFAS du projet de l'OPP 2, août 1983, p. 16; MARKUS MOSER, Die Zweite Säule und ihre Tragfähigkeit, thèse Bâle 1992, p. 226). Il s'agit d'un compte fictif qui ne deviendra nécessaire que si l'invalide recouvre sa capacité de gain avant d'atteindre l'âge normal de la retraite (R.-M. UMBRICHT/E.-M. LAUR, La nouvelle loi sur les caisses de pension, tome I, ch. 5/4.2.4). Si tel n'est pas le cas, l'intéressé continue, à l'âge-terme, à bénéficier d'une rente d'invalidité viagère. Il n'a pas droit, dans cette éventualité, au versement des bonifications de vieillesse portées à son crédit en application de l'art. 14 OPP 2.

Dans le cas particulier, l'invalidité a subsisté jusqu'à l'âge normal de la retraite, de sorte que la prétention du recourant à un capital découlant de la LPP, en plus d'une rente viagère d'invalidité, n'est pas fondée. En réalité, si l'intimé lui a reconnu le droit à un capital de retraite (voir infra consid. 3), c'est en vertu de dispositions réglementaires relevant de la prévoyance professionnelle plus étendue (sur cette notion, voir par exemple ATF 122 V 145 consid. 4b).

3. a) A titre subsidiaire, le recourant soutient que le capital réglementaire auquel il a droit au 1er avril 1995 doit être calculé sur la base du règlement du Fonds du 1er décembre 1987, entré en vigueur le 1er janvier 1988 et qui, affirme-t-il, lui serait plus favorable.

Selon le recourant, le capital de vieillesse réglementaire constitue une prestation d'invalidité. Comme le droit à une rente d'invalidité de l'institution de prévoyance a pris naissance le 1er janvier 1988, c'est le règlement de 1988 qui s'appliquerait en l'espèce. Si l'on considère en revanche que la constitution du capital de retraite est indépendante de l'invalidité, il faudrait alors considérer comme déterminante la date de la naissance du droit au versement de ce capital, soit le 1er avril 1995. Dans ce cas également, le règlement de 1988 serait applicable. Aussi bien le recourant conclut-il, dans le cadre de son argumentation subsidiaire, au renvoi de la cause à l'autorité cantonale pour qu'elle calcule les cotisations qui doivent être créditées sur son compte, ainsi que les intérêts, à partir du 1er janvier 1985, conformément au règlement entré en vigueur le 1er janvier 1988.

b) L'art. 15 du règlement de 1988 stipule qu'en cas d'incapacité de gain, par suite de maladie ou d'accident, l'assuré et l'employeur sont libérés, proportionnellement au degré de l'incapacité de gain, du paiement des cotisations après un délai d'attente de trois mois (al. 1). Après ce délai, la Fondation garantit le versement des cotisations affectées à l'épargne (al. 2).

D'après les principes généraux, on applique, en cas de changement de règles de droit et sauf réglementation transitoire contraire, les dispositions en vigueur lors de la réalisation de l'état de fait qui doit être apprécié juridiquement et qui a des conséquences juridiques. Ces principes valent également en cas de changement de dispositions réglementaires ou statutaires des institutions de prévoyance (ATF 121 V 100 consid. 1a et les références citées; SJ 1996 p. 427 consid. 2b).

En cas d'incapacité de gain donnant lieu à une libération des primes, l'état de fait dont découle le droit aux prestations - soit le versement de cotisations par l'institution en lieu et place de l'employeur et du salarié - est l'écoulement du délai au terme duquel la libération des primes est acquise, en général après trois ou six mois (voir à ce dernier propos, UMBRICHT/LAUR, op.cit., tome 1, ch. 5/4.2.5). C'est à partir de ce moment-là que l'incapacité de gain a entraîné des conséquences juridiques sous l'angle de cette libération. Ce n'est donc pas - contrairement à l'opinion du recourant - la naissance du droit éventuel à une rente d'invalidité de l'institution de prévoyance ni celui de la naissance du droit à un capital de retraite qui sont déterminants en l'occurrence.

Dans le cas particulier, l'incapacité de travail a débuté en juillet 1985. La libération des primes était acquise, selon l'art. 23 du règlement de 1981, en janvier 1986 (bien qu'il semble que le recourant ait déjà bénéficié de la libération du paiement des cotisations à partir du mois d'octobre 1985). C'est donc à juste titre que le Fonds a en l'espèce appliqué le règlement de 1981.

c) D'autre part, le recourant ne prétend pas, cela à juste titre, que le capital de retraite devait être calculé, à partir du 1er janvier 1988, sur la base du règlement entré en vigueur à la même date. Ce règlement ne contient aucune disposition transitoire relative à la mise en compte de cotisations par le Fonds en faveur d'assurés devenus invalides avant le 1er janvier 1988. En outre, le recourant ne faisait plus partie, à la même date, du cercle des assurés au Fonds, tel qu'il est défini à l'art. 4 du règlement. En effet, selon cette disposition, l'affiliation au Fonds suppose la qualité d'employé de l'entreprise X SA.

Or, le recourant ne faisait plus partie, en 1988, du personnel de cette société (voir aussi ATF 123 V 126 consid. 4c/cc). C'est dire qu'une application successive des règlements de 1981 et de 1988 n'entre pas en considération.

4. (Frais et dépens)