A.- Par décision du 7 mars 1983, la Caisse cantonale vaudoise de compensation a refusé d'accorder à l'assuré la remise de son obligation de restituer des prestations complémentaires indûment touchées, motif pris qu'il possédait une fortune de 102'000 francs et que, de ce fait, l'on ne pouvait pas considérer que la restitution de la somme de 2'448 francs représentait une charge trop lourde pour lui.

B.- Par jugement du 24 juin 1983, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre cette décision. Il a considéré - en bref - que, selon les calculs de la caisse de compensation, les ressources de l'intéressé dépassaient de 11'123 francs la limite de revenu de 30'000 francs déterminante en l'espèce, et que, en outre, la restitution de la somme de 2'448 francs ne saurait lui causer un grand préjudice économique eu égard à la fortune qu'il avait héritée.

C.- L'assuré interjette recours de droit administratif contre ce jugement en demandant à être libéré de l'obligation de rembourser les prestations indûment touchées. Il fait valoir, en résumé, que son revenu est, en réalité, inférieur (et non pas supérieur) d'un montant de 11'123 francs au moins à la limite de revenu de 30'000 francs applicable à son cas, et conteste que l'état de sa fortune - déjà pris en considération dans le cadre du calcul de son revenu - soit par ailleurs un élément permettant de nier que la restitution demandée représente une charge trop lourde pour lui.

L'intimée conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales. Celui-ci observe que les 11'123 francs mentionnés par la juridiction cantonale "ne constituent pas un dépassement mais au contraire l'insuffisance par rapport à la limite de revenu applicable"; il soutient toutefois que "vu la situation de fortune de l'intéressé (175'000 francs dont 141'000 francs de fortune mobilière) la restitution de la somme relativement modique de 2'448 francs ne peut guère être qualifiée de charge trop lourde".

1. (Pouvoir d'examen limité v. ATF 104 V 6 consid. 1.)

2. Les prestations complémentaires indûment touchées doivent être restituées par le bénéficiaire ou par ses héritiers. Les prescriptions de la LAVS sont applicables par analogie à la restitution de telles prestations et à la libération de l'obligation de les restituer (art. 27 al. 1 OPC-AVS/AI).

Selon l'art. 47 al. 1 LAVS, relatif à la restitution des rentes et allocations pour impotents indûment touchées, la restitution peut ne pas être demandée lorsque l'intéressé était de bonne foi et serait mis dans une situation difficile. L'art. 79 al. 1 RAVS précise que, lorsqu'une personne tenue à restitution ou son représentant légal pouvait de bonne foi admettre avoir le droit de toucher les rentes, il doit lui être fait remise de l'obligation de restituer tout ou partie du montant indûment touché, si cette restitution devait mettre la personne tenue à restitution dans une situation difficile en raison de ses conditions d'existence.

3. a) Tant l'administration que le premier juge ont admis que le recourant pouvait se prévaloir de sa bonne foi au sens des dispositions précitées. A cet égard, la Cour de céans n'a pas de motifs de remettre en cause le jugement entrepris. Est litigieux, en revanche, le point de savoir si la restitution demandée mettrait le recourant dans une situation difficile.

b) Selon la jurisprudence, un assuré se trouve dans une situation difficile au sens de l'art. 47 al. 1 LAVS lorsque les deux tiers du revenu à porter en compte (auquel est ajoutée le cas échéant une part de la fortune) n'atteignent pas la limite fixée à l'art. 42 al. 1 LAVS pour l'octroi de rentes extraordinaires, augmentée de 50% (ATF 108 V 58, ATF 107 V 79). Pour calculer le revenu à prendre en considération, ainsi que la part de fortune à y ajouter, les règles des art. 56 à 63 RAVS sont applicables (ATF 108 V 59, 107 V 84, ATF 104 V 174).

En l'occurrence, la limite de revenu applicable au cas du recourant a été fixée correctement, et conformément à la règle susmentionnée, à 30'000 francs. Se référant au "plan de calcul" établi par la caisse intimée, et versé au dossier, la juridiction cantonale a relevé que le revenu déterminant du recourant dépassait de 11'123 francs ladite limite. Le recourant, soutenu par l'Office fédéral des assurances sociales sur ce point, objecte à juste titre que cette constatation est manifestement erronée. Il résulte en effet des calculs effectués par la caisse de compensation que les deux tiers des revenus à porter en compte (y compris une part de la fortune) représentent un montant de 18'877 francs, lequel est inférieur de 11'123 francs à la limite de revenu de 30'000 francs. Il s'ensuit que le recourant satisfait en principe, contrairement à l'opinion du premier juge, à la condition de la situation difficile telle qu'elle a été définie par la jurisprudence précitée.

4. a) Le refus de la caisse intimée d'accorder à l'assuré la remise de son obligation de restituer se fonde cependant sur le motif que l'intéressé possède - depuis qu'il a hérité d'une somme de 102'000 francs - une fortune mobilière estimée (en 1983) à 141'000 francs, de sorte que le remboursement de 2'448 francs ne compromet pas sa situation financière. La juridiction cantonale a repris cet argument à titre subsidiaire, en renvoyant aux directives de l'Office fédéral des assurances sociales concernant les prestations complémentaires (ch. marg. 373), selon lesquelles "l'existence de la charge trop lourde doit être déterminée d'après l'ensemble des conditions d'existence de la personne tenue à restitution". Quant à l'Office fédéral, il estime également qu'il s'agit là d'un élément ne permettant pas de considérer que la situation du recourant est difficile au sens des dispositions légales visées, quand bien même les ressources de l'assuré n'atteignent pas, comme on l'a vu, la limite de revenu déterminante en l'espèce.

b) Dans son arrêt du 16 mars 1972 en la cause H.N. (ZAK 1973 p. 198=RCC 1973 p. 193), le Tribunal fédéral des assurances, après avoir posé la règle que la situation difficile de l'assuré au sens de l'art. 47 LAVS devait être appréciée selon les critères fixés par les art. 42 LAVS et 60 RAVS, s'est exprimé sur la question de la prise en considération de la fortune de l'assuré en ces termes:

"Im vorliegenden Falle unterschreitet das im Sinne von Art. 42 AHVG und Art. 60 AHVV anrechenbare Einkommen des Beschwerdeführers selbst ohne Abzug des Rückforderungsbetrages die Einkommensgrenze von 4'800 Franken. Dies hat zur Folge, dass trotz des ausgewiesenen Vermögens von 28'000 Franken von der Rückforderung des zuviel bezahlten Rentenbetreffnisses abzusehen ist (ZAK 1973 p. 201)."

Dans un commentaire à propos de cet arrêt (RCC 1973 p. 170), l'Office fédéral des assurances sociales a exposé que "cette jurisprudence correspond, quant à l'essentiel, à la pratique administrative (No 1199 des Directives concernant les rentes). Elle s'en écarte néanmoins quelque peu, dans le cas d'espèce, en ce sens que le Tribunal fédéral des assurances a renoncé à examiner si l'on pourrait raisonnablement attendre de l'intéressé qu'il mît à contribution son petit patrimoine pour éteindre sa dette." De fait, dans sa teneur restée en vigueur jusqu'au 31 octobre 1981, le texte du ch. marg. 1199 desdites directives était ainsi formulé:

"L'existence de la charge trop lourde doit être déterminée d'après l'ensemble des conditions d'existence de la personne tenue à restituer. En règle générale, elle sera admise - pour les bénéficiaires de rentes ordinaires également - si le revenu à prendre en compte (y compris les éventuelles rentes et allocations pour impotents) n'atteint pas les limites de revenu fixées par l'art. 42 1er al. LAVS, et si, en outre, on ne saurait raisonnablement exiger de l'intéressé qu'il opère la restitution en prélevant la somme nécessaire sur sa fortune. (...)"

c) Le commentaire précité de l'Office fédéral pourrait faire croire que le Tribunal fédéral des assurances a voulu, en la cause H.N. du 16 mars 1972, laisser ouvert le point de savoir si, en principe, la fortune de l'assuré constitue ou non un élément déterminant - en sus de la condition relative à la limite de revenu - lors de l'examen de la charge trop lourde au sens de l'art. 47 LAVS. Tel n'est cependant pas le cas. Même si la Cour de céans n'a pas expressément critiqué les directives administratives à ce sujet, il résulte, en effet, clairement de cet arrêt que, lorsque le revenu de l'assuré n'atteint pas la limite déterminante en l'occurrence, l'existence d'une situation difficile ne peut pas être niée du seul fait que l'assuré jouit d'une certaine fortune. Comme le relève le recourant, cette solution se justifie en particulier par le fait que le revenu à prendre en considération comporte déjà, le cas échéant, une part de la fortune (consid. 3b ci-dessus). Aussi ne voit-on pas de motifs de remettre en cause cette jurisprudence, qui doit être confirmée.

Il convient de relever, par ailleurs, que l'Office fédéral des assurances sociales a modifié, avec effet au 1er novembre 1981 (soit antérieurement à l'époque de la décision litigieuse en l'espèce), le ch. marg. 1199 de ses directives concernant les rentes, lequel ne fait plus allusion, depuis lors, à l'exigibilité du remboursement au regard de la fortune de l'assuré. Il s'est ainsi conformé non seulement aux conclusions de l'arrêt susmentionné, mais aussi à l'esprit de la nouvelle jurisprudence relative au calcul de la limite de revenu applicable (ATF 107 V 79), qui allège les conditions de la remise de l'obligation de restituer des prestations de l'AVS indûment touchées. Au demeurant, les directives administratives ne créent pas de nouvelles règles de droit et ne donnent pas une interprétation de la loi contraignante pour le juge (ATF 107 V 155 consid. 2b et les références). Quant à la formulation très générale du ch. marg. 373 des directives concernant les prestations complémentaires, exposée plus haut, elle est sans portée particulière, ne serait-ce qu'en raison du renvoi de l'art. 27 al. 1 OPC-AVS/AI, 2e phrase, aux dispositions réglant la restitution de la remise des prestations indûment touchées dans l'AVS.

Il résulte de ce qui précède que le recourant peut prétendre à la remise de l'obligation de rembourser les montants versés à tort, et que le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:

Le recours est admis, et le jugement du Tribunal des assurances du canton de Vaud, du 24 juin 1983, ainsi que la décision de la Caisse cantonale vaudoise de compensation, du 7 mars 1983, sont annulés. Il est fait remise à l'assuré de son obligation de restituer la somme de 2'448 francs, représentant les prestations complémentaires indûment touchées du 1er novembre 1981 au 31 janvier 1983.