A.- a) Louis L., agriculteur à Chevilly, près de La Sarraz, est décédé le 20 juin 1967, laissant comme héritiers légaux sa veuve (décédée le 13 octobre 1969) et ses trois enfants: Charles L., Madeleine G. et Caroline D.

Par testament public, reçu par le notaire X. le 14 août 1957, Louis L. avait légué à sa veuve l'usufruit de tous ses biens et institué son fils Charles unique héritier, à charge pour lui de payer à chacune de ses soeurs la somme de 25'000 fr., représentant, avec les trousseaux reçus lors de leur mariage, leurs parts successorales. Le notaire X. était désigné comme exécuteur testamentaire.

b) Les 9/10 novembre 1967, les trois enfants L. signèrent un acte dans lequel ils déclaraient accepter la succession et requérir la délivrance d'un certificat d'héritier. Le 29 novembre 1967, le juge de paix du cercle de La Sarraz, assisté du notaire X. exerçant les fonctions de greffier, établit un certificat d'héritier indiquant, contrairement au testament, que Louis L. avait laissé comme héritiers institués ses trois enfants, dans la proportion d'un tiers chacun. Ce certificat précise que la succession comprend des immeubles "dont l'inscription au registre foncier au chapitre des héritiers est requise". Le 1er décembre 1967, les immeubles furent inscrits au registre foncier au nom des trois enfants, en leur qualité de cohéritiers.

Charles L. avait demandé la délivrance du certificat d'héritier conjointement avec ses soeurs; il ne s'est pas opposé à ce que celles-ci fussent indiquées comme héritières. Il n'a pas attaqué le certificat d'héritier par la voie du recours non contentieux, qui lui était ouverte. Il n'a pas introduit d'action successorale, ni d'action en modification ou en radiation des inscriptions au registre foncier.

c) En mai 1968, les héritiers de Louis L. passèrent trois actes:

aa) Par un acte des 6/8 mai intitulé "Règlement et partage" et notarié X., la veuve et les trois enfants, après rappel du testament et du certificat d'héritier "en faveur des héritiers réservataires", convinrent, en substance, que Charles L. reprenait la totalité des actifs et passifs successoraux, qu'en compensation il souscrivait en faveur de chacune de ses soeurs une reconnaissance de dette de 25'000 fr. et qu'il payait à sa mère 10'000 fr. Les parties se donnaient "réciproquement quittance totale et définitive de toutes les prétentions qu'elles étaient en droit de faire valoir quant à la succession de Louis L." et "renonçaient expressément à tout recours entre elles de ce chef".

bb) Par un second acte, du 8 mai, également notarié X. et intitulé "Cession en lieu de partage" (soit "transfert immobilier"), Madeleine G. et Caroline D. firent "cession en lieu de partage" à Charles L. de leur part, soit les deux tiers des immeubles de la succession, qui furent inscrits au registre foncier au chapitre exclusif du cessionnaire. Cette cession était consentie moyennant souscription par Charles L., en faveur de chacune de ses soeurs, d'une reconnaissance de dette de 25'000 fr. L'acte fut transcrit au registre foncier le 16 mai 1968.

cc) Le 8 mai également, les parties à l'acte précité passèrent, devant le notaire X., une convention intitulée "Part au gain".

Cette convention rappelle que Charles L. est devenu propriétaire exclusif du domaine paternel sur la base d'une estimation de 184'500 fr. "En conséquence", stipule-t-elle, "parties requièrent l'inscription du droit des cohéritiers de participer au bénéfice en cas de revente dans un délai de vingt-cinq ans dès ce jour". Cette convention fut présentée au registre foncier et annotée le 16 mai 1968.

Le 26 mars 1970, les soeurs furent mises au bénéfice d'une garantie hypothécaire pour leurs créances respectives, de 25'000 fr. chacune.

d) Le 18 août 1973, elles cédèrent encore à leur frère, selon acte notarié, une petite vigne à Féchy, qui provenait de la succession paternelle. Bien qu'aucune convention de part au gain n'eût été passée au sujet de cette vigne, Caroline D. fit annoter au registre foncier d'Aubonne, le 18 décembre 1974, un droit au gain concernant la parcelle.

e) Charles L., qui, dès le 16 mai 1968, avait contracté d'importants emprunts hypothécaires, ne tarda pas à tomber en déconfiture. A la requête d'une banque, créancière hypothécaire, la quasi-totalité de ses immeubles fut vendue aux enchères par l'office des poursuites de Cossonay le 2 août 1973. Les immeubles furent adjugés aux deux beaux-frères de Charles L., Georges D. et Edmond G., pour le prix de 527'000 fr. Après paiement des créanciers, dont chacune des soeurs pour sa créance de 25'000 fr. garantie par hypothèque, il restait un solde disponible de 252'403 fr. D'entente avec les soeurs et les acquéreurs, soit leurs maris, l'office des poursuites consigna ce montant à la Banque cantonale vaudoise, "à disposition pour la répartition de la part au gain". Les deux beaux-frères revendirent une partie des immeubles acquis et se partagèrent le solde.

f) En août 1973, un acte portant sur la répartition entre Charles L. et ses soeurs du produit des enchères du 2 août fut préparé par un notaire d'Yverdon. Se référant aux art. 619 ss CC, cet acte établissait le gain à répartir entre les héritiers à 267'300 fr., soit 89'100 fr. pour chacun des enfants de Louis L. Charles L., auquel l'acte fut présenté, refusa de le signer, déclarant avoir été trompé et volé par ses soeurs et le notaire X.

g) Le 30 août 1974, Charles L. tua d'un coup de mousqueton son neveu Maurice G., fils unique des époux G., puis se suicida. Maurice G. laissait une veuve, Monique G., et deux fils, Manuel, né le 10 août 1972, et Jean-Pascal, né le 26 juillet 1974.

h) Charles L. avait pour héritières légales ses deux soeurs, qui demandèrent le bénéfice d'inventaire, puis la liquidation officielle. La succession étant insolvable, le président du Tribunal du district de Cossonay en ordonna la liquidation selon les règles de la faillite.

Les deux soeurs intervinrent, revendiquant leur part au gain. Dame D. précisa qu'elle réclamait, à concurrence de 90'000 fr., plus intérêts, les espèces consignées, à titre de part aux gains réalisés lors de la vente du 2 août 1973, et, en outre, sa part au gain sur le produit de la réalisation des immeubles demeurés propriété de Charles L., encore à vendre. L'office des faillites de Cossonay porta ces prétentions à l'inventaire du 20 juin 1975. Sur le montant consigné de 252'403 fr., il admettait de ne retenir que 72'403 fr. comme part revenant à la succession de Charles L., le solde de 180'000 fr. étant considéré comme litigieux.

De leur côté, la veuve et les enfants de Maurice G. furent colloqués en cinquième classe pour une créance de 474'587 fr.

L'état de collocation ne fut pas contesté.

i) Le 17 juillet 1975, l'administration de la succession céda à la veuve et aux enfants de Maurice G. les droits de la masse relatifs aux prétentions formulées par les deux soeurs sur la base de leur droit au bénéfice provenant de la vente des immeubles.

Madeleine G. et son mari retirèrent et abandonnèrent en faveur des cessionnaires les prétentions qu'ils faisaient valoir dans la succession de Charles L. Caroline D., en revanche, maintint la sienne.

j) Les immeubles que Charles L. possédait encore à La Chaux, ainsi que la vigne de Féchy, furent vendus par l'office des faillites, qui consigna 27'292 fr. 30 à titre de part au gain revendiqué par dame D., somme qui s'ajoute aux 90'000 fr. déjà consignés.

k) Le 30 novembre 1975, Monique G. et ses enfants, représentés par un curateur, ont ouvert action contre Caroline D. Ils concluaient en substance à la nullité du certificat d'héritier, des actes du 8 mai 1968, du 18 août 1973 et du 18 décembre 1974, ainsi qu'à la radiation au registre foncier des annotations relatives à la part au gain. Ils demandaient en outre qu'il fût dit que la défenderesse n'a droit à une part au gain ni sur le produit de la réalisation forcée de 1973 ni sur celui de la réalisation dans la faillite.

La défenderesse a conclu à à libération et, reconventionnellement, à la délivrance des sommes consignées par 89'100 fr., plus intérêts, et 25'893 fr., plus intérêts.

B.- Le 29 août 1977, la Cour civile du Tribunal cantonal vaudois a reconnu le droit de la défenderesse à une part aux gains réalisés tant par Charles L. que par la masse successorale, à concurrence de 111'748 fr. 30, en capital, et autorisé l'office des faillites de Cossonay à délivrer cette somme à la défenderesse. En revanche, elle a dénié à la défenderesse la part au gain réalisé ensuite de la vente de la vigne de Féchy et a ordonné la radiation de l'annotation.

Ce jugement est motivé en substance comme il suit:

Certes, le certificat d'héritier était contraire au testament de Louis L., mais Charles L. ne l'a pas attaqué, comme la loi vaudoise de procédure civile lui en donnait le droit. Ses ayants cause ne sauraient donc en demander aujourd'hui l'annulation, laquelle n'entraînerait d'ailleurs pas automatiquement celle des actes postérieurs, qui doivent être interprétés. Les actes des 6/8 mai 1968, qui forment visiblement un tout, constituent une transaction: il s'est agi, pour les descendants de Louis L., de régler - librement (art. 19 CO) - la succession de leur père dans une situation juridique douteuse, que le notaire est réputé leur avoir exposée. Le moyen tiré de l'erreur essentielle, au sens de l'art. 24 ch. 4 CO, ne peut être accueilli en l'espèce, car il y a lieu de présumer que Charles L. et ses soeurs ont désiré mettre fin à une incertitude, sans élucider complètement la situation en droit (principe et quotité de la lésion de la réserve des soeurs, nature de leurs droits successoraux). Par ailleurs, la solution qu'ils ont retenue (attribution du domaine au fils à des conditions favorables, droit des soeurs de participer au gain réalisé en cas de revente) est conforme au sentiment général prévalant à la campagne. Les actes litigieux doivent donc être maintenus et la part au gain revendiquée par la défenderesse admise, en tant qu'elle se fonde sur la convention du 8 mai 1968, soit pour les immeubles visés par celle-ci. En revanche, l'immeuble sis à Féchy n'a fait l'objet que de l'acte de partage des 8 mai 1968/18 août 1973, non pas d'une convention. Or, le réservataire exclu de la succession par un testament n'a pas la qualité d'héritier avant le jugement formateur de réduction (PIOTET, Droit successoral, Traité de droit privé suisse IV, p. 354 et 650): la défenderesse (de même que sa soeur) était donc légataire et a gardé cette qualité faute d'avoir ouvert une action successorale. Dans ces conditions, elle ne pouvait avoir droit à une part au gain en vertu des art. 619 ss CC: l'annotation de décembre 1974, basée sur une réquisition inexacte, ne saurait fonder un droit opposable aux ayants cause de Charles L. Le montant de la part au gain de la défenderesse doit ainsi être arrêté à 111'748 fr. 30 (savoir 117'292 fr. 30, chiffre total retenu par le préposé de l'office des faillites de Cossonay, sous déduction de la somme de 5'544 fr. consignée ensuite de la vente de la vigne de Féchy).

C.- Monique, Manuel et Jean-Pascal G. ont recouru en réforme au Tribunal fédéral. Ils reprenaient les conclusions qu'ils avaient formulées en première instance, dans la mesure où elles avaient été rejetées par la cour cantonale. Le Tribunal fédéral a rejeté le recours.

En effet, les droits personnels qui peuvent être annotés sont limitativement prévus par la loi (ATF 89 I 551 et les références). Or, seule l'annotation confère au créancier de la part au gain un droit de préférence dans la faillite du débiteur en vertu de l'art. 959 al. 2 CC (cf., en cas de saisie de l'immeuble, ATF 47 III 139).

II.

a) Instituant le fils héritier unique, le testament de Louis L. entamait la réserve des filles en les privant de leur droit de participer au gain en cas de vente des immeubles de leur frère, selon l'art. 619 CC. En effet, la loi ne confère ce droit de participation qu'aux héritiers: le réservataire qui a reçu le montant de sa réserve sous la forme d'un legs n'a pas l'action en réduction en vertu de l'art. 522 al. 1 CC. Or, l'application de l'art. 619 CC ne peut être exclue par une disposition pour cause de mort que dans la mesure où la différence entre la valeur vénale et la valeur de rendement n'excède pas la quotité disponible (ATF 94 II 253 /254 et les auteurs cités).

Au regard de cette situation juridique, que le notaire est censé avoir exposée aux parties (et que, selon toute vraisemblance, celles-ci n'ignoraient pas), les actes en cause ont manifestement le caractère d'une transaction. Certes, les parties ne disent pas expressément quelles étaient leurs prétentions, ni qu'elles entendent mettre fin à un litige. Toutefois, il apparaît nettement qu'elles ont voulu concilier le respect des dernières volontés du testateur et la sauvegarde des droits des deux filles: elles s'en sont tenues pour l'essentiel aux dispositions du testament, mais, par l'annotation d'une part au gain, ont protégé les filles contre l'atteinte à leur réserve en cas de revente des immeubles.

C'est là l'explication naturelle de ces trois actes, qui forment un tout: l'acte de "règlement et partage" est l'acte essentiel et contient une clause qui caractérise une transaction ("Moyennant fidèle exécution du présent règlement et partage, parties se donnent réciproquement quittance totale et définitive de toutes les prétentions qu'elles étaient en droit de faire valoir quant à la succession de Louis L. et renoncent expressément à tout recours entre elles de ce chef"); les deux autres actes, transfert immobilier et annotation du droit à une part au gain, sont des actes d'exécution.

b) Les recourants contestent la licéité de ces actes: l'intimée, disent-ils, qui a la qualité de légataire, ne saurait prétendre à une part au gain, que la loi ne reconnaît qu'au cohéritier.

aa) La doctrine dominante (ESCHER, 3e éd., n. 3, 5 et 6 ad art. 522 CC; TUOR, 2e éd., n. 19 ad art. 522 CC, ainsi que les auteurs cités par Piotet, RDS 1972 I p. 26 n. 1) et la jurisprudence (ATF 70 II 147, ATF 56 II 17) enseignent que, même complètement exclu de la succession par une disposition pour cause de mort, le réservataire acquiert néanmoins de plein droit la qualité d'héritier dès l'ouverture de la succession, avec notamment le droit de participer au partage. Cette vocation héréditaire ne s'éteint que faute d'une action en réduction intentée dans le délai légal de péremption, à moins que les intéressés ne s'entendent sur un partage de la succession autre que celui correspondant à la disposition pour cause de mort litigieuse (ATF 86 II 344 consid. 5). Un jugement prononçant la réduction n'est donc pas nécessaire. Une convention entre les parties suffit. Si cette convention est conclue avant l'expiration du délai de péremption de l'action (ou après, dans la mesure où l'héritier institué a renoncé à se prévaloir de la péremption), les réservataires exclus de la succession ont conservé la qualité d'héritiers. Ils sont cohéritiers au sens de l'art. 619 CC. Il en découle qu'en l'espèce les parties pouvaient librement régler à leur guise la dévolution de la succession: les actes des 6/8 mai 1968 constituent l'exercice régulier d'un droit que la loi leur reconnaît. Notamment, elles pouvaient convenir d'une participation des filles au gain, en vertu de l'art. 619 CC. Dans cette optique, l'acte dit de "part au gain" est inattaquable, si bien que l'annotation du droit est régulière et doit être maintenue.

Peut demeurer indécise la question de la licéité des deux actes attribuant à Charles L. la propriété des immeubles. Nul ne conteste que les immeubles ne soient devenus la propriété de Charles L. Peu importe aujourd'hui qu'il les ait acquis en qualité de seul héritier institué ou par une attribution dans le partage. Le droit à une part au gain dépend en effet de la seule qualité de cohéritier: il appartient donc également aux cohéritiers lorsque l'immeuble, objet d'une donation antérieure au décès, n'a jamais fait partie de la succession (ATF 94 II 250 ss consid. 10). Le problème du transfert de la propriété des immeubles est ainsi indiffèrent à la solution du litige.

bb) Mais, comme le relèvent les recourants, les premiers juges se sont ralliés à l'opinion de Piotet (La protection du réservataire en droit successoral suisse, RDS 1972 I, p. 25 ss; Droit successoral, P. 354 et 650), selon lequel le réservataire exclu de la succession n'a pas la qualité d'héritier avant le jugement sur l'action en réduction: sa vocation héréditaire n'est que virtuelle. Cette thèse est fondée sur le fait que la doctrine dominante et la jurisprudence qualifient de jugement formateur le jugement de réduction, qui modifie, avec effet rétroactif, la situation juridique, en annulant les dispositions portant atteinte à la réserve (ATF 86 II 344 consid. 5; cf. ATF 98 Ib 97 consid. 3, selon lequel l'effet de l'action en réduction est de "reintegrare la quota legittima". Pour la doctrine, voir les auteurs cités par Piotet, RDS 1972 I, p. 26 n. 2).

Dans ces conditions, si le réservataire a reçu le montant de sa réserve sous forme de legs, les art. 619 ss CC ne lui donnent aucun droit de participer au gain réalisé dans le délai légal: il n'est pas héritier effectif (cf. PIOTET, Droit successoral, p. 903). Les palliatifs qu'on peut envisager ne sont guère satisfaisants: une convention de participation au gain ne pourra pas être annotée, puisque les bénéficiaires ne sont pas des cohéritiers; une hypothèque garantissant cette dette éventuelle sera difficilement acceptée par le propriétaire, qu'elle peut gêner, et, le fût-elle, sa validité serait douteuse, vu l'existence de la sûreté spécifique que constitue l'annotation (cf. ESCHER, 3e éd., n. 2 ad art. 619 CC). Il ne resterait donc plus au réservataire ainsi lésé qu'à ouvrir action en réduction pour faire prononcer l'annulation d'une attribution qui, inconditionnelle et exclusive de toute participation au gain, entame sa réserve. Après quoi, dans le partage, l'attributaire pourra obtenir les immeubles moyennant l'annotation d'une part au gain en faveur de celui qui, par le jugement de réduction, aura recouvré sa qualité de cohéritier et, partant, la vocation pour obtenir l'annotation de son droit. Mais cette voie est longue et coûteuse. Etant donné que, selon l'art. 522 CC, le réservataire qui a reçu le montant de sa réserve par avancement d'hoirie ou par legs n'a pas l'action en réduction, il conviendrait de combler ce qui paraît être une lacune de la loi et d'étendre, ou tout au moins d'assouplir, l'exigence des art. 619/619 quinquies CC: bien que seulement héritier virtuel, le réservataire exclu de la succession pourrait (le cas d'exhérédation étant réservé) requérir l'annotation du droit à une part au gain qui lui est reconnu par jugement ou par une convention passée avec le propriétaire.

cc) Mais la question n'a pas à être tranchée en l'espèce. En effet, par les actes des 6/8 mai 1968, Charles L. a précisément reconnu à ses soeurs la qualité d'héritiers réservataires, dont le testament les avait privées; dames D. et G. étant ainsi cohéritières, les exigences des art. 619/619 quinquies CC étaient réalisées: l'annotation en cause est valide également dans l'hypothèse où, à l'instar de la cour cantonale, on adopterait le point de vue de Piotet.