A.- Eli Pinkas et son épouse divorcée Florence Maulaz se sont suicidés le 10 juin 1980. Leur décès est présumé avoir eu lieu au même moment (art. 32 al. 2 CC). Eli Pinkas s'était livré à des malversations d'une ampleur exceptionnelle.

De 1947 à 1956, Eli Pinkas avait conclu cinq contrats d'assurance mixte, qui combinaient une assurance temporaire au décès (la prestation n'étant due que si l'assuré venait à décéder pendant la durée convenue) et une assurance en cas de vie de même durée: trois avec la Société suisse d'assurances générales sur la vie humaine (Rentenanstalt), un avec la Suisse et le dernier avec la Vita. Preneur et assuré, Eli Pinkas a payé les primes. Il avait constitué des clauses bénéficiaires pour tous les contrats; l'un des bénéficiaires en cas de décès était son frère Samuel Pinkas. En été 1982 et en avril 1983, les Juges de paix des cercles de Romanel et de Lausanne ont autorisé la consignation en main de la Banque cantonale vaudoise des prestations dues en raison du décès d'Eli Pinkas.

La succession ayant été constatée insolvable le 14 juillet 1980, le Président du Tribunal du district de Lausanne en a ordonné la liquidation selon les règles de la faillite le 15 juillet 1980.

B.- Par demande du 14 septembre 1983, la masse en faillite de la succession d'Eli Pinkas a conclu à ce qu'il fût dit que les clauses bénéficiaires stipulées par Eli Pinkas dans les contrats et avenants sont nulles, de nul effet, soit annulées, soit éteintes, soit caduques, soit encore révoquées, et qu'en conséquence toutes les sommes consignées à la Banque cantonale vaudoise par les compagnies d'assurance en exécution de leurs obligations découlant desdits contrats doivent être libérées intégralement en faveur de la demanderesse, y compris tous les produits et revenus de ces sommes.

Samuel Pinkas, le seul bénéficiaire concerné, a conclu à libération et, reconventionnellement, à ce que lui fussent délivrées, avec leurs revenus et produits, les sommes mentionnées dans la demande.

C.- Par jugement du 11 septembre 1985, la Cour civile du Tribunal cantonal du canton de Vaud a prononcé:

"Les sommes consignées par les compagnies d'assurance Rentenanstalt (Société Suisse d'Assurances générales sur la vie humaine), la Suisse (Société d'Assurances sur la vie), Vita (Compagnie d'Assurances sur la vie), auprès de la Banque Cantonale Vaudoise, doivent être libérées en faveur de Samuel Pinkas à concurrence des montants suivants:

98'910 fr. 90 (nonante-huit mille neuf cent dix francs et nonante centimes) correspondant à la police Rentenanstalt No 2.209.607

41'307 fr. 65 (quarante et un mille trois cent sept francs et soixante-cinq centimes) correspondant à la police Rentenanstalt No 5.106.564

15'163 fr. 75 (quinze mille cent soixante-trois francs et septante-cinq centimes) correspondant à la police Rentenanstalt No 5.206.509

37'564 fr. 80 (trente-sept mille cinq cent soixante-quatre francs et huitante centimes) correspondant à la police La Suisse No 505.973

44'590 fr. (quarante-quatre mille cinq cent nonante francs) correspondant à la police Vita No 661.001 plus accessoires de droit."

D.- La masse en faillite de la succession d'Eli Pinkas recourt en réforme au Tribunal fédéral. Elle reprend ses conclusions de première instance.

L'intimé Samuel Pinkas conclut au rejet du recours.

1. a) Selon l'art. 76 al. 1 LCA, le preneur d'assurance a le droit, sans recourir à une forme spéciale, de désigner un tiers comme bénéficiaire, pour tout ou partie du droit qui découle de l'assurance, et cela sans l'assentiment de l'assureur, voire sans lui communiquer sa déclaration de volonté (ATF 110 II 203 ss: changement de jurisprudence critiqué par PIOTET, JdT 1984 I 375ss). La clause bénéficiaire est un acte de disposition particulier, une attribution spécifique du droit des assurances de personnes. Elle est en principe toujours révocable par un autre acte de disposition (art. 77 al. 1 LCA), au contraire de la cession de créances ou de la stipulation ordinaire pour autrui (art. 112 al. 2 et 3 CO). Elle crée au profit du bénéficiaire un droit propre sur la créance attribuée (art. 78 LCA), soit un droit originaire (GAUGLER, Die paulianische Anfechtung unter besonderer Berücksichtigung der Lebensversicherung, II, Bâle 1945, p. 331 ss; AMSLER, Donation à cause de mort et désignation du bénéficiaire d'une assurance de personnes, thèse Lausanne 1979, p. 74 ss), qui naît dès la désignation (ATF 41 II 453/454; cf. GAUGLER, op.cit., p. 337 ss, spécialement p. 345 ss) et qui constitue un titre indépendant de la qualité éventuelle d'héritier (ATF 43 II 259 in fine; cf., notamment, KÖNIG, Schweizerisches Privatversicherungsrecht, 3e éd., p. 434; Der Versicherungsvertrag, in Schweizerisches Privatrecht, VII/2, p. 703; FJS 110 p. 7). Le décès du preneur d'assurance ne donne ainsi pas naissance au droit; il en est, avec la survie du bénéficiaire, une condition suspensive (KÖNIG, Schweizerisches Privatversicherungsrecht, p. 434; Der Versicherungsvertrag, p. 704; FJS 110 p. 4 lettre b; AMSLER, op.cit., p. 79). Aussi bien le bénéficiaire peut-il, à l'échéance, réclamer son dû directement à l'assureur; la prétention d'assurance est dans son patrimoine dès la désignation; au décès du preneur, elle ne passe donc pas d'abord dans la succession: le bénéficiaire acquiert jure proprio, non pas jure hereditatis (KÖNIG, Schweizerisches Privatversicherungsrecht, p. 436; Der Versicherungsvertrag, p. 705; FJS 110 p. 7 par. 4; RBA X No 77 = SJ 75 p. 183, arrêt de la Cour de justice du canton de Genève, du 4 mars 1952, qui cite la jurisprudence fédérale antérieure; contra, parmi les auteurs les plus récents, PIOTET, Droit successoral, Traité de droit privé suisse, IV, p. 195, suivi par AMSLER, op.cit., p. 84 ss, selon lequel l'attribution au bénéficiaire est un legs obligeant les héritiers à obtenir de l'assureur le paiement au bénéficiaire).

b) Aux termes de l'art. 77 LCA, le preneur d'assurance, même lorsqu'un tiers est désigné comme bénéficiaire, peut disposer librement, soit entre vifs soit pour cause de mort, du droit qui découle de l'assurance (al. 1); le droit de révoquer la désignation du bénéficiaire ne cesse que si le preneur a renoncé par écrit à la révocation dans la police même et a remis celle-ci au bénéficiaire (al. 2).

Ainsi, en principe, bien qu'il ait désigné un bénéficiaire, le preneur garde le droit de libre disposition sur la créance contre l'assureur en paiement de la somme assurée. Le droit du bénéficiaire à la créance d'assurance est soumis à la condition résolutoire de révocation de la désignation par le preneur (ATF 41 II 454; cf., notamment, AMSLER, op.cit., p. 81 ss). Il ne demeure définitivement dans le patrimoine du bénéficiaire que si le preneur a rendu la désignation irrévocable en renonçant à la révocation selon les formes prescrites à l'art. 77 al. 2 LCA. En l'absence d'une telle renonciation, le preneur conserve dans son patrimoine le droit de faire naître la condition résolutoire affectant le droit du bénéficiaire, condition dont l'avènement aura pour effet de transférer (ou de retransférer, si la désignation n'est pas intervenue simultanément à la conclusion du contrat) la créance d'assurance du patrimoine du bénéficiaire dans celui du preneur, ou de la faire passer dans le patrimoine d'un autre bénéficiaire.

En cas d'exécution forcée contre le preneur d'assurance, si la désignation du bénéficiaire est irrévocable, il n'y a, dans le patrimoine du preneur, ni créance d'assurance, ni droit de faire naître la condition résolutoire à laquelle est soumis, en règle générale, le droit du bénéficiaire. Les créanciers du preneur ne peuvent donc rien faire saisir, inventorier ni réaliser. C'est ce qu'exprime l'art. 79 al. 2 LCA, aux termes duquel, si le preneur d'assurance avait renoncé à son droit de révoquer la désignation du bénéficiaire, le droit à l'assurance qui découle de cette désignation n'est pas soumis à l'exécution forcée au profit des créanciers du preneur.

En revanche, en cas de clause bénéficiaire révocable, demeure dans le patrimoine du preneur poursuivi le droit de faire naître la condition résolutoire dont l'avènement aura pour effet que la créance d'assurance entrera (ou rentrera) dans les avoirs du preneur. Ce droit, les créanciers du preneur peuvent dès lors le faire saisir, inventorier et réaliser. Si la procédure d'exécution suit son cours, la réalisation de ce droit au profit des créanciers ne peut consister que dans son exercice, en ce sens que la clause bénéficiaire est révoquée, de telle sorte que la créance d'assurance passe du patrimoine du bénéficiaire dans celui du preneur. Si, en revanche, les créanciers ne peuvent pas réaliser ce droit parce que la saisie tombe ou que la faillite est révoquée, la créance d'assurance restera dans le patrimoine du bénéficiaire. C'est ce qui est dit à l'art. 79 al. 1 LCA, aux termes duquel la désignation du bénéficiaire s'éteint en cas de saisie de l'assurance ou de faillite du preneur d'assurance, mais reprend effet si la saisie tombe ou si la faillite est révoquée. Cette formulation est elliptique. Il faut entendre que, au moment où les créanciers du preneur font saisir le seul droit qui se trouve, en vertu du contrat d'assurance, dans le patrimoine de leur débiteur, savoir celui de faire naître la condition résolutoire de l'art. 77 al. 1 LCA, ils ne peuvent le réaliser qu'en l'exerçant, ce qui aura pour effet d'éteindre la désignation du bénéficiaire, mais que cette extinction ne se produira toutefois pas si l'on ne peut passer à la réalisation.

c) Le droit de révocation du preneur s'éteint à son décès (AMSLER, op.cit., p. 81 et les références citées à la note 258). Dès lors, selon la logique du système exposé ci-dessus, la condition résolutoire tombe et la désignation du bénéficiaire, jusqu'alors révocable, devient irrévocable. La liquidation de la succession selon les règles de la faillite ne peut pas porter préjudice aux droits qui résultent, pour le bénéficiaire, du décès du preneur; dû en vertu d'une créance qui est dans le patrimoine du bénéficiaire depuis sa désignation, le capital assuré n'appartient pas à la succession et n'entre donc pas dans la masse pour être affecté au désintéressement des créanciers du preneur (cf., outre les auteurs cités par MEYER, Essai sur la nature et les effets de la clause bénéficiaire, thèse Lausanne 1959, p. 269 n. 62, KÖNIG, Schweizerisches Privatversicherungsrecht, p. 433; Der Versicherungsvertrag, p. 703). C'est ainsi qu'ont jugé l'Obergericht du canton de Zurich, dans un arrêt du 15 septembre 1919 (RSJ XVI p. 212 ss, RBA IV No 228), et le Tribunal fédéral, dans l'arrêt Banque Populaire Suisse contre hoirs Leemann, du 26 février 1931 (ATF 57 II 220 initio et 221), s'agissant précisément, entre autres, du frère d'un assuré dont la succession, répudiée, était liquidée selon les règles de la faillite: dans cette affaire, le Tribunal fédéral s'est référé, sans plus, à l'art. 78 LCA.

La cour cantonale a adopté cette manière de voir: les droits du bénéficiaire Samuel Pinkas ont été rendus irrévocables par le décès de son frère, dit-elle, de sorte que, dans la mesure où elles sont fondées sur la loi fédérale sur le contrat d'assurance, les prétentions de la demanderesse doivent être rejetées.

d) Comme dans l'instance cantonale, la recourante invoque l'art. 566 al. 2 CC, aux termes duquel la succession est censée répudiée, lorsque l'insolvabilité était notoire ou officiellement constatée à l'époque du décès. Une telle insolvabilité, dit-elle, qui rétroagit au jour du décès, doit entraîner par analogie l'extinction des clauses bénéficiaires. L'art. 79 al. 1 LCA serait donc applicable aussi bien lorsque la faillite est postérieure au décès que lorsqu'elle le précède. Postérieure au décès, la déclaration de faillite rétroagirait à la date de celui-ci et empêcherait, par conséquent, les droits découlant de la clause bénéficiaire de passer sur la tête du bénéficiaire. Cette argumentation se fonde sur l'opinion, exprimée par Jaeger en 1933 (ROELLI/JAEGER, III p. 180/181, n. 43 ad art. 79/80 LCA), selon laquelle la mort du preneur ne rend la clause bénéficiaire irrévocable que sous la condition résolutoire que l'insolvabilité de la succession n'est pas constatée. D'après Jaeger, il apparaît critiquable que, si la faillite est prononcée postérieurement à la mort du preneur, la créance contre l'assureur ne tombe pas dans la masse au motif que la clause bénéficiaire est devenue irrévocable; les droits des créanciers doivent l'emporter sur les droits des bénéficiaires, qui, en général, ont été acquis gratuitement. C'est pourquoi, tant qu'il n'est pas établi si la succession est insolvable ou non, on doit considérer que le droit du bénéficiaire est en suspens: de même que l'acquisition de la succession rétroagit au moment du décès (art. 560 al. 3 CC), de même la constatation de l'insolvabilité de la succession doit sortir ses effets rétroactivement dès ce moment et, par conséquent, faire tomber la clause bénéficiaire. L'Obergericht du canton de Bâle-Campagne a adopté cette opinion: il a jugé que la clause bénéficiaire ne devient pas irrévocable par le fait de la mort du preneur d'assurance, s'il n'est pas établi que la succession est ou n'est pas insolvable (arrêt du 1er mars 1935, RSJ XXXIII p. 173 ss, RBA VIII No 290). Le Tribunal fédéral, lui, n'a pas eu, jusqu'à ce jour, à réexaminer la question en fonction de l'avis de JAEGER: dans un arrêt du 11 février 1942, il a signalé la controverse, mais sans plus, car le problème n'avait pas à être résolu (RBA IX No 156, p. 383).

Certains auteurs ont observé que l'opinion de JAEGER est incompatible avec le système légal. Elle n'est guère conciliable, selon GAUGLER (op.cit., p. 393), avec le fait que, de lege lata, le bénéficiaire acquiert, par suite de la réalisation du risque assuré, un droit propre sur la créance que la clause d'assurance lui attribue, lequel n'est plus soumis à aucune condition: il ne reste aux créanciers du preneur dont la succession apparaît insolvable que l'action révocatoire, réservée par l'art. 82 LCA, qui leur donne la faculté de revendiquer le capital assuré. ARNDT (La liquidation par l'office des successions insolvables et ses effets sur la désignation du bénéficiaire d'une assurance sur la vie, Revue Suisse d'Assurances, 1945/1946, p. 362/363), dont la cour cantonale adopte l'argumentation, estime que le législateur "a pris position indirectement" en édictant l'art. 85 LCA, aux termes duquel, lorsque les bénéficiaires se trouvent être les descendants successibles, le conjoint survivant, le père ou la mère, les grands-parents, les frères ou soeurs, l'assurance leur échoit même s'ils répudient la succession. "Admettre", dit cet auteur, "que le droit du bénéficiaire s'éteint lorsque la succession est insolvable, c'est supprimer toute portée pratique à l'art. 85 LCA, dans tous les cas où la succession est obérée": l'art. 85 LCA "laisse plutôt supposer que le législateur admettait qu'en vertu de l'art. 78 LCA un droit propre, indépendant de la succession, était déjà acquis au bénéficiaire dès le décès de l'assuré et reste acquis, même si la succession était obérée, répudiée et liquidée par l'office".

L'étude de la ratio legis convainc de la pertinence de ce raisonnement.

Comme la recourante l'admet, l'art. 85 LCA, analogue à l'art. 486 al. 3 CC pour le legs (cf. MEYER, op.cit., p. 273), n'a pas le même objet que l'art. 79 al. 1 LCA et ne constitue qu'un complément de l'art. 83 LCA. L'alinéa 3 de cette dernière disposition légale dit que, par les héritiers ou ayant cause désignés comme bénéficiaires, il faut entendre d'abord les descendants successibles et le conjoint survivant, puis, s'il n'y a ni descendants successibles, ni conjoint survivant, les autres personnes ayant droit à la succession. Dans l'arrêt précité Banque Populaire Suisse contre hoirs Leemann (ATF 57 II 216ss consid. 2), le Tribunal fédéral a expliqué que ce texte donne des règles d'interprétation quant au sens des expressions vagues et générales "mes héritiers" ou mes "ayants cause" utilisées par le preneur d'assurance pour désigner les personnes qui ont droit, au titre de bénéficiaires, au capital assuré en cas de décès. Contrairement à une opinion jadis répandue, partagée notamment par ROELLI dans son projet de 1896, les personnes ainsi désignées sont au bénéfice d'une stipulation spéciale pour autrui et acquièrent une créance propre contre l'assureur, indépendamment de tout droit successoral: elles n'en sont donc pas privées lorsqu'elles répudient la succession. L'art. 85 LCA est destiné a délimiter le cercle des proches, en en excluant les ascendants, et surtout les collatéraux, au-delà d'un certain degré. Les parents plus éloignés désignés sous les termes d'"héritiers" ou d'"ayants cause" ne pourront obtenir le bénéfice de l'assurance que s'ils ne répudient pas la succession; en revanche, s'ils ont été désignés clairement (par leur nom ou par une expression qui ne prête pas à équivoque, telle que "mes neveux et nièces"), ils auront droit à la prestation d'assurance jure proprio, soit même s'ils se désintéressent de la succession. L'art. 85 LCA amène donc une exception bien précise, dans un cadre rigoureusement tracé, au principe de portée générale de l'art. 78 LCA (cf. KÖNIG, Schweizerisches Privatversicherungsrecht, p. 434; Der Versicherungsvertrag, p. 703/704; FJS 110 p. 8).

Ainsi, le statut des parents les plus éloignés confirme la règle selon laquelle le capital assuré ne tombe pas dans la masse de la succession. Les décisions prises par le Tribunal fédéral dans la cause Banque Populaire Suisse contre hoirs Leemann reposent manifestement sur cette considération (ATF 57 II 219 ss consid. 4 et 5). Dans cette affaire, il s'agissait de deux contrats d'assurance, dont l'un contenait une clause prévoyant comme bénéficiaires notamment les frères et soeurs et les neveux et nièces de l'assuré, tandis que, dans l'autre, au contraire, étaient désignés comme bénéficiaires les "héritiers". A la mort du preneur, ses héritiers, soit son frère et vingt neveux et nièces, avaient répudié la succession, qui était liquidée par l'office selon les règles de la faillite. Dans le second contrat, le Tribunal fédéral a dit que le frère était le seul bénéficiaire, dès lors que les neveux et nièces avaient répudié la succession. S'agissant en revanche du premier contrat, comme la désignation était claire et précise, l'art. 85 LCA ne s'appliquait pas: par conséquent, a conclu le Tribunal fédéral, les droits qui découlent de l'assurance "appartiennent à tous ceux qui, au jour du décès, possédaient les qualités de frère ou de soeur, de neveu ou de nièce de l'assuré, sans égard au fait qu'ils fussent ou ne fussent pas ses héritiers. Or, il est constant que tous les défendeurs possédaient à ce moment l'une ou l'autre desdites qualités. L'art. 78 LCA leur est donc applicable sans restriction et leur créance ne saurait tomber dans la masse de la succession."

On ne peut que s'en tenir à cette jurisprudence. L'examen de la question dans l'optique de l'art. 79 LCA le confirme. Il n'est pas possible d'appliquer l'al. 1 de cette disposition quand le preneur n'est pas tombé en faillite de son vivant.

Aux termes de l'art. 597 CC, la liquidation des successions insolvables, répudiées expressément ou censées répudiées conformément à l'art. 566 al. 2 CC, se fait par l'office selon les règles de la faillite. D'après certains auteurs, la liquidation d'une succession répudiée n'est pas autre chose qu'une faillite et on ne se sert pas de ce terme par égard pour la famille du défunt (FAVRE, Droit des poursuites, 3e éd., p. 288; AMONN, Grundriss des Schuldbetreibungs- und Konkursrechts, 3e éd., p. 310 No 34; GILLIÉRON, Poursuite pour dettes, faillite et concordat, p. 251). Mais l'art. 193 al. 1 LP déclare applicables aux successions répudiées les dispositions du titre septième de la loi fédérale sur la poursuite pour dettes et la faillite, relatives à la procédure de liquidation de la faillite, sans renvoyer au titre sixième, qui en règle les effets matériels (cf. ATF 82 III 40). Or, l'art. 79 al. 1 LCA a précisément trait à un effet matériel de la faillite.

De toute façon, d'ailleurs, cette disposition légale ne peut pas trouver application même si l'on identifie la liquidation par l'office d'une succession répudiée à un prononcé de faillite. La faillite ne peut porter que sur les biens du failli. Or, comme on l'a vu, au moment du décès du preneur insolvable, le droit découlant de l'assurance se trouve dans le patrimoine du bénéficiaire, à qui il appartient dès la désignation; quant au droit de révoquer la clause bénéficiaire (art. 77 al. 1 LCA), il s'est éteint par la mort du preneur. En conséquence, quand est ouverte la faillite, soit au moment où le jugement la prononce (art. 175 al. 1 LP), et non pas lors du décès du preneur, ni lors de la répudiation expresse ou présumée (cf. FAVRE, op.cit., p. 289), il n'y a plus, dans les avoirs du défunt, ni créance d'assurance, ni droit de révocation de la désignation du bénéficiaire. La situation est alors analogue à celle qui est envisagée à l'art. 79 al. 2 LCA: du fait de la mort du preneur, la clause bénéficiaire est devenue irrévocable immédiatement, la condition résolutoire qui affecte le droit du bénéficiaire étant devenue caduque; définitivement acquise au bénéficiaire, la créance d'assurance échappe aux créanciers du preneur.

e) Comme l'a remarqué pertinemment ARNDT (op.cit., p. 362), "les partisans de la thèse ... qui tend à supprimer l'attribution au tiers quand la succession est insolvable cèdent davantage à un souci d'équité qu'à l'application stricte d'une règle logique de droit". Or, la cour cantonale observe à juste titre que l'équité n'est pas mieux assurée lorsque le preneur a déclaré la clause bénéficiaire irrévocable selon les prescriptions de l'art. 77 al. 2 LCA: dans cette éventualité, la loi, soit l'art. 79 al. 2 LCA, permet expressément au preneur de soustraire le droit découlant de l'assurance à l'action de ses créanciers. L'intimée fait valoir avec raison qu'il n'est pas choquant que l'irrévocabilité résultant du décès produise les mêmes effets que l'irrévocabilité consentie par le preneur de son vivant.

Ainsi, les considérations d'équité ne permettent pas, à elles seules, de déroger au système de la clause bénéficiaire tel qu'il est conçu par la loi.

En conclusion, Eli Pinkas, le preneur, n'ayant pas été déclaré en faillite et n'ayant pas révoqué la désignation de Samuel Pinkas avant son décès, la cour cantonale n'a pas violé le droit fédéral en rejetant les prétentions de la recourante dans la mesure où elles étaient fondées sur la loi sur le contrat d'assurance.