A.- M. D. war während mehrerer Jahre in leitender Stellung für die Firma W. AG tätig, deren Verwaltungsratspräsident und Hauptaktionär F. war. Am 26. Juni 1989 kündigte er das Arbeitsverhältnis auf Ende August 1989. Im Rahmen einer Verwaltungsratssitzung vom 4. Juli 1989 wurde ihm seitens der Arbeitgeberin unter dem Vorwurf von Vertragsverletzungen und strafbaren Handlungen fristlos gekündigt, wobei M. D. eine Erklärung unterzeichnete, in welcher er die Gründe für seine fristlose Entlassung als sachlich und rechtlich richtig anerkannte und sich mit der Zahlung des Salärs Mai 1989 als per Saldo aller Ansprüche befriedigt erklärte. Am Abend des 4. Juli 1989 unterschrieb er ein weiteres ihm vorgelegtes, von F. handschriftlich aufgesetztes Schriftstück, worin er Fehler eingestand und sich bereit erklärte, für den Ersatz der entstandenen Schäden aufzukommen. Tags darauf leisteten M. D. und - nach einem Telefonat von F. - auch sein Vater F. D. Zahlungen von insgesamt Fr. 70'000.--. Am 13. und am 14. Juli 1989 unterschrieb M. D. nochmals zwei Erklärungen, mit denen er wiederum mehrfache Verfehlungen zugestand und eine Schuldanerkennung in der Höhe von wenigstens Fr. 420'000.-- abgab.

Am 25. Januar 1990 erstattete die Firma W. AG Strafanzeige gegen M. D. Daraufhin erklärte dieser mit Schreiben vom 27. und vom 28. März 1990 seine am 4., am 13. und am 14. Juli 1989 abgegebenen Erklärungen als unverbindlich, mit der Begründung, er sei dazu gezwungen worden. Am 6. November 1991 erhob er überdies seinerseits Strafklage gegen F. wegen Nötigung, Erpressung, Urkundenfälschung und falscher Anschuldigung. Das Strafverfahren gegen M. D. wurde mit Verfügung vom 23. Dezember 1992 eingestellt, jenes gegen F. endete nach einer erstinstanzlichen Verurteilung wegen Nötigung und Erpressung durch freisprechende Urteile der Strafkammer des Kantonsgerichts St. Gallen vom 3. Oktober 1995 und vom 4. Juli 1997.

B.- Mit Klage vom 27. August 1990 forderte die Firma W. AG von M. D. die Bezahlung von Fr. 317'400.-- nebst Zins, wobei sie ihre Forderung namentlich auf die in den Erklärungen vom 13. und vom 14. Juli 1989 enthaltene Schuldanerkennung über wenigstens Fr. 420'000.-- stützte. Das Bezirksgericht Werdenberg wies die Klage am 15. September 1994 ab. Auf Berufung der Klägerin bestätigte das Kantonsgericht St. Gallen dieses Urteil am 19. Juni 1998.

C.- Das Bundesgericht weist die von der Klägerin eingelegte eidgenössische Berufung ab, soweit es darauf eintritt, und bestätigt das kantonsgerichtliche Urteil.

2. Nach den verbindlichen Feststellungen des Kantonsgerichts hat der Beklagte die Erklärungen vom 4. Juli 1989 unter dem Eindruck der Ankündigung unterschrieben, andernfalls der Polizei ausgeliefert zu werden. Entsprechendes gilt für die Erklärungen vom 13. und vom 14. Juli 1989. Diese hat der Beklagte in Zürich im Büro von Dr. L., der Mitglied des Verwaltungsrats der Klägerin war, unterzeichnet. Am 13. Juli 1989 hat sich Dr. L. gegenüber dem Beklagten dahin geäussert, die Gefängnisse seien voll von Leuten seines Schlages. F. hat damals dem Beklagten gesagt, wenn er die ihm vorgelegte Erklärung unterschreibe, sei er ein «freier Mann». Am 14. Juli 1989 hat Dr. L. dem Beklagten für den Fall der Unterschrift in Aussicht gestellt, es werde dann «von der Einreichung einer Strafklage abgesehen».

Das Kantonsgericht hat die erwähnten Äusserungen der Organpersonen der Klägerin mit Recht als Drohungen im Sinne der Art. 29 und 30 OR qualifiziert. Beizupflichten ist der Vorinstanz auch darin, dass die Androhung strafrechtlichen Vorgehens im vorliegenden Fall grundsätzlich als zulässig gelten muss, weshalb die dadurch veranlasste Schuldanerkennung des Beklagten nur dann als unverbindlich anzusehen ist, wenn sich die Klägerin mit ihr übermässige Vorteile hat einräumen lassen (vgl. Art. 30 Abs. 2 OR). Widerrechtlich ist die Drohung mit einer Strafanzeige dann, wenn ein innerer Zusammenhang zum angestrebten Zweck fehlt, beispielsweise wenn mit einer Anzeige wegen Steuerhinterziehung gedroht wird, um den Bedrohten zum Abschluss eines Kaufvertrags zu bewegen. Betrifft die angedrohte Anzeige jedoch Delikte, durch die der Drohende oder eine ihm nahestehende Person geschädigt worden ist, so ist die Drohung erlaubt, solange der Drohende nicht mehr erlangen will, als ihm als Schadenersatz zusteht (SCHWENZER, Basler Kommentar, 2. Aufl. 1996, N. 9 zu Art. 30 OR; VON TUHR/PETER, Allgemeiner Teil des Schweizerischen Obligationenrechts, Bd. I, S. 327 f.; ALFRED KOLLER, Schweizerisches Obligationenrecht, Allgemeiner Teil, Bd. I, S. 291 Rz. 1252 f.; im gleichen Sinne bereits BGE 15, 854 E. 4 S. 860 sowie 76 II 346 E. 4b S. 268 f.; anders BUCHER, Schweizerisches Obligationenrecht, Allgemeiner Teil, 2. Aufl. 1988, S. 226). Vorliegend diente die Androhung strafrechtlichen Vorgehens der Durchsetzung von Schadenersatzansprüchen, welche die Klägerin aus denjenigen Handlungen des Beklagten ableitete, die sie als strafbar erachtete. Der innere Zusammenhang zum angestrebten Zweck ist somit gegeben. Die Zulässigkeit der ausgesprochenen Drohungen hängt folglich davon ab, ob die erzwungenen Schuldanerkennungen sich in ihrem Betrag im Rahmen der Ersatzansprüche halten, die der Klägerin tatsächlich zustehen.

Das ist jedoch, wie das Kantonsgericht - für das Bundesgericht wiederum verbindlich (Art. 63 Abs. 2 OG) - feststellt, nicht der Fall. Im angefochtenen Urteil geht die Vorinstanz in diesem Zusammenhang zwar zunächst grundsätzlich davon aus, dass der Klägerin tatsächlich Schadenersatzforderungen gegen den Beklagten zustehen; dies aus der Überlegung heraus, dass es der Lebenserfahrung widersprechen würde, wenn ein urteils- und handlungsfähiger Entlassener Erklärungen, wie sie dem Beklagten vorgelegt worden waren, unterschreiben würde, ohne seiner Arbeitgeberin unter dem Titel Schadenersatz irgend etwas schuldig zu sein. In Bezug auf die Höhe der klägerischen Schadenersatzansprüche hält die Vorinstanz indessen fest, dass jedenfalls die Fr. 100.'000.--, die der Beklagte in den von ihm unterschriebenen Erklärungen unter dem Titel «Schädigung des geschäftlichen Rufes und Entgang zukünftigen Gewinns durch Vereitelung einer seriösen Geschäftspolitik» anerkannt hatte, das Mass des noch Nachvollziehbaren übersteigen; ob und wieweit auch die übrigen in den Erklärungen aufgeführten Forderungen von insgesamt Fr. 320'000.-- übersetzt sind, wird im angefochtenen Urteil offen gelassen.

Gestützt auf diese Feststellungen gelangt das Kantonsgericht zum Ergebnis, dass die Klägerin dem Beklagten mit den auf Fr. 420'000.-- lautenden Schuldanerkennungen einen übermässigen Vorteil abgenötigt hatte, weshalb der Beklagte befugt war, sich auf die Unverbindlichkeit der Erklärungen vom 13. und vom 14. Juli 1989 zu berufen. Dass er den Willensmangel mit Schreiben vom 27. und vom 28. März 1990 rechtzeitig geltend gemacht hat (vgl. Art. 31 OR), ist unbestritten.

3. Die Klägerin wendet allerdings unter Hinweis auf Art. 20 Abs. 2 OR ein, die Schuldanerkennung des Beklagten könne nur insoweit ungültig sein, als die versprochene Leistung übermässig sei, was nach den Feststellungen der Vorinstanz nur im Umfang von Fr. 100'000.-- zutreffe. Daraus will die Klägerin ableiten, dass die Schuldanerkennung jedenfalls im Umfang von Fr. 320'000.- ihre Gültigkeit behalten müsse.

Art. 20 Abs. 2 OR sieht für den Fall, dass nur einzelne Teile eines Vertrages an einem Nichtigkeitsgrund leiden, die blosse Teilnichtigkeit vor. Die Vorschrift ist nach herrschender Auffassung auf Verträge, die mit Willensmängeln behaftet sind, sinngemäss anwendbar (BGE 96 II 101 E. 3a S. 106 f., mit Hinweisen, bestätigt in BGE 99 II 308 E. 4c S. 309; BGE 107 II 144 E. 3 S. 148, 419 E. 3 S. 423 ff.). Bei Verträgen, die aufgrund einer Drohung geschlossen worden sind, steht die Geltendmachung der Teilunverbindlichkeit jedoch grundsätzlich nur dem Bedrohten zu. Die Gegenpartei, die gedroht hat, verdient keinen Schutz, hat sie die einseitige Unverbindlichkeit des Vertrages doch durch ihr eigenes Verhalten verursacht. Es bleibt ihr deshalb grundsätzlich verwehrt, den Einwand bloss teilweiser Unverbindlichkeit zu erheben; sie muss vielmehr die vollständige Unverbindlichkeit des Vertrages akzeptieren, falls der Bedrohte sich darauf beruft (HÜRLIMANN, Teilnichtigkeit von Schuldverträgen nach Art. 20 Abs. 2 OR, Diss. Freiburg 1984, S. 100 Rz. 328; GAUCH/SCHLUEP/SCHMID/REY, Schweizerisches Obligationenrecht, Allgemeiner Teil, 7. Aufl. 1998, Rz. 869 und 884; a.M. SCHMIDLIN, Berner Kommentar, N. 34 zu Art. 29/30 OR). Das gilt auch, wenn sich die Widerrechtlichkeit der ausgesprochenen Drohung - wie im vorliegenden Fall - erst daraus ergibt, dass sich der Drohende übermässige Vorteile hat einräumen lassen (Art. 30 Abs. 2 OR). Wer die Angst des Bedrohten dazu ausnützt, ihm die Einräumung übermässiger Vorteile abzunötigen, verdient den Schutz der Teilnichtigkeitsregeln nicht (so für den verwandten Tatbestand der Übervorteilung HÜRLIMANN, a.a.O., S. 101 f. Rz. 332; KRAMER, Berner Kommentar, N. 51 zu Art. 21 OR; vgl. auch BGE 84 II 107 E. 4 S. 112 f. sowie BGE 92 II 168 E. 6c S. 179; a.M. BUCHER, a.a.O., S. 237; PIOTET, Note sur les conséquences de la lésion, JdT 106/1958, S. 539). Das Kantonsgericht hat demnach eine Anwendung von Art. 20 Abs. 2 OR zu Recht nicht in Betracht gezogen. Die Klägerin ist nicht befugt, blosse Teilunverbindlichkeit des Schuldanerkennungs-Vertrages geltend zu machen, der unter dem Einfluss ihrer Drohungen zustande gekommen ist und durch den sie sich einen übermässigen Vorteil verschafft hat (zum Vertragscharakter der Schuldanerkennung: SCHMIDLIN, a.a.O., N. 35 zu Art. 17 OR; SCHWENZER, a.a.O., N. 3 zu Art. 17 OR). Das angefochtene Urteil erweist sich auch in dieser Hinsicht als bundesrechtskonform.

Es bleibt somit dabei, dass die Klägerin aufgrund der Schuldanerkennung über Fr. 420'000.--, die in den Erklärungen vom 13. und vom 14. Juli 1989 enthalten ist, nichts vom Beklagten fordern kann. Sie hätte ihre Schadenersatzforderungen direkt auf das dem Beklagten vorgeworfene Fehlverhalten stützen und im Einzelnen nachweisen müssen, aus welchen Verfehlungen des Beklagten ihr welcher Schaden entstanden ist. Diesbezüglich hat sie jedoch im kantonalen Verfahren offenbar eine hinreichende Substanzierung ihrer Klage unterlassen.