A.- L. verbüsste zwischen 1974 und April 1981 mehrere Strafen wegen Diebstahls. Am 14. Februar 1986 verurteilte ihn das Strafgericht Basel-Land wegen vorsätzlicher schwerer Körperverletzung zu 12 Monaten Gefängnis, weil er im Jahre 1985 einer Dirne mit einem Messer in den Bauch gestochen hatte. Aus dem Vollzug dieser Strafe wurde er am 20. Dezember 1987 entlassen.

B.- L. fuhr am Abend des 4. Novembers 1989 durchs Seefeld in Zürich und führte ein Heftpflaster und ein Messer von circa 13 cm Klingenlänge mit sich. Er suchte eine hübsche, schlanke Dirne mit einem "feinen, weichen Bauch", um ihr das Messer in den Bauch zu stossen. Das Heftpflaster wollte er dem Opfer auf den Mund kleben. In der Folge sprach er die neunzehnjährige E. an und fuhr sie an einen günstigen Ort, wo sie sich im Fahrzeug auszogen. Er prüfte ihren Bauch und griff zum Messer. Wie sie die Hände schützend vor sich hielt, versicherte er, ihr nichts anzutun, und veranlasste sie so, die Hände wegzunehmen. Sogleich stiess er zu. L. fügte der Frau 37 Stich- und Schnittverletzungen zu. Unmittelbare Todesursache war Verbluten, hervorgerufen durch mehrere Herzdurchstiche.

Das Obergericht des Kantons Zürich verurteilte ihn am 5. März 1992 wegen Mordes zu 17 Jahren Zuchthaus und ordnete eine ambulante Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB während des Strafvollzugs an.

Das Bundesgericht hiess am 22. September 1993 eine Nichtigkeitsbeschwerde des L. teilweise gut und wies die Sache zu neuer Entscheidung an die kantonale Behörde zurück.

C.- Zur Neubeurteilung holte das Obergericht des Kantons Zürich bei der Psychiatrischen Universitätsklinik Basel ein Gutachten und auf Antrag der Verteidigung eine Ergänzung durch den Gutachter ein. Am 13. Dezember 1995 erkannte das Obergericht L. des Mordes schuldig und bestrafte ihn mit 16 Jahren Zuchthaus. Es ordnete eine ambulante Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB während des Strafvollzugs an.

D.- L. und die Staatsanwaltschaft des Kantons Zürich erheben Nichtigkeitsbeschwerden.

- L. beantragt, das Urteil des Obergerichts sei aufzuheben, die Sache zu neuer Entscheidung an die kantonale Behörde zurückzuweisen und ihm die unentgeltliche Rechtspflege zu erteilen. Er ficht das Urteil im Strafpunkt und eventualiter im Massnahmenpunkt an wegen Verletzung von Art. 63 i.V.m. Art. 11 StGB sowie eventualiter von Art. 43 Ziff. 1 Abs. 1 StGB (ohne letzten Satz).

- Die Staatsanwaltschaft beantragt, das Urteil des Obergerichts sei aufzuheben und die Sache zu neuer Entscheidung an die kantonale Behörde zurückzuweisen. Es verletze Bundesrecht, bei Vorliegen der Voraussetzungen der Verwahrung gemäss Art. 43 Ziff. 1 Abs. 2 StGB bloss eine ambulante Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB während des Strafvollzugs anzuordnen.

E.- Das Obergericht und die Staatsanwaltschaft des Kantons Zürich haben auf eine Vernehmlassung verzichtet. L. beantragt, die Beschwerde der Staatsanwaltschaft abzuweisen.

1. Die kantonale Behörde muss bei einer Rückweisung ihrer neuen Entscheidung die Begründung der Kassation zugrundelegen (Art. 277ter BStP). Das gilt im Entscheidpunkt und für weitere Fragen insoweit, als sich die bundesgerichtliche Kassation auf andere Punkte auswirkt und es der Sachzusammenhang erfordert. In diesem Umfang ist die neue Entscheidung vor Bundesgericht anfechtbar (BGE 121 IV 109 E. 7; BGE 117 IV 97 E. 4).

Gemäss dem Rückweisungsentscheid lag die verminderte Zurechnungsfähigkeit zur Tatzeit eher an der Grenze zur Zurechnungsunfähigkeit (Art. 10 StGB). Die Vorinstanz verletzte Art. 11 StGB, weil sie der verminderten Zurechnungsfähigkeit im Vorfeld der Tat zu wenig Gewicht beimass und anschliessend dem Strafmilderungsgrund kaum Rechnung trug. Sie wurde angewiesen, die Strafzumessung unter bundesrechtskonformer Berücksichtigung der schweren Verminderung der Zurechnungsfähigkeit neu vorzunehmen. In diesem Zusammenhang - und angesichts der Tatsache, dass der Beschwerdeführer die öffentliche Sicherheit in schwerwiegender Weise gefährdet - werde sich unter neuen Voraussetzungen die Frage stellen, ob und welche Massnahme anzuordnen sei; die Vorinstanz werde die Möglichkeit einer Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 2 StGB (vgl. BGE 118 IV 108) ebenfalls prüfen müssen.

2. Im Strafrecht gilt das Schuldprinzip. Bei Schuldunfähigkeit (Zurechnungsunfähigkeit, Art. 10 StGB) und verminderter Zurechnungsfähigkeit (Art. 11 StGB) verweist das Gesetz auf das Massnahmenrecht (Art. 43 und 44 bzw. Art. 42-44 und 100bis StGB). Der Rückweisungsentscheid geht vom Sinn und Zweck und dem systematischen Zusammenhang der Art. 10 und 11 StGB mit dem Massnahmenrecht aus.

In der Sache geht es um das Verhältnis von Freiheitsstrafe und Verwahrung nach Art. 43 Ziff. 1 Abs. 2 StGB, und zwar besonders hinsichtlich deren Sicherungsfunktion. Bei Zurechnungsunfähigkeit kommt beim gefährlichen Täter nur diese Massnahmeform in Betracht (vgl. BGE 118 IV 108). Im Verhältnis der Verminderung der Zurechnungsfähigkeit (Art. 11 StGB) wird die schuldangemessene Strafe kleiner, und kann umgekehrt beim gefährlichen Täter die Sicherungsfunktion der Massnahme und deren Dauer entsprechend zunehmen. Gefährdet der Täter infolge seines Geisteszustands die öffentliche Sicherheit in schwerwiegender Weise, muss der Richter nach dieser gesetzlichen Konzeption die Verwahrung anordnen, wenn sie notwendig ist, um ihn von weiterer Gefährdung anderer abzuhalten (Art. 43 Ziff. 1 Abs. 2 StGB). Während die Freiheitsstrafe spätestens mit Ablauf der gesamten Strafdauer endet und der Betroffene entlassen werden muss, ist die Massnahme erst aufzuheben, wenn ihr Grund weggefallen ist (Art. 43 Ziff. 4 StGB). Die Freiheitsstrafe kann unter dem Sicherungsaspekt keinen genügenden Schutz bieten, weil sie bei erheblich verminderter Zurechnungsfähigkeit schuldadäquat nur verhältnismässig kurz dauern kann. Dagegen erlaubt eine Massnahme der Gefährlichkeit Rechnung zu tragen, so dass der Betroffene erst zu entlassen ist, wenn die Gefahr weggefallen ist. Indem die Vorinstanz offensichtlich der kurz- oder mittelfristigen Sicherungsfunktion der Freiheitsstrafe den Vorrang einräumt, verkennt sie neben den Schwierigkeiten, die endgültige Entlassung stufenweise vorzubereiten (dazu BGE 119 IV 5 E. 2), einerseits die Problematik im Entlassungszeitpunkt (Entlassung eines nicht geheilten und entsprechend weiterhin gefährlichen Täters) und verletzt sie anderseits die Kriterien der Strafzumessung, weil sie sich gezwungen sieht, unter Sicherungsgesichtspunkten eine bundesrechtlich nicht zulässige längere Freiheitsstrafe auszufällen. Die Sicherung und Betreuung des im Sinne von Art. 43 Ziff. 1 Abs. 2 StGB gefährlichen Täters lässt sich nicht nach den im ordentlichen Schuldstrafrecht geltenden Kriterien bewältigen. Dies zeigt sich darin, dass gerade der zurechnungsunfähige Täter mangels Schuldfähigkeit nicht strafbar ist (Art. 10 StGB; BGE 118 IV 1 E. 2). Bei einem infolge seines Geisteszustands gefährlichen Täter kann es dabei aber nicht sein Bewenden haben, weshalb Art. 10 StGB Massnahmen nach Art. 43 StGB vorbehält.

3. Der Beschwerdeführer macht geltend, die Vorinstanz habe die Verminderung der Zurechnungsfähigkeit bei der Strafzumessung zu wenig berücksichtigt und zu Unrecht die beantragte stationäre Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB verweigert. Das erste Vorbringen ist begründet, das zweite geht fehl.

a) Die Vorinstanz nimmt an, der Beschwerdeführer habe aufgrund seiner früheren Tat vom Jahre 1985 um die Gefahr wissen müssen, dass sein Zwang zuzustechen durchbrechen könnte; wer derart überlegt handle, lege einen erheblichen deliktischen Willen an den Tag.

Diese Argumentation geht fehl. Zwang liegt vor, wenn sich Denkinhalte oder Handlungsimpulse immer wieder aufdrängen und nicht unterdrückt oder verdrängt werden können, obwohl erkannt wird, dass sie unsinnig sind oder zumindest ohne Grund Denken und Handeln beherrschen. Nicht die Inhalte des Zwangs sind das Pathologische, sondern ihr dominierender Charakter und die Unfähigkeit, sie zu verdrängen (NORBERT NEDOPIL, Forensische Psychiatrie, Stuttgart 1996, S. 66; RAINER TÖLLE, Psychiatrie, 8. Auflage, Berlin 1988, S. 84). Es kann demnach durchaus zutreffen, dass der Beschwerdeführer um die Gefahr wusste und insoweit überlegt handelte. Dass er seinen deliktischen Willen nicht oder nur beschränkt steuern konnte, ist ihm aber nicht oder nur teilweise vorwerfbar.

Weiter schärft die Vorinstanz die Strafe wegen Rückfalls (Art. 67 Ziff. 1 Abs. 1 StGB), obwohl der Beschwerdeführer an einer progredient verlaufenden sadomasochistischen Perversion leidet, einer sehr schweren Erkrankung aus dem Formenkreis der Neurosen. Diese Krankheit entwickelte sich während vieler Jahre und lässt sich bis in die Kindheit zurückverfolgen. Wegen dieses langjährigen Krankheitsbildes und der einhergehenden Einschränkung der Willensfähigkeit kann der Rückfall nur beschränkt strafschärfend wirken.

Somit ist von einer verminderten Zurechnungsfähigkeit an der Grenze zur Zurechnungsunfähigkeit auszugehen. Der Rückfall ist von beschränktem Gewicht. Die neu festgesetzte Freiheitsstrafe verletzt Bundesrecht erneut in klarer Weise, weshalb die Beschwerde in diesem Punkt gutzuheissen ist.

b) Für die Vorinstanz kommt eine Einweisung des Beschwerdeführers in eine Heil- oder Pflegeanstalt im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB nicht in Betracht, weil die Gefahr eines Rückfalls in perverse Phantasien und damit verbundene gefährliche Rituale trotz deutlicher Behandlungsfortschritte keineswegs beseitigt sei. Angesichts des jahrelangen Verlaufs und des Ausprägungsgrads der psychischen Störung lasse sich nicht annehmen, er sei für Dritte nicht mehr gefährlich. Eine Einweisung in eine Heil- oder Pflegeanstalt mit ihrer begrenzten Sicherungsmöglichkeit sei nicht verantwortbar.

Nach dieser zutreffenden Ansicht können gefährliche Täter nicht in eine Heil- oder Pflegeanstalt gemäss Art. 43 Ziff. 1 Abs. 1 StGB eingewiesen werden, wenn bei ihnen trotz ärztlicher Behandlung oder Pflege ernstlich die Gefahr schwerer Straftaten, vor allem von Gewaltdelikten, innerhalb oder ausserhalb der Anstalt bestehen bleibt (BGE 118 IV 108 E. 2a). Die Bestimmung ist nicht anwendbar bei behandlungsfähigen gefährlichen Tätern, deren Heilungschancen kurz- oder mittelfristig derart ungewiss sind, dass in diesem Zeitraum schwere Delikte zu befürchten wären (BGE 121 IV 297 E. 2b). Folglich kommt - wie e contrario aus Art. 43 Ziff. 1 Abs. 2 StGB zu schliessen ist - eine Einweisung gemäss Art. 43 Ziff. 1 Abs. 1 StGB nur in Betracht, wenn der Täter bei ärztlicher Behandlung oder besonderer Pflege nicht gefährlich erscheint und sich die Unterbringung in einer Heil- oder Pflegeanstalt verantworten lässt. Die Vorinstanz verneint diese Voraussetzungen gestützt auf das Gutachten zu Recht, weshalb die Beschwerde insoweit abzuweisen ist.

c) Zusammenfassend ist die Beschwerde des Verurteilten im Massnahmenpunkt abzuweisen und im Strafpunkt gutzuheissen. Der angefochtene Entscheid ist aufzuheben und die Sache zur Festsetzung einer bundesrechtskonformen Strafe an die Vorinstanz zurückzuweisen. Sie wird von einer an der Grenze zur Zurechnungsunfähigkeit liegenden schwer verminderten Zurechnungsfähigkeit auszugehen haben, eingedenk dessen, dass der Beschwerdeführer, wäre er zurechnungsunfähig gewesen (wie von den Gutachtern der Kantonalen Psychiatrischen Klinik Rheinau 1990 und 1991 angenommen worden war), überhaupt nicht strafbar gewesen wäre, und zwar auch nicht im Rückfall (vgl. BGE 118 IV 1 E. 2).

4. Die Staatsanwaltschaft macht eine Verletzung von Art. 43 Ziff. 1 Abs. 2 StGB geltend, weil vorliegend von einer Verletzung des Verschlechterungsverbots durch die Anordnung einer Verwahrung nicht die Rede sein könne.

a) Für die Vorinstanz steht die Gefährlichkeit des Beschwerdegegners ausser Zweifel und bleibt die Prognose derart unsicher, dass auch eine langjährige Freiheitsstrafe die Öffentlichkeit nicht hinreichend schützt. Sie führt weiter aus, nach dem Gutachten könne der Gefahr mit einer Intensivierung und Ergänzung der laufenden Psychotherapie während des Strafvollzugs begegnet werden, während eine Verwahrung einen Rückfall am sichersten vermeiden würde. Der Gefahr könne mittels einer allerdings noch mehrere Jahre dauernden intensivierten Therapie mit hoher Wahrscheinlichkeit begegnet werden, so dass aus forensisch-psychiatrischer Sicht auf eine zeitlich unbegrenzte Verwahrung im Sinne von Art. 43 Ziff. 1 Abs. 2 StGB verzichtet werden könne. Nach dem Gutachten handle es sich dabei um eine Risikoeinschätzung aus forensisch-psychiatrischer Sicht, die der definitiven juristischen Entscheidung nicht vorgreifen wolle; welches Ausmass an Risiko der Bevölkerung und welche Freiheitsbeschränkung dem Täter zuzumuten seien, hätten die dazu legitimierten juristischen Instanzen zu entscheiden. Die Vorinstanz bejaht zwar die Voraussetzungen einer Verwahrung, ordnet sie aber nicht an, weil sie wegen des Verschlechterungsverbots nicht eine schärfere Strafe als im Erstentscheid ausfällen dürfe. Schliesslich äussere sich der Rückweisungsentscheid zur Vereinbarkeit einer Verwahrung mit dem Verbot der reformatio in peius nicht.

b) Die Beschwerdeführerin macht geltend, die Vorinstanz verkenne ihre und des Bundesgerichts Bindung an die Rechtsauffassung im Rückweisungsentscheid. Das Bundesgericht hätte darauf hinweisen müssen, wenn es in der Verwahrung eine Verschlechterung erblickt hätte. Die Vorinstanz überschätze die Tragweite des Verschlechterungsverbots. Das Verfahren sei durch die bundesgerichtliche Kassation in den Stand vor der Ausfällung des aufgehobenen Urteils zurückversetzt worden. Eine Schlechterstellung unter diesen Umständen wäre nur diskutierbar, wenn die Verwahrung gemäss Art. 43 Ziff. 1 Abs. 2 StGB in ihrer Eingriffsintensität über jene der stationären Massnahme gemäss Abs. 1 hinausgehen würde. Das sei nicht der Fall, weil sich die Vollzugsmodalitäten der beiden Sanktionen im wesentlichen nach den gleichen gesetzlichen Kriterien richteten, ausser dass bei der Verwahrung in einer geeigneten Vollzugsanstalt dem erhöhten Sicherheitsbedürfnis Rechnung getragen werden müsse. Zudem lasse Art. 43 Ziff. 3 Abs. 3 StGB selbst nach rechtskräftiger Anordnung einer stationären Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB deren spätere Umwandlung in eine Verwahrung zu; das müsse umso mehr zulässig sein, wenn noch kein rechtskräftiges Urteil vorliege.

c) Die Vorinstanz verkennt die Tragweite der Rückweisung, wenn sie annimmt, das Bundesgericht habe sich zur Frage der reformatio in peius nicht geäussert, wobei einzuräumen ist, dass der Rückweisungsentscheid die Frage nicht ausdrücklich behandelt (anders als etwa BGE 117 IV 97 E. 4c oder BGE 111 IV 51 E. 2; zu dieser Praxis Schweri, Eidgenössische Nichtigkeitsbeschwerde in Strafsachen, Bern 1993, N. 631). Das Bundesgericht hat jedoch festgehalten, mit der neuen Strafzumessung und der schwerwiegenden Gefährdung werde sich unter neuen Voraussetzungen die Frage stellen, ob und welche Massnahme anzuordnen sei; dabei werde die Vorinstanz eine Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 2 StGB prüfen müssen. Es hat damit unausgesprochen die Vereinbarkeit mit dem Verschlechterungsverbot bejaht. Dem Beschwerdegegner seinerseits musste bereits im ersten Nichtigkeitsbeschwerdeverfahren der Zusammenhang zwischen Strafzumessung und Verwahrung klar sein. Er hatte denn auch geltend gemacht, er habe mit dem Freispruch keineswegs die Freilassung angestrebt, sondern die Einweisung in eine geschlossene Anstalt oder Klinik. Damit ging auch er davon aus, es sei die Öffentlichkeit vor einem gefährlichen, kranken Straftäter zu schützen. Nun schloss aber seine Gefährlichkeit nur eine Einweisung in eine Heil- oder Pflegeanstalt im Sinne von Art. 43 Ziff. 1 Abs. 1 StGB aus. Demgegenüber sind gemäss Art. 43 Ziff. 1 Abs. 2 StGB nicht nur die weder heilbaren noch pflegebedürftigen hochgefährlichen Täter zu verwahren, sondern auch die behandlungsfähigen gefährlichen Täter und damit der Beschwerdegegner: In der Verwahrung ist beiden Täterkategorien eine therapeutische und ärztliche Hilfe nach Möglichkeit zu leisten, so dass neben dem Sicherungsaspekt dem Heilungsaspekt und damit der Behandlung im Hinblick auf Heilung und Entlassung Rechnung zu tragen ist (BGE 121 IV 297 E. 2b; BGE 120 IV 1 E. 2b; BGE 118 IV 108 E. 2c).

Entscheidend jedoch ist, dass eine Verwahrung gemäss Art. 43 Ziff. 1 Abs. 2 StGB angeordnet werden muss, wenn diese Massnahme notwendig ist. Gesichtspunkte des Grundsatzes des Verbots der reformatio in peius sind nicht massgeblich (vgl. BGE 117 IV 40 E. 2b; ferner Urteil des Obergerichts des Kantons Zürich vom 26. Juni 1973, ZR 73/1974 Nr. 54).

d) Zusammenfassend hat die Vorinstanz durch die Nichtanwendung von Art. 43 Ziff. 1 Abs. 2 StGB Bundesrecht verletzt. Die Beschwerde ist gutzuheissen, der angefochtene Entscheid ist aufzuheben und die Sache zu neuer Entscheidung an die kantonale Behörde zurückzuweisen.

5. Im neuen Entscheid hat die Vorinstanz die Strafe bundesrechtskonform zuzumessen. Weiter wird sie die Anordnung einer Massnahme im Sinne von Art. 43 Ziff. 1 Abs. 2 StGB zu prüfen haben. Sollte sich die Entscheidgrundlage seit dem Urteilszeitpunkt der angefochtenen Entscheidung wesentlich verändert haben, müsste die Vorinstanz gegebenenfalls eine Einweisung in eine Heil- oder Pflegeanstalt gemäss Art. 43 Ziff. 1 Abs. 1 StGB prüfen.

6. (Kostenfolgen)