A.- Par contrat du 1er décembre 1956, dame Laetitia Perret a loué à Perret-Bovi SA, pour quinze ans, des locaux commerciaux situés dans un immeuble qu'elle possède à Martigny. Le loyer est de 320 fr. par mois.

En mars 1961, la propriétaire poursuivit Perret-Bovi SA en paiement d'une contribution aux frais de fourniture d'eau. Le commandement de payer portait, selon les art. 282 LP et 265 CO, que le contrat de bail était résilié si la débitrice ne s'acquittait pas dans les trente jours.

Perret-Bovi SA n'ayant pas payé, dans ce délai, le montant qui lui était réclamé, dame Perret demanda son expulsion au Juge-instructeur du district de Martigny. Par une décision rendue en procédure sommaire, ce magistrat admit la requête et ordonna à Perret-Bovi SA d'évacuer les locaux loués.

Cette société se pourvut en nullité au Tribunal cantonal du Valais.

Par arrêt du 3 octobre 1961, cette juridiction admit le pourvoi en nullité et annula la décision de première instance.

B.- Dame Perret recourt en réforme au Tribunal fédéral, en concluant à l'annulation de l'arrêt du Tribunal cantonal et à la confirmation de la décision du Juge-instructeur.

L'intimée propose que le recours soit déclaré irrecevable, et, subsidiairement, qu'il soit rejeté.

1. Lorsque le différend a pour objet l'existence d'un contrat de bail ou l'expulsion du preneur, il faut, d'après la jurisprudence (RO 33 II 706, 85 II 220, 86 II 57 58), considérer comme valeur litigieuse le loyer afférent à la période sur laquelle porte la contestation. En l'espèce, l'existence du contrat de bail est contestée pour une période de plus de dix ans. Le loyer étant de 320 fr. par mois, la valeur litigieuse exigée par l'art. 46 OJ est atteinte. D'autre part, on se trouve en présence d'une "contestation civile" selon cette disposition légale.

2. Pour que le recours soit recevable, il faut en outre, selon l'art. 48 OJ, qu'il vise une décision finale, c'est-à-dire un prononcé qui met définitivement fin au procès, soit qu'il tranche le fond, soit que, sans l'aborder parce qu'une condition de procédure n'est pas remplie, il ne permette plus à l'intéressé d'exercer son action (RO 84 II 398 et les arrêts cités, RO 86 II 123). En l'occurrence, il s'agit donc de savoir si, malgré l'arrêt du Tribunal cantonal, la recourante peut encore, par la voie de la procédure ordinaire, intenter action en justice pour faire constater que le contrat de bail a été valablement résilié. Comme ce point n'est pas réglé clairement par les lois valaisannes, la juridiction fédérale a demandé l'avis du Tribunal cantonal du Valais qui, le 21 décembre 1961, lui a répondu par une lettre qui concluait en ces termes:

"En l'espèce, le Tribunal cantonal, en qualité de juridiction de recours, a, par jugement du 3 octobre 1961, annulé la décision du juge-instructeur du 10 mai 1961 prononçant l'expulsion de la locataire.

Il a donc refusé l'expulsion de cette dernière. Dès lors son arrêt du 3 octobre ne constitue pas à notre avis, une décision finale au sens de l'art. 48 OJ. Il ne rend pas impossible un jugement sur le fond et n'exclut pas définitivement l'exercice de l'action en justice (ATF 84 II 229, JT 1958 pg. 546), puisque la propriétaire, dame Laetitia Perret-Bovi, a encore la faculté de faire trancher, dans une action ordinaire devant la juridiction valaisanne compétente, la question de l'expiration du contrat de bail à la suite de la demeure prévue à l'art. 265 CO."

Ainsi, dame Perret peut encore actionner l'intimée devant la juridiction valaisanne compétente pour faire constater la validité de la résiliation et l'expiration du contrat. Le Tribunal cantonal en conclut avec raison que son arrêt du 3 octobre 1961 n'est pas une décision finale selon l'art. 48 OJ.

Dès lors, le recours en réforme est irrecevable.