A.- La société C. est propriétaire d'un immeuble dont une partie est aménagée en hôtel garni, à Sion. Elle a remis à bail divers locaux à dame H. Modifié à plusieurs reprises, la dernière fois le 31 janvier 1969, le contrat prévoyait que la durée du bail s'étendait du 1er novembre 1968 au 30 novembre 1984 et comportait une clause d'indexation du loyer, liée à la variation de l'indice suisse des prix à la consommation.

Dès février 1980, la bailleresse a notifié, par lettres, plusieurs augmentations de loyer à la locataire, qui ne les a pas contestées et a payé les nouveaux loyers ainsi fixés. Le total des augmentations, de 1980 à 1983, s'est élevé à 20'208 francs.

Le 8 novembre 1983, dame H. et les époux R. ont attesté à l'intention de la bailleresse que la première remettait l'hôtel loué aux seconds pour le 1er janvier 1984. Le 10 novembre 1983, la bailleresse a accepté la rupture du contrat de dame H. sans dédommagement, en précisant qu'elle établirait un nouveau contrat de bail avec les époux R.

B.- En février 1985, dame H. a ouvert action contre la société C. en paiement de 20'208 francs avec intérêt, en alléguant que les augmentations de loyer qui lui avaient été notifiées étaient nulles, faute d'avoir été communiquées au moyen de la formule officielle. Elle réclamait en outre 5'000 francs de dommages-intérêts.

La défenderesse a conclu au rejet de la demande et, reconventionnellement, au paiement de 937 fr. 90.

Par jugement du 9 septembre 1986, le Tribunal cantonal du canton du Valais a condamné la défenderesse à verser à la demanderesse 20'208 francs plus intérêt, et la demanderesse à verser à la défenderesse 350 francs, toutes autres conclusions étant rejetées.

C.- La défenderesse recourt en réforme au Tribunal fédéral. Elle conclut à la réformation du jugement attaqué en ce sens que la demande est entièrement rejetée.

Le Tribunal fédéral rejette le recours et confirme le jugement attaqué.

1. a) Selon la jurisprudence, toute majoration de loyer, même fondée sur une clause d'indexation, doit être notifiée sur la formule officielle prévue par l'art. 18 al. 2 AMSL (ATF 110 II 496 consid. 2a, ATF 108 II 323). Aux termes de l'art. 18 al. 3, les avis de majoration qui ne sont pas donnés sur cette formule sont nuls. La cour cantonale relève à juste titre qu'il s'agit là d'une nullité absolue, qui doit être constatée d'office et que le locataire peut faire valoir en tout temps, même s'il a payé le loyer majoré.

La nullité de l'avis de majoration entraînant celle de la hausse de loyer qui en fait l'objet, le preneur dispose d'une action en restitution du loyer payé en trop, pour cause d'enrichissement illégitime (BARBEY, L'arrêté fédéral instituant des mesures contre les abus dans le secteur locatif, p. 32; KNOEPFLER, Problèmes posés par les loyers payés à tort, in 2e séminaire sur le bail à loyer, Université de Neuchâtel, 1982, p. 3 ss; RAISSIG/SCHWANDER, Massnahmen gegen Missbräuche im Mietwesen, 4e éd., p. 83).

S'agissant d'un paiement volontaire, l'art. 63 al. 1 CO subordonne l'action pour cause d'enrichissement illégitime à la condition que le demandeur se soit exécuté en croyant, par erreur, qu'il devait ce qu'il a payé (cf., en matière de bail à loyer, ATF 107 II 258 s. consid. 4). Compte tenu de la ratio legis de l'exigence de la notification sur une formule officielle, exigence qui repose sur l'idée que le locataire peut ignorer les droits que lui confère la loi, la présomption "nul n'est censé ignorer la loi" est ici renversée (KNOEPFLER, op.cit., p. 6). Exiger du locataire, qui doit être renseigné sur ses droits précisément par la formule officielle, qu'il prouve qu'il ignorait ces droits ou les conditions formelles de l'arrêté (comme le préconisent RAISSIG/SCHWANDER, op.cit., p. 83 s.) irait manifestement à l'encontre de cette ratio legis. On doit donc considérer avec BARBEY (loc.cit.) qu'une exception au droit de répétition ne peut être admise que dans les limites étroites de l'abus de droit, c'est-à-dire dans le cas où le preneur s'est rendu compte du vice de forme et s'est abstenu de protester dans le dessein d'en tirer, le cas échéant, ultérieurement profit.

b) Comme il ne ressort pas des faits de la cause que la demanderesse se soit rendu compte du vice de forme qui affectait les avis de majoration, et qu'il est même constaté que c'est seulement dès juin 1984 qu'elle a appris que les hausses devaient être notifiées sur formule officielle, on ne peut pas retenir un abus de droit, au sens de l'art. 2 al. 2 CC. Du fait de cette absence de conscience du vice de forme, le comportement de la locataire en novembre 1983, lorsqu'elle a traité amiablement avec la défenderesse de la rupture de son bail sans dédommagement, ne viole pas les règles de la bonne foi ni ne constitue une attitude contradictoire qui aurait mis la défenderesse en confiance et l'aurait induite à des actes se révélant par la suite préjudiciables (cf. ATF 110 II 498). On ne voit d'ailleurs pas à quel acte préjudiciable aurait pu être amenée la bailleresse, dès lors que l'absence de dédommagement à laquelle elle a souscrit pouvait parfaitement se fonder sur le fait qu'un bail était conclu avec des tiers, excluant tout dommage.

C'est donc à tort que la défenderesse reproche à la cour cantonale d'avoir ignoré l'argument tiré de l'abus de droit et omis d'appliquer l'art. 2 al. 2 CC.