Mit Schreiben vom 28. September 1999 wandte sich die Swisscom AG an das Bundesamt für Kommunikation und legte diesem ihren neuen Interkonnektionsdienst "Swisscom to PTS 0800 Access Service from Swisscom Payphones" vor (PTS = Provider of Telecommunication Services = Fernmeldedienstanbieter). Bei dieser Dienstleistung geht es darum, von den öffentlichen Sprechstellen (Telefonkabinen) der Swisscom AG aus den Zugang zu den 0800-Nummern (Gratisnummern) der anderen Fernmeldedienstanbieter zu gewährleisten. Die Swisscom AG ersuchte um eine Stellungnahme dazu, ob die Abgeltung für den genannten Dienst über eine Interkonnektionsvereinbarung mit kostenorientierter Ausrichtung zulässig und die Preisobergrenze des Bundesrates nicht anwendbar sei.

In seiner Antwort vom 11. Oktober 1999 hielt das Bundesamt fest, für die Benutzung einer öffentlichen Sprechstelle bestehe eine Obergrenze von (damals) 40 Rappen (gemäss Art. 23 Abs. 1 lit. d der Verordnung vom 6. Oktober 1997 über Fernmeldedienste, Fernmeldediensteverordnung, FDV; SR 784.101.1), wobei es sich um eine Gebühr zur Deckung der Infrastrukturkosten handle, die auch in anderer Form anderen Benutzern von Gratisnummern in Rechnung gestellt werde; die Gebühr sei grundsätzlich dem Betreiber der 0800-Nummer oder im Rahmen der Interkonnektion den anderen Fernmeldedienstanbietern zur Bezahlung aufzuerlegen, wobei die Grundsätze der Nichtdiskriminierung, der Kostenorientiertheit und der Transparenz zu berücksichtigen seien.

Mit weiterem Schreiben vom 25. Oktober 1999 äusserte die Swisscom AG gewisse Zweifel an der Auffassung des Bundesamtes und bat um Erläuterung. Dieses hielt mit Antwort vom 9. November 1999 an seinem Standpunkt fest und bekräftigte, dass die Verbindung mit anderen Fernmeldedienstanbietern von öffentlichen Sprechstellen aus zur Grundversorgung gehöre und insoweit die bundesrätliche Preisobergrenze für die Kosten zwischen der Linienkarte und dem Telefonanschluss (insbesondere Infrastrukturkosten) Anwendung finde, währenddem die übrigen Kosten gänzlich auf dem Wege der Interkonnektion zu regeln seien.

In ihrem ab 1. Januar 2000 gültigen Grundangebot im Bereich der Interkonnektion setzte die Swisscom AG für die Dienstleistung "Swisscom Publifon to PTS Freephone Access", d.h. für die Verbindung mit Gratisnummern anderer Fernmeldedienstanbieter von öffentlichen Sprechstellen der Swisscom AG aus, einen Preis von 29,10 Rappen pro Minute als Grundgebühr (Publifon Charge) fest, welche der Finanzierung der Infrastruktur öffentlicher Sprechstellen dient und zu den Verbindungsgebühren (Network Access Charge) hinzutritt. In der Folge reduzierte die Swisscom AG die Grundgebühr auf 24,74 Rappen pro Minute.

Am 18. Februar 2000 eröffnete das Bundesamt für Kommunikation ein Aufsichtsverfahren gegen die Swisscom AG. Es hielt fest, dass nach seiner Auffassung die Erhebung einer Grundgebühr von 24,74 Rappen pro Minute anstelle eines maximalen festen Zuschlages von 40 Rappen pro Anruf das Fernmelderecht und die Grundversorgungskonzession der Swisscom AG verletze. Das Bundesamt liess die Swisscom AG wissen, es erwäge, bei der Eidgenössischen Kommunikationskommission Aufsichtsmassnahmen vorzuschlagen, und lud die Swisscom AG zur Stellungnahme ein. Diese trug am 10. März 2000 vor, auf die fragliche Grundgebühr seien einzig die Regeln der Interkonnektion anwendbar, und beantragte die sofortige Einstellung des Aufsichtsverfahrens.

Mit Novelle der Fernmeldediensteverordnung vom 5. April 2000 änderte der Bundesrat unter anderem Art. 23 Abs. 1 lit. d FDV und erhöhte die Preisobergrenze für den Zuschlag für die Benutzung einer öffentlichen Sprechstelle neu auf 50 Rappen (AS 2000 S. 1044, insbes. S. 1049). Diese Revision trat am 1. Mai 2000 in Kraft (AS 2000 S. 1055).

Mit Verfügung vom 10. Mai 2000 stellte die Eidgenössische Kommunikationskommission fest, die Swisscom AG verletze das Fernmelderecht sowie ihre Grundversorgungskonzession Nr. 25510000, indem sie im Rahmen ihrer Interkonnektionsdienstleistung "Swisscom Publifon to PTS Freephone Access" einen Zuschlag von 24,74 Rappen pro Minute als sog. Publifon Charge anstelle von höchstens 50 Rappen (40 Rappen bis zum 30. April 2000) pro Anruf verlange. Gleichzeitig hielt die Kommunikationskommission die Swisscom AG an, den festgestellten Mangel unverzüglich und rückwirkend auf den 1. Januar 2000 zu beseitigen. Der Swisscom AG wurde eine Frist von 30 Tagen eingeräumt, um das Bundesamt für Kommunikation über die getroffenen Massnahmen zu informieren.

Gegen diese Verfügung führt die Swisscom AG mit Eingabe vom 7. Juni 2000 Verwaltungsgerichtsbeschwerde beim Bundesgericht. Sie macht die unrichtige Feststellung des rechtserheblichen Sachverhaltes, eine Verletzung des eidgenössischen Fernmelderechts sowie einen Verstoss gegen die Wirtschaftsfreiheit geltend.

Die Eidgenössische Kommunikationskommission schliesst in ihrer Stellungnahme vom 13. Juli 2000 auf Abweisung der Beschwerde.

Das Bundesgericht weist die Beschwerde ab.

Aus den Erwägungen:

1.- a) Nach Art. 97 OG in Verbindung mit Art. 5 VwVG (SR 172.021) beurteilt das Bundesgericht Verwaltungsgerichtsbeschwerden gegen rechtswirksame Anordnungen im Einzelfall, die sich auf öffentliches Recht des Bundes stützen. Gemäss Art. 58 des Fernmeldegesetzes vom 30. April 1997 (FMG; SR 784.10) wacht das Bundesamt für Kommunikation darüber, dass die Konzessionäre das internationale Fernmelderecht, das Fernmeldegesetz, die Ausführungsvorschriften und die Konzession einhalten; es kann bei der Eidgenössischen Kommunikationskommission verschiedene Aufsichtsmassnahmen beantragen, die von der Aufforderung zur Behebung von Mängeln bis hin zum Konzessionsentzug reichen. Nach Art. 61 Abs. 1 FMG unterliegen Verfügungen der Kommunikationskommission der Verwaltungsgerichtsbeschwerde an das Bundesgericht.

Im vorliegenden Fall ist eine derartige Aufsichtsmassnahme angefochten. Es handelt sich um eine gestützt auf das Fernmeldegesetz, d.h. auf öffentliches Recht des Bundes, ergangene rechtswirksame Anordnung im Einzelfall. Ein Ausschlussgrund gemäss Art. 99-101 OG liegt nicht vor. Die Beschwerdeführerin ist als direkte Adressatin der angefochtenen Aufsichtsverfügung gemäss Art. 103 lit. a OG zur Beschwerde legitimiert. Auf die frist- und formgerecht eingereichte Verwaltungsgerichtsbeschwerde ist daher einzutreten (vgl. BGE 125 II 293 E. 3, insbes. E. 3c).

b) Im Verfahren der Verwaltungsgerichtsbeschwerde überprüft das Bundesgericht den angefochtenen Entscheid auf Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie auf unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts, sofern nicht eine richterliche Behörde als Vorinstanz entschieden hat (vgl. Art. 104 und 105 OG).

Bei der Eidgenössischen Kommunikationskommission handelt es sich zwar um eine von Bundesrat, Departement und übriger Verwaltung unabhängige Instanz (vgl. Art. 56 Abs. 2 FMG). Sie entscheidet im Aufsichtsverfahren aber wohl nicht als richterliche Instanz; die Frage kann jedoch offen bleiben. Die Beschwerdeführerin behauptet zwar, die Vorinstanz habe den Sachverhalt unrichtig festgestellt. Strittig ist dabei, ob die Vorinstanz die Infrastrukturkosten, namentlich diejenigen, welche am Standort anfallen, genügend berücksichtigt hat bzw. ob der Anschluss von öffentlichen Sprechstellen an die Abonnementszentralen der Beschwerdeführerin bereits dem Interkonnektionsregime untersteht oder nicht. Es fragt sich, ob es sich dabei wenigstens teilweise nicht bereits um Rechtsfragen handelt, was aber ebenfalls offen bleiben kann. So oder so ist das Bundesgericht an die Begründung der Parteibegehren nicht gebunden (vgl. Art. 114 Abs. 1 OG), wendet das einschlägige Bundesrecht damit von Amtes wegen an, und sind die betreffenden Streitpunkte für die vorliegend zu entscheidende Frage nicht ausschlaggebend (vgl. dazu E. 3).

2.- a) Gemäss Art. 1 Abs. 2 lit. a FMG soll das Fernmeldegesetz unter anderem eine zuverlässige und erschwingliche Grundversorgung mit Fernmeldediensten für alle Bevölkerungskreise in allen Landesteilen gewährleisten. Zu diesem Zweck sieht Art. 14 FMG die Erteilung von Grundversorgungskonzessionen mit der Auflage vor, im Konzessionsgebiet die Dienste der Grundversorgung allen Bevölkerungskreisen anzubieten. Umfang und möglicher Inhalt der Konzession werden in Art. 16 FMG umschrieben. Art. 17 FMG enthält Vorschriften zu den Qualitätsanforderungen und zur Preisgestaltung (vgl. dazu BBl 1996 III 1419 und 1430). Insbesondere legt der Bundesrat nach Art. 17 Abs. 2 FMG für die Grundversorgung periodisch Preisobergrenzen fest; diese gelten einheitlich für das ganze Gebiet und richten sich nach der Entwicklung des Marktes. In Ausführung von Art. 17 Abs. 2 FMG hat der Bundesrat in Art. 23 FDV eine Reihe von Preisobergrenzen festgesetzt.

Gemäss Art. 66 Abs. 1 FMG ist die Beschwerdeführerin bis zum 31. Dezember 2002 zur flächendeckenden Sicherstellung der Grundversorgung nach Art. 16 Abs. 1 FMG verpflichtet, wofür sie eine entsprechende Konzession erhält. Am 20. August 1999 wurde ihr denn auch die Grundversorgungskonzession Nr. 25510000 erteilt. Die Beschwerdeführerin verzichtete auf Investitionsbeiträge nach Art. 19 FMG (BBl 1996 III 1419 und 1450; vgl. auch Art. 66 Abs. 1 FMG).

b) Nach Art. 16 Abs. 1 lit. c FMG ist der Grundversorgungskonzessionär insbesondere zu einer ausreichen- den Versorgung mit öffentlichen Sprechstellen verpflichtet. Gemäss Art. 23 Abs. 1 lit. d FDV gilt eine Preisobergrenze von 40 Rappen (bis zum 30. April 2000; vgl. ursprüngliche Fassung der Fernmeldediensteverordnung in AS 1997 S. 2833, insbes. 2839) bzw. 50 Rappen (ab 1. Mai 2000; vgl. AS 2000 S. 1044, insbes. S. 1049 und 1055) für den Zuschlag für die Benutzung einer öffentlichen Sprechstelle.

Im vorliegenden Zusammenhang geht es um diesen Zuschlag, wenn aus einer öffentlichen Sprechzelle der Beschwerdeführerin eine Verbindung mit einer 0800-Nummer (Gratisnummer) hergestellt wird, die ein Kunde eines anderen Fernmeldedienstanbieters betreibt.

3.- a) Die Beschwerdeführerin ist der Ansicht, die fraglichen Kosten seien ausschliesslich auf dem Wege der Interkonnektion zu regeln. Aufsichtsrechtliche und damit regulatorische Kontrollen und Massnahmen seien damit ausgeschlossen. Überdies bestimme die Preisobergrenze lediglich das Verhältnis der Beschwerdeführerin zu den Anrufern als unmittelbaren Benutzern des Telefondienstes und nicht jenes zu anderen Fernmeldedienstanbietern.

b) Vom Charakter und vom Gesetzeszweck her handelt es sich bei den gesetzlichen Preisobergrenzen um einen staatlichen Eingriff in die Tarifautonomie der Fernmeldeanbieter. Der Gesetzgeber wollte im Interesse der Konsumenten sicherstellen, dass gewisse Preise einen vorgesehenen Höchstbetrag nicht übersteigen. Dafür hat er für bestimmte Dienstleistungen zwingende Preisobergrenzen festgesetzt. Der Gesetzestext äussert sich nicht ausdrücklich dazu, gegenüber wem die Preisobergrenzen gelten.

Mit dem Zuschlag bei der Benutzung öffentlicher Sprechstellen sollen die Infrastrukturkosten des Fernmeldedienstanbieters, welcher die Sprechstellen unterhält, entschädigt werden. Er dient damit dem gleichen Zweck wie die fragliche sog. "Publifon Charge" der Beschwerdeführerin. Dabei ist von vornherein klar, dass die Endkonsumenten, das heisst die Anrufer als eigentliche Benutzer der angebotenen Dienstleistung, unter dem Schutz der Preisobergrenzen stehen müssen. Auf sie darf kein diese Limite übersteigender Betrag überwälzt werden. Dasselbe muss jedoch auch für die konkurrierenden Fernmeldedienstanbieter gelten: Das ganze System macht nur dann Sinn, wenn die Preisobergrenzen ebenfalls zwischen den verschiedenen Fernmeldedienstanbietern Beachtung finden. Auch die Konkurrenten der Beschwerdeführerin sind bei der Preisgestaltung ihren Kunden gegenüber daran gebunden, wobei es im vorliegenden Zusammenhang keine Rolle spielt, dass die Kosten bei den Gratisnummern nicht direkt dem Anrufer als Endkonsumenten, sondern dem Betreiber der 0800-Nummer berechnet werden, welcher die Gratisnummer abonniert hat und dem Endkonsumenten zur Verfügung stellt. Die Preisobergrenzen sind damit auch im Verhältnis zwischen der Beschwerdeführerin und ihren Konkurrenten anwendbar.

Die Beschwerdeführerin wendet dagegen zwar ein, dies führe zu einer wettbewerbsverzerrenden künstlichen Verbilligung ihrer Dienstleistung, da sie letztlich ihre Kosten nicht vollumfänglich zu decken bzw. zu überwälzen vermöge, wenn sie auch gegenüber ihren Konkurrenten an die Preisobergrenzen gebunden sei. Dies mag allenfalls zutreffen, ist hier jedoch nicht massgeblich. Entscheidend ist einzig, dass das Gesetz das System der Preisobergrenzen vorsieht, woran sich die Behörden wie auch die betroffenen Fernmeldedienstanbieter zu halten haben. Dass die Beschwerdeführerin eventuell nur unvollständig entschädigt wird, beruht auf der Regelung von Art. 19 in Verbindung mit Art. 66 Abs. 1 FMG, wonach ihr zurzeit keine Investitionsbeiträge für unrentable Grundversorgungsdienste zustehen. Diese Regelung geht auf das eigene Einverständnis der Beschwerdeführerin zurück und dauert noch bis Ende 2002; ab dem Jahr 2003 wird sich auch die Beschwerdeführerin allfällige Ausfälle durch Investitionsbeiträge des Bundes abgelten lassen können. Zurzeit kommt es aber nicht darauf an, ob sämtliche am Standort anfallenden Infrastrukturkosten mit der gesetzlichen Preisobergrenze entschädigt werden oder nicht. Daraus ergibt sich, dass diejenigen Kosten, welche am Standort der öffentlichen Sprechstelle unter Einschluss der Netzanschlusskosten (Verbindung mit der Abonnementszentrale gemäss dem Sprachgebrauch der Vorinstanz; "lokaler Switch" gemäss dem Sprachgebrauch der Beschwerdeführerin) anfallen, vom gesetzlich geregelten Zuschlag entgolten werden und lediglich die übrigen Verbindungskosten davon nicht erfasst sind und separat in Rechnung gestellt werden dürfen.

Im Übrigen lässt sich nicht von der Hand weisen, dass die Beschwerdeführerin nicht nur zur Erbringung der Grundversorgungsdienste verpflichtet ist, sondern daraus selbst dann wenigstens in werbetechnischer Hinsicht profitiert, wenn sie für eine einzelne Dienstleistung nicht ganz oder nur gerade kostendeckend Rechnung stellen könnte. Das kann namentlich für die öffentlichen Sprechstellen zutreffen, die doch ein nicht unwesentliches Werbepotential für die Beschwerdeführerin mit sich bringen dürften.

c) An dieser rechtlichen Beurteilung ändern auch die Regeln über die Interkonnektion nichts.

aa) Gemäss Art. 3 lit. e FMG bedeutet Interkonnektion die Verbindung von Fernmeldeanlagen und Fernmeldediensten, die ein fernmeldetechnisches und logisches Zusammenwirken der verbundenen Teile und Dienste sowie den Zugang zu Diensten Dritter ermöglicht.

Interkonnektion umfasst sämtliche notwendigen Voraussetzungen, damit Partner miteinander in Kontakt treten und sich gegenseitig Informationen in verständlicher und vollständiger Form zusenden können. Ziel der Interkonnektion ist, dass alle Anwender von Fernmeldediensten über die Netze und Dienste aller Anbieter hinweg miteinander kommunizieren können. Die Regelung des gegenseitigen Netzzuganges gilt als Grundvoraussetzung für einen funktionierenden Fernmeldemarkt (BGE 125 II 613 E. 1a, mit weiteren Hinweisen).

Mit der Interkonnektionspflicht nach Art. 11 Abs. 2 FMG für alle Anbieter von Diensten der Grundversorgung soll insbesondere sichergestellt werden, dass alle Kunden von Diensten der Grundversorgung, insbesondere vom Telefondienst, miteinander kommunizieren können, unabhängig davon, bei welchen Anbietern sie angeschlossen sind. Dabei handelt es sich namentlich um die so genannte Interoperabilität aller Teilnehmer am Telekommunikationsmarkt (BGE 125 II 613 E. 1b).

Grundsätzlich werden die Bedingungen der Interkonnektion zwischen den beteiligten Unternehmungen direkt vereinbart. Eine staatliche Regelung ist gesetzlich nur subsidiär für den Fall vorgesehen, dass sich die Parteien nicht innert vernünftiger Frist einigen können (vgl. Art. 11 Abs. 3 FMG; BGE 125 II 613 E. 1c; BBl 1996 III 1419, 1427).

bb) Die Subsidiarität des staatlichen Eingriffs im Bereich der Interkonnektion muss nun aber unter dem Vorbehalt zwingender gesetzlicher Regelungen stehen. Sie kann nur insoweit gelten, als das Gesetz den Fernmeldedienstanbietern überhaupt einen Spielraum belässt, was zwar weitgehend, bei den Preisobergrenzen aber gerade nicht zutrifft. Gewiss ist es den beteiligten Unternehmungen unbenommen, in ihren Interkonnektionsvereinbarungen eine einvernehmliche Regelung über die Überwälzung von Kosten zu treffen, für welche wie beim Zuschlag für die Benützung öffentlicher Sprechstellen eine Preisobergrenze gilt. Das schliesst jedoch die weitere Gültigkeit derselben nicht aus. Im Gegenteil bleibt sie auch bei Interkonnektionsregelungen beachtlich, weshalb die für die Preisgestaltung zwingende Obergrenze auch im Interkonnektionsbereich einzuhalten ist. Ein Spielraum besteht diesfalls lediglich nach unten: Es ist nicht erforderlich, einen der Preisobergrenze entsprechenden Betrag auf die Interkonnektionspartner zu überwälzen, sondern die Dienstleistung kann auch billiger angeboten werden. Überschritten werden darf die Preisobergrenze aber nicht.

d) Damit kommt es im Ergebnis nicht darauf an, ob die im vorliegenden Verfahren fragliche Dienstleistung, die Verbindung mit einer Gratisnummer (0800-Nummer) eines anderen Fernmeldedienstanbieters von einer öffentlichen Sprechstelle der Beschwerdeführerin aus, überhaupt zum Interkonnektionsregime gehört oder nicht. Die Preisobergrenze von Art. 23 Abs. 1 lit. d FDV gilt so oder so, und zwar nicht nur gegenüber den Endkonsumenten, sondern auch gegenüber den konkurrierenden Fernmeldedienstanbietern.

4.- a) Ist die Beschwerdeführerin an die Preisobergrenze von Art. 23 Abs. 1 lit. d FDV in jedem Fall gebunden, rechtfertigt sich in Anwendung von Art. 58 FMG eine aufsichtsrechtliche Kontrolle darüber, ob sie die entsprechende gesetzliche Regelung einhält.

b) Es ist offensichtlich, dass sich ein Preis von 24,74 Rappen pro Minute mit der gesetzlichen Preisobergrenze nicht vereinbaren lässt. Bereits ein relativ kurzes Telefongespräch von einer Dauer, die zwei Minuten nur unwesentlich übersteigt, führt zu einem höheren Zuschlag, als er dem Preismaximum von 50 Rappen gemäss Art. 23 Abs. 1 lit. d FDV entspricht.

Die Vorinstanz hat es dabei bewenden lassen, die Beschwerdeführerin in Anwendung von Art. 58 Abs. 2 lit. a FMG zu einer Behebung des festgestellten Mangels aufzufordern und sie zu verpflichten, innert 30 Tagen über die getroffenen Massnahmen Bericht zu erstatten. Die Beschwerdeführerin konnte sich dazu vorweg äussern. Das Vorgehen war korrekt, und das Ergebnis erweist sich gemessen am Gesetzeszweck, die kostengünstige Grundversorgung sicherzustellen, als geeignet, erforderlich und angebracht, kurz als verhältnismässig. Dabei ist auch zu berücksichtigen, dass die Beschwerdeführerin ursprünglich das Bundesamt für Kommunikation zur Rechtslage angefragt hat und aufgrund von dessen Antworten mit Massnahmen der Aufsichtsbehörde rechnen musste.

c) Die Beschwerdeführerin hält dafür, der angefochtene Entscheid verletze sie in ihrer Wirtschaftsfreiheit nach Art. 27 BV. Es ist fraglich, ob sich die Beschwerdeführerin als zur Erfüllung einer öffentlichen Aufgabe konzessionierte gemischtwirtschaftliche Aktiengesellschaft, an welcher der Bund von Gesetzes wegen die kapital- und stimmenmässige Mehrheit hält (Art. 6 Abs. 1 des Bundesgesetzes vom 30. April 1997 über die Organisation der Telekommunikationsunternehmung des Bundes, Telekommunikationsunternehmungsgesetz, TUG [SR 784.11]; vgl. BGE 125 II 293 E. 4f S. 307 f.), überhaupt auf die Wirtschaftsfreiheit berufen kann (vgl. dazu etwa RHINOW/SCHMID/BIAGGINI, Öffentliches Wirtschaftsrecht, Basel/Frankfurt a.M. 1998, § 5 Rz. 43 ff. und 84 ff.). Dies kann vorliegend aber dahingestellt bleiben, da ein allfälliger Eingriff ohnehin die dafür erforderlichen Voraussetzungen (vgl. Art. 36 und 94 BV) erfüllen würde. Der Bund hat die verfassungsmässige Kompetenz zur Regelung des Fernmeldewesens und damit zur Abweichung vom Grundsatz der Wirtschaftsfreiheit, wobei er insbesondere für eine ausreichende und preiswerte Grundversorgung zu sorgen hat (Art. 92 BV). Der angefochtene Entscheid beruht auf einer genügenden gesetzlichen Grundlage (Art. 17 Abs. 2 FMG und Art. 23 Abs. 1 lit. d FDV), er verfolgt das öffentliche, schon in der Verfassung anerkannte Interesse der Gewährleistung einer kostengünstigen Grundversorgung, und er ist, wie bereits dargelegt, verhältnismässig.