5. Der Beschwerdeführer rügt, die Vorinstanz habe verkannt, dass er gar nicht im vollen Umfang der Klage passivlegitimiert sei, da die Hälfte des eingeklagten Betrags bzw. die Hälfte der Titel, welche herausverlangt würden, unbestrittenermassen an den gemeinsamen Bruder der Parteien geflossen seien. Selbst wenn er zur Zahlung des vollen Geldbetrags verurteilt werden könnte, gelte dies aber sicherlich nicht für die Herausgabe der Titel, welche gestützt auf Art. 641 Abs. 2 ZGB nur vom aktuellen Besitzer verlangt werden könne.

5.1 Die Vorinstanz hat ausgeführt, der Beschwerdeführer habe als direkter Stellvertreter des Beschwerdegegners (lediglich) dessen 1'833 Namenaktien zum zehnfachen Nennwert verkauft, obwohl der Auftrag des Beschwerdegegners auf Verkauf der Namenaktien, der Inhaberaktien sowie der Partizipationsscheine zum fünffachen Nennwert gelautet hatte. Ein ohne Ermächtigung geschlossener Vertrag könne aber vom Vertretenen genehmigt werden (Art. 38 OR), wobei eine solche Genehmigung als stillschweigend erteilt gelten könne, wenn wie im vorliegenden Fall der Stellvertreter für den Vertretenen ein günstigeres Ergebnis erzielt habe. Damit habe der Beschwerdegegner gegenüber dem Beschwerdeführer grundsätzlich einen Anspruch auf Bezahlung des eingeklagten Betrages von Fr. 562'072.50 und auf Herausgabe der nicht verkauften 40 Inhaberaktien und 1'075 Partizipationsscheine, deren Eigentümer er geblieben sei.

Was die Herausgabe der Inhaberaktien und der Partizipationsscheine angehe, sei zu beachten, dass diese zentral bei der SIX SIS AG (vormals SEGA) sammelverwahrt würden. Die Titel seien nach wie vor im Depot der Bank Y. eingebucht. Bei dieser Sachlage richte sich das Vindikationsbegehren des Beschwerdegegners zwar in erster Linie gegen die Bank Y. Ein dinglicher Herausgabeanspruch könne sich aber auch gegen einen mittelbaren Besitzer richten. Als solcher sei der Beschwerdeführer zu betrachten, nachdem dieser die Verwaltung des Depots von B.E. übernommen habe. Damit habe der Beschwerdeführer die 40 Inhaberaktien und 1'075 Partizipationsscheine herauszugeben.

5.2 Die Vorinstanz qualifizierte den Beschwerdeführer als mittelbaren Besitzer der Titel und demzufolge bezüglich sämtlicher Titel als passivlegitimiert. Die Argumentation der Vorinstanz setzt voraus, dass der Beschwerdegegner einen dinglichen Herausgabeanspruch gegen den Beschwerdeführer hat.

5.2.1 Das vorinstanzliche Urteil erging am 23. Dezember 2010. Am 1. Januar 2010 ist das Bundesgesetz über Bucheffekten (BEG; SR 957.1) in Kraft getreten. Bucheffekten sind vertretbare Forderungs- oder Mitgliedschaftsrechte gegenüber dem Emittenten, die einem Effektenkonto gutgeschrieben sind und über welche der Kontoinhaber nach den Vorschriften des BEG verfügen kann (Art. 3 Abs. 1 BEG). Sie sind Vermögensobjekte sui generis (Botschaft vom 15. November 2006 zum Bucheffektengesetz sowie zum Haager Wertpapierübereinkommen [im Folgenden: Botschaft BEG], BBl 2006 9339 Ziff. 2.1.1.1; HESS/STÖCKLI, Das Bucheffektengesetz: Grundzüge und Missverständnisse, Anwaltsrevue 3/2010 S. 115). Das an ihnen bestehende Eigentum ist nicht im engen sachenrechtlichen Sinn zu verstehen (Botschaft BEG, a.a.O., 9342 Ziff. 2.1.2 Art. 1 Abs. 2; vgl. zur rechtssystematischen Einordnung HANS KUHN, Schweizerisches Kreditsicherungsrecht, 2011, § 26 N. 20 mit Hinweisen; WIEGAND, Die Bucheffekte - Ein neues Vermögensrecht?, in: Festschrift für Helmut Koziol zum 70. Geburtstag, 2010, S. 1127, 1136 f.). Die sachenrechtliche Beziehung des Hinterlegers zu den Urkunden wird indessen nicht aufgehoben, sondern lediglich sistiert (HESS/STÖCKLI, a.a.O., S. 115). Sie lebt wieder auf, wenn die Wertpapiere von der Verwahrungsstelle herausgegeben werden (vgl. Art. 8 BEG).

Diesen Grundsätzen entsprechend ist eine Vindikation von Bucheffekten und die Restituierung nach den Regeln des Besitzesschutzes ausgeschlossen (Botschaft BEG, a.a.O., 9378 Ziff. 2.1.6.3 Art. 29 Abs. 2; VON DER CRONE/BILEK, Aktienrechtliche Querbezüge zum geplanten Bucheffektengesetz, SZW 2/2008 S. 206; KUHN, a.a.O., § 26 N. 25). Eine Rückabwicklung hat vielmehr nach schuldrechtlichen Grundsätzen zu erfolgen, wobei sich ein entsprechender Anspruch etwa auch aus einem Vertragsverhältnis ergeben kann (Botschaft BEG, a.a.O., 9378 Ziff. 2.1.6.3 Art. 29 Abs. 2; VON DER CRONE/BILEK, a.a.O., S. 206).

5.2.2 Das BEG ist während des Rechtsmittelverfahrens in Kraft getreten. Neue Gesetzesbestimmungen sind grundsätzlich auch in Rechtsmittelverfahren zu berücksichtigen, wenn sie nach den intertemporalrechtlichen Regeln in der Sache anwendbar sind (vgl. MEYER/DORMANN, in: Basler Kommentar, BGG, 2. Aufl. 2011, N. 30 zu Art. 99 BGG; VON WERDT, in: Bundesgerichtsgesetz [BGG], Seiler/von Werdt/Güngerich [Hrsg.], 2007, N. 9 zu Art. 99 BGG; SPÜHLER/DOLGE/VOCK, Kurzkommentar zum Bundesgerichtsgesetz, 2006, N. 5 zu Art. 99 BGG). Das intertemporale Recht findet sich vorliegend in den Übergangsbestimmungen nach Art. 35 BEG und subsidiär im Schlusstitel zum ZGB (Botschaft BEG, a.a.O., 9385 Ziff. 2.1.9 Art. 35).

Das BEG befasst sich in Artikel 35 Absatz 1 mit Wertrechten, auf welche das Gesetz nur anwendbar ist, wenn sie im Hauptregister einer Verwahrungsstelle eingetragen sind (vgl. Art. 6 Abs. 1 lit. c BEG). Übergangsrechtlich ist daher vorgesehen, dass Emittenten von Wertrechten, die einem durch eine Verwahrungsstelle geführten Effektenkonto gutgeschrieben sind, innerhalb von sechs Monaten nach Inkrafttreten des BEG bei einer Verwahrungsstelle das Hauptregister einzurichten und die Wertrechte darin eintragen zu lassen haben (Art. 35 Abs. 1 BEG). Erst dann werden die Wertrechte in Bucheffekten umgewandelt und vom Geltungsbereich des BEG erfasst (Botschaft BEG, a.a.O., 9385 Ziff. 2.1.9 Art. 35 Abs. 1). Anders verhält es sich hingegen bei den sammelverwahrten Wertpapieren, die einem Effektenkonto bei einer Verwahrungsstelle wie einer Bank gutgeschrieben sind. Diese werden mit Inkrafttreten des BEG automatisch zu Bucheffekten (Botschaft BEG, a.a.O., 9385 Ziff. 2.1.9 Art. 35 Abs. 1; DALLA TORRE/GERMANN, 12 Antworten zum neuen Bucheffektengesetz, Gesellschafts- und Kapitalmarktrecht [GesKR] 4/2009 S. 575; MARTIN LANZ, Aktientransfers unter dem neuen Bucheffektengesetz, in: Kapitalmarkttransaktionen IV, Reutter/Werlen [Hrsg.], 2009, S. 200; HARALD BÄRTSCHI, Die rechtliche Umsetzung des Bucheffektengesetzes, AJP 2009 S. 1085). Dies hat zur Folge, dass eine Vindikation von sammelverwahrten Wertpapieren, die einem Effektenkonto bei einer Bank gutgeschrieben waren, ab dem Inkrafttreten des BEG am 1. Januar 2010 nicht mehr möglich ist. Ein Wertpapier ist eine Urkunde, mit der ein Recht derart verknüpft ist, dass es ohne die Urkunde weder geltend gemacht noch auf andere übertragen werden kann (Art. 965 OR). Dazu gehören sowohl Inhaberaktien als auch Partizipationsscheine (FURTER, in: Basler Kommentar, Obligationenrecht, 3. Aufl. 2008, N. 15 zu Art. 965 OR; MEIER-HAYOZ/VON DER CRONE, Wertpapierrecht, 2. Aufl. 2000, § 1 N. 17, § 2 N. 134, § 19 N. 64). Die streitgegenständlichen sammelverwahrten Inhaberaktien und Partizipationsscheine, welche auf dem Bankdepot eingebucht sind, wurden somit am 1. Januar 2010 zu Bucheffekten, mit der Konsequenz, dass eine Vindikation vorliegend nicht mehr möglich ist. Der Beschwerdegegner ist damit auf vertragliche Ansprüche verwiesen.

5.3 Die Parteien standen im Zusammenhang mit dem Verkauf der Titel in einem Auftragsverhältnis. Zu prüfen ist daher, ob der Beschwerdegegner aus diesem Auftragsverhältnis einen vertraglichen Anspruch auf Herausgabe von als Bucheffekten ausgestalteten 40 Inhaberaktien und 1'075 Partizipationsscheinen hat. Zu prüfen ist zudem der vom Beschwerdeführer erhobene Einwand der teils fehlenden Passivlegitimation in Bezug auf diese Titel und den Geldbetrag von Fr. 562'072.50.

5.3.1 Durch die Annahme eines Auftrages verpflichtet sich der Beauftragte, die ihm übertragenen Geschäfte oder Dienste vertragsgemäss zu besorgen (Art. 394 Abs. 1 OR). Er hat alles, was ihm infolge seiner Geschäftsführung aus irgendeinem Grunde zugekommen ist, zu erstatten (Art. 400 Abs. 1 OR). Die Herausgabepflicht betrifft neben den Vermögenswerten, die der Beauftragte direkt vom Auftraggeber zur Erfüllung des Auftrags erhält, auch indirekte Vorteile, die der Beauftragte infolge der Auftragsausführung erlangt (BGE 137 III 393 E. 2.1; BGE 132 III 460 E. 4.1 S. 464). Der Beauftragte soll durch den Auftrag - abgesehen von einem allfälligen Honorar - weder gewinnen noch verlieren. Er muss daher alle Vermögenswerte herausgeben, welche in einem inneren Zusammenhang zur Auftragsausführung stehen. Wird ein Vermögenswert etwa teurer verkauft, als der Auftraggeber vorgegeben hat, steht der Vorteil diesem zu (VITO ROBERTO, Die auftragsrechtliche Herausgabepflicht des "Erlangten", ZSR 128/2009 I S. 35). Behalten darf der Beauftragte nur, was er lediglich bei Gelegenheit der Auftragsausführung, ohne inneren Zusammenhang mit dem ihm erteilten Auftrag, von Dritten erhält (BGE 132 III 460 E. 4.1 S. 464 mit Hinweisen). Gegenstand der Herausgabepflicht können etwa Wertpapiere, Geld oder auch obligatorische Rechte sein (FELLMANN, Berner Kommentar, 1992, N. 129 zu Art. 400 OR).

5.3.2 Die Vorinstanz hat festgestellt, dass der Beschwerdegegner den Beschwerdeführer ursprünglich damit beauftragt hatte, seine Namenaktien, Inhaberaktien sowie Partizipationsscheine zum fünffachen Nennwert zu verkaufen. Stattdessen hat der Beschwerdeführer lediglich die 1'833 Namenaktien des Beschwerdegegners verkauft, diese hingegen zum zehnfachen Nennwert. Diese Variante war für den Beschwerdegegner unbestrittenermassen günstiger, da daraus ein Erlös von Fr. 1'833'000.- resultierte und zudem die Inhaberaktien und Partizipationsscheine in seinem Eigentum verblieben, wogegen nach der von ihm gewünschten Variante sämtliche Titel zu einem Erlös von lediglich Fr. 1'265'250.- verkauft worden wären. Die Vorinstanz hat ausgeführt, dass der Beschwerdegegner den Abschluss des Kaufvertrags in dieser Form genehmigt hat. In Kenntnis des Kaufvertrags forderte der Beschwerdegegner von B.E. die Herausgabe seiner nicht verkauften hinterlegten Titel, worauf dieser mitteilte, die erwähnten Titel seien auf Anweisung des Beschwerdeführers diesem ausgehändigt worden. Festgestellt ist schliesslich, dass der Beschwerdeführer die Verwaltung des Bankdepots von B.E. übernommen hat und dass sich sämtliche Titel noch in diesem Depot befinden.

5.3.3 Sowohl der Differenzbetrag aus dem Erlös als auch die als Bucheffekten ausgestalteten Titel stellen Vermögenswerte dar und können Gegenstand der Herausgabepflicht sein. Den Erlös hat der Beschwerdeführer als Stellvertreter der Verkäufer und in Ausführung des Auftrags, die Wertpapiere zu verkaufen, entgegengenommen. Die Inhaberpapiere und Partizipationsscheine hat er vom damaligen Verwalter des Bankdepots, B.E., durch seine Stellung als Beauftragter zur internen Abrechnung des Aktienverkaufs erlangt, nachdem B.E. im Glauben war, der Beschwerdegegner hätte alle Titel verkauft. Sowohl den Erlös als auch die Titel des Beschwerdegegners hat der Beschwerdeführer damit infolge der Auftragsausführung erlangt. Die Vermögenswerte stehen zudem in einem inneren Zusammenhang mit der Ausführung des Auftrags, der gerade im Verkauf der Titel des Beschwerdegegners bestand.

Der Beschwerdeführer ist der Auffassung, der von ihm nach Abschluss des Kaufvertrags vorgenommene Ausgleich durch Aufteilung der Erlösdifferenz und der Inhaberaktien und Partizipationsscheine auf sich und seinen Bruder sei ihm nicht vorzuwerfen, da der Beschwerdegegner schliesslich genau das erhalten habe, was er gefordert hatte. Er übersieht dabei, dass der Beschwerdegegner den von ihm geschlossenen Kaufvertrag wie von der Vorinstanz ausgeführt genehmigt hat, was auch konkludent möglich ist (BGE 101 II 222 E. 6b/bb S. 230). Dies wird vom Beschwerdeführer nicht bestritten. Nachdem der Vertrag aber vom Beschwerdegegner genehmigt wurde, kann der Beschwerdeführer den gestützt auf diesen Vertrag erzielten Erlös und die übrig gebliebenen Titel dem Beschwerdegegner nicht mit dem blossen Hinweis auf die ursprünglich beabsichtigte Lösung vorenthalten. Denn dies würde dem Grundsatz widersprechen, dass der Beauftragte durch den Auftrag keinen Vermögensvorteil erlangen soll. Der Beschwerdegegner verlangt lediglich die Herausgabe der nicht verkauften Titel und des Differenzbetrags zwischen dem erhaltenen und dem höheren Erlös, den der Beschwerdeführer durch den Verkauf der Namenaktien zum zehnfachen Nennwert erzielt hat. Dieser Vorteil steht dem Beschwerdegegner zu. Eine Herausgabepflicht ist damit zu bejahen. Der Beschwerdeführer hat dem Beschwerdegegner sowohl den Differenzbetrag von Fr. 562'072.50 aus dem Erlös als auch (nunmehr als Bucheffekten ausgestaltete) 40 Inhaberaktien und 1'075 Partizipationsscheine nach den Bestimmungen des BEG zu übertragen bzw. herauszugeben.

5.3.4 Daran ändert entgegen der Ansicht des Beschwerdeführers nichts, dass ein Teil dieses Geldbetrags sowie der Inhaberaktien und Partizipationsscheine an den gemeinsamen Bruder der Parteien geflossen ist. Der Anspruch des Beschwerdegegners auf Herausgabe des gesamten Erlöses und sämtlicher Titel stützt sich auf einen obligatorischen Anspruch, der einzig gegen den Beschwerdeführer kraft seiner Stellung als Beauftragter gerichtet ist. Ob der Beschwerdeführer einen Teil des Erlöses und der Titel auf einen Dritten übertragen hat, ist daher vorliegend für die Passivlegitimation nicht relevant. Die Rüge ist unbegründet.