Leitete Graf von Linden noch die Geschicke des Vereins und des Museums in Personalunion, wurden diese Ämter nach seinem Tod getrennt. Dr. Augustin Krämer war der erste Direktor des dem Verein unterstellten Museums. Er versuchte, der Weisung von Lindens folgend, ein Völkerkundemuseum von Weltruf aufzubauen. Er folgte damit von Lindens Bestreben, die Lebenszeugnisse indigener Kulturen vor deren Untergang zu retten und zu dokumentieren. Für Theodor Wanner standen hingegen nach wie vor die Kolonialinteressen im Vordergrund. Die Folge war, dass Augustin Krämer abgesetzt wurde. Formal war Herzog Wilhelm von Urach, Graf von Württemberg, Vereinsvorsitzender, maßgeblich geleitet wurde der Verein aber von Wanner, der von 1928 bis 1953 dann auch offiziell Vereinsvorsitzender war. Krämer wurde durch Theodor Koch-Grünberg ersetzt, der von 1915 bis 1924 den Direktorenposten innehatte. Nach einer Vakanz der Stelle übernahm Heinrich Fischer von 1932 bis 1945. Er war bereits seit 1898 am Museum tätig und dort ab 1911 Kustos.

Der Erste Weltkrieg brachte 1918 das Ende der Kolonien, wodurch in der Folgezeit der Objektzuwachs stark zurückging. Die finanzielle Lage des Vereins verschlechterte sich ab den 1920er Jahren zunehmend. Dennoch sollte die finanzielle Unabhängigkeit gewahrt bleiben. In dieser Zeit des Kolonialrevisionismus fällt auch die große Kolonialausstellung in Stuttgart (1928), die maßgeblich vom Verein und Wanner organsiert wurde. Zur Rolle des Vereins während des Nationalsozialismus hingegen gibt es bis heute wenige Erkenntnisse und es besteht noch ein entsprechender Forschungsbedarf. Der Verein und das Museum wurden aber nicht vom Nationalsozialismus übernommen und konnten ihre Eigenständigkeit bewahren. Es gab keinen Personalwechsel in der Leitung und ebenfalls keine vorauseilende „Selbstgleichschaltung“. Museumsdirektor blieb Heinrich Fischer und Theodor Wanner war durchgehend bis 1953 Vereinsvorstand. Versuche, das Linden-Museum 1934 in ein Volkskundemuseum im Sinne der NS-Rassenideologie umzuwandeln, wurden abgewehrt.

Im Hinblick auf die bevorstehenden Luftangriffe während des Zweiten Weltkrieges wurden ab Herbst 1942 große Teile der Objekte in das Salzbergwerk Kochendorf sowie in die Schlösser Schaubeck und Erbach ausgelagert. Großobjekte wie Originalboote oder Großmasken konnten leider nicht ausgelagert werden und fielen dem Krieg gänzlich zum Opfer. Bei einem Luftangriff am 12. September 1944 wurde das Linden-Museum leicht beschädigt. Erheblich schwerwiegender war die Zerstörung des Hauses durch den anschließenden Flächenbrand, der sich durch die Lagerung von Möbeln durch die Stadtverwaltung in den Räumen des Museums, schnell ausbreitete. Nur das Untergeschoss des Museums blieb erhalten.