1987 beschloss Matsutani Ken (Gu.) seine damalige Band White Heaven zu verlassen und eine neue Gruppe zu gründen. In der ersten Besetzung fanden sich mehrere ehemalige Mitglieder von White Heaven, die aber, so wie es scheint, sehr bald wieder die Band verließen. In den ersten Jahren ihres Bestehens nahm die Band mehrere Demos auf. Ihr erstes Album erschien 1990 bei Alchemy Records, dem Label von Japans Noise Superstar Masonna, bei welchem später auch Bands wie Angel'in Heavy Syrup unter Vertrag standen.
Innerhalb der Szene erreichte die Band einen gewissen Grad der Berühmtheit, jedoch war nach diversen, weiteren Mitgliederwechseln nur noch Matsutani Ken von der Originalbesetzung übriggeblieben. Wann genau das Label Captain Trip, von dem Ken heute der Manager ist, gegründet wurde, ist nicht bekannt, trat aber ab 1992 in Erscheinung; damals noch unter der Leitung Souichiro Nakamuras (White Heaven). Marby, das Maskottchen und offizielles Mitglied der Gruppe, wurde erstmals 1993 auf die Bühne geschickt und wurde von den Fans so gut aufgenommen, dass es fortan beinahe immer zum Einsatz kam. Trotz ihrer Bekanntheit waren die Jahre von 1995 bis ungefähr 1999 sehr ruhig: Marble Sheep trat nur selten auf und noch seltener veröffentlichten sie CDs. Ob die Band in diesen Jahren überhaupt ernsthaft aktiv war oder pausierte, ist nicht bekannt.
1999 übernahm Matsutani Ken die Stelle als Manager von Captain Trip und von diesemZeitpunkt an ging es mit Marble Sheep stark aufwärts. Während der kompletten Umbesetzung im gleichen Jahr kam Miyazaki Rie in die Band und übernahm die Rolle von Marby. Obwohl sie zuerst nur die Bühnenshow machte, wurde sie 2000 die Gitarristin der Band und ab 2001 Bassistin. Sie ist mittlerweile das - nach Ken - dienstälteste Mitglied von Marble Sheep, da die anderen beinahe regelmäßig ausgewechselt wurden. Dass aber ein Verlassen nicht endgültig ist, bewiesen mehrere Mitlieder, die zum Teil gerade mal ein Jahr nach Ausstieg wieder in die Band kamen, um sie ein weiteres Jahr später erneut zu verlassen. Zu eben solchen gehören auch die derzeitigen Mitglieder Brown Nose, der von 2001 bis 2002 dabei war, und Arakawa Taro (2002 - 2004). Da auf der Homepage der Band nur das Jahr angegeben ist, kann nicht mit Sicherheit gesagt werden, welcher der beiden bei ihrem Auftritt auf einem Festival in Deutschland dabei war. Bei dieser Veranstaltung traten sie unter anderem mit der deutschen Psychedelic-Band Guru Guru auf, die nun in Japan von Captain Trip vertrieben wird.
2003 unterschrieben Marble Sheep einen Vertrag mit dem deutschen Label fünfundvierzig, das fortan die neuen Alben der Band auch den deutschen Fans zugänglich machte. Im Jahr 2004 veranstaltete die Gruppe ein Event in Japan, bei dem sie mit einer weiteren deutschen Gruppe zusammenarbeiteten: Damo Suzuki Network. Die für das gleiche Jahr angekündigte Europa Tournee wurde jedoch wieder abgesagt.
Nachdem das Jahr 2005 ohne größere Aktionen vonstatten ging - das einzig Erwähnenswerte ist die Veröffentlichung von "The Gate of a heavenly Body" durch fünfundvierzig, ohne des Erscheinens eines japanischen Pendants -, startete die Band 2006 wieder durch. Im März machte sich die Band, begleitet von der deutschen Vorband Drive By Shooting, zu einer ausgiebigen Deutschlandtournee auf, bei der sie auch Abstecher in die Schweiz und nach Dänemark unternahmen.
2007 erschien ihr Album "Message from Oarfish", welches dann der Anlass war, im November und Dezember des selben Jahres mehrere Länder Europas zu bereisen. Wieder lag aber das Hauptaugenmerk auf Deutschland - 11 von 28 Konzerten fanden in deutschen Clubs statt, zwei weitere in Österreich und der Schweiz. 2008 blieb man im eigenen Lande und es gab immer wieder kleinere Mitgliederwechsel. So stieg Tak ein weiteres Mal aus der Band aus. In der Folgezeit traf es dann zwei weitere Mitglieder. SAWADA und die seit fast zehn Jahren mit der Band aktive Rie verließen die Gruppe im Frühjarhr 2009, beziehungsweise schon Ende 2008. Als neue Bassistin wurde Baby engagiert. Für den freien Posten des zweiten Schlagzeugers wurden verschiedene Support-Mitglieder rekrutiert. Im November erschienen das Album "Purple" und das Mini-Album "Green". Danach spielte die Gruppe wieder Konzerte.
