Depois do fim do Rouage, os membros Kazushi e Rayzi decidiram formar uma nova banda: Stray Pig Vanguard. Eles estrearam em 2001, lançando seu primeiro maxi-single, Moeru GOMI, em junho. Ao mesmo tempo, deram início à sua primeira turnê, STRAY PIG VANGUARD. TOUR 2001. Em setembro, lançaram seu primeiro álbum, Trash N°1.
No começo de 2002, eles lançaram seu primeiro vídeo, Kazemidori. Pouco tempo depois, lançaram o seguinte, Yozora, em junho, assim como um single homônimo em setembro. Seu primeiro vídeo ao vivo, S.P.V VARIABLE LIVE BAND 1 VIDEO, apresentando seu concerto de junho no Shibuya AX, foi lançado em novembro daquele ano.
Em 2003, eles assinaram com a Nippon Crown para o lançamento de dois CDs. A banda lançou o maxi-single Stardust em setembro. Um mês depois, lançaram seu segundo álbum, MIXTURE.
No fim do ano, Rayzi anunciou que deixaria a banda depois de sua última turnê. O Stray Pig Vanguard encerrou suas atividades no começo de 2004 por cerca de dez meses, até que Kazushi voltou, com o apoio de Okamoto Hiroshi e Nogushi Kaoru.
Desde sua volta, o Stray Pig Vanguard fez diversos shows e uma turnê de quatro meses, a partir de fevereiro de 2005. Agora o Stray Pig Vanguard tem como foco principal a força dos shows ao vivo.
