Después de que Rouage se disolviese, Kazushi y Rayzi decidieron formar una nueva banda: Stray Pig Vanguard. Su debut fue el año 2001, con el lanzamiento del maxi-single "Moeru GOMI" en junio. Al mismo tiempo, tuvieron su primera gira: STRAY PIG VANGUARD. TOUR 2001. El siguiente septiembre, lanzaron su primer álbum; "Trash Nº1".
A principios de 2002 lanzaron su rimer video Kazemidori. Al poco tiempo, lanzaron otro más, en junio; Yozora, también distribuyeron un single con el mismo nombre en septiembre. Su primer concierto en video fue el S.P.VVARIABLELIVEBAND1 VIDEO que presentaba su concierto de junio en Shibuya AX. Dicho video fue lanzado en noviembre de ese año.
En 2003 firmaron con Nippon Crown para la grabación de 2 CDs. No lanzaron nada hasta septiembre, cuando salió su maxi-single "Stardust". Un mes más tarde lanzaron su segundo álbum; "MIXTURE".
Para el final del año, Rayzi anunció que dejaría la banda después de su última gira. Stray Pig Vanguard pausó actividades a comienzos de 2004 por caso diez meses, hasta que Kazushi retomó con Okamoto Hiroshi y Nogushi Kaopru como músicos de soporte.
Desde que retomaron actividades, Stray Pig Vanguard arrasó con actuaciones en vivo con una larga gira de cuatro meses en febrero de 2005. Desde entonces, Stray Pig Vanguard ha mantenido su enfoque principal, la engería de su puesta en escena. Actualizaciones pasadas de su sitio Web anunciaban un proximo lanzamiento de un maxi-single para 2006.