Rouagen hajottua, jäsenet Kazushi ja Rayzi päättivät muodostaa uuden yhtyeen; Stray Pig Vanguardin. He debytoivat vuonna 2001, julkaisten ensimmäisen singlensä Moeru GOMIn kesäkuussa. Samaan aikaan he lähtivät ensimmäiselle kiertueelleen STRAY PIG VANGUARD. TOUR 2001. Syyskuussa he julkaisivat debyyttialbuminsa Trash N°1.
Vuoden 2002 alussa he julkaisivat ensimmäisen videonsa, Kazemidorin. Pian sen jälkeen he julkaisivat toisen videon, Yozoran, kesäkuussa, sekä singlen samalla otsikolla. Yhtyeen ensimmäinen konserttivideo S.P.V VARIABLE LIVE BAND 1 VIDEO sisälsi kesäkuisen esiintymisen Shibuya AXilla, ja se julkaistiin saman vuoden marraskuussa.
Seuraavana vuonna he tekivät kahden levyn sopimuksen Nippon Crownin kanssa. He eivät kuitenkaan julkaisseet mitään ennen syyskuuta, jolloin maxisingle Stardust ilmestyi. Kuukautta myöhemmin he julkaisivat täysipituisen albumin nimeltä MIXTURE.
Ennen vuoden loppua Rayzi ilmoitti jättävänsä yhtyeen viimeisen kiertueen jälkeen siirtyäkseen soolouralle. Stray Pig Vanguard lopetti toimintansa alkuvuodesta 2004 noin kymmeneksi kuukaudeksi, kunnes Kazushi aloitti sen toiminnan uudestaan Okamoto Hiroshin ja Noguchi Kaorun kanssa.
Uuden aloituksen jälkeen Stray Pig Vanguard on keskittynyt keikkailemiseen, aloittaen sen neljä kuukautta kestäneen kiertueen voimin helmikuussa 2005. Päivitykset yhtyeen virallisilla websivuilla kuitenkin lupailevat uusia maxisinglejulkaisuja pian.