しかし、二人の父源弥（げんや）は力を持たない大名であったため、αとして生まれた源之亟は齢８の時に跡取りのいない尾張の織田信長に養子として奪われてしまった。当時、播磨の国は織田信長の陣営と毛利元就の陣営という二大勢力に挟まれどちらの陣営につくかの判断を迫られていたが織田に源之亟を奪われたため、織田陣営についた。 さらに、奏弥が齢１８の時、伊根を毛利元就の孫である秀元の嫁としてよこさなければ霧生家を潰すと言われ、源弥は伊根をとてもかわいがっていたことから源之亟のいる織田を裏切り、毛利につくことにした。しかし、織田は源弥の裏切りを知ると源之亟が大兵を率いて霧生を潰すとの知らせをよこした。その知らせには潰されたくなければ、奏弥をよこせとあったが、源弥は戦うことを決心した。源弥は毛利に援軍を頼んだが、毛利からの援軍は来ることがなく、奏弥と側近数人を逃がすと城に火をつけ自害した。奏弥はなんとか逃げることができ、毛利に身を寄せた。しかし、毛利のもとへ織田から奏弥を見つけ次第渡すようにと書状が届いており、毛利は使い道のない奏弥を織田へ渡してしまった。