可以向对方要回自己受骗的钱。根据刑事诉讼立法精神，刑事案件以惩罚和挽回损失为宗旨，诈骗案属于财产型犯罪，在受理案件并立案侦查期间，办案机关和当事人都可以要求诈骗犯退赃退赔，因此你可以向对方要钱。