我某公司向日本A客商出口一批货物，A商按时开来不可撤销即期议付信用证，该证由设在我国境内的外资B银行通知并加具保兑。我公司在货物装运后，将全套合格单据交B银行议付，收妥货款。但B银行向开证行索偿时，得知开证行因经营不善已宣布破产。于是，B银行要求我公司将议付款退还，并建议我方直接向买方索款。问：我方如何处理？为什么？