Erreur URSSAF qui m'a autorisée à tort à devenir AE

Je suis en profession libérale, j'ai créé une entreprise individuelle en 2007 sous le régime fiscal simplifié, déclaration contrôlée avec TVA...
Souhaitant changer de statut fin 2009, je demande à mon URSSAF, par téléphone, ce que je dois faire pour passer d'entreprise individuelle, non micro, avec TVA... à auto-entrepreneur; on me dit de remplir le formulaire sur internet puis de leur envoyer par courrier accompagné d'une lettre expliquant mon ancien statut et ma demande d'en changer.

Après de nombreuses requêtes, pour en savoir où en était mon dossier, je finis par recevoir la notification attestant que je suis bien enregistrée en tant qu'auto, avec prélèvement libératoire de l'impôt à compter du 04/01/2010...
Je change donc ma façon de procéder, ne facture plus de TVA, paye tous les mois à l'URSSAF, l'impôt et les autres charges...

Tout se passe bien, jusqu'à ce que plusieurs relances de paiement de TVA me soient adressées. Les impôts m'informent qu'ils n'ont aucune information attestant que je suis bien auto... pour eux, je suis toujours entreprise individuelle, et je dois donc payer la TVA au titre de 2010...
Sauf qu'en tant qu'auto, on ne facture pas la TVA, comment pourrais-je donc la payer ?

L'URSSAF me dit qu'ils n'auraient jamais du accepter mon dossier, que j'aurai d'abord du me faire radier moi-même en tant qu'entreprise individuelle auprès des impôts... que sans ça, on va me retirer le statut d'auto-entrepreneur... Que quoi qu'il arrive, j'aurais du faire cela et qu'ils n'y sont pour rien, qu'ils n'avaient pas à vérifier mon statut fiscal...ni à communiquer quelque info que ce soit aux impôts...

Bref, j'ai cru que l'URSSAF était un Centre de Formalité des Entreprises ou bien on se moque de moi là ?
Les impôts me disent que l'URSSAF aurait dû m'informer et surtout ne pas autoriser, mais je dois quand même payer !
Qu'en pensez-vous et surtout, quels sont les recours possibles car je ne compte pas payer pour les erreurs des autres…