E' possibile impostare la Crittografia dell'SMTP (SSL, TLS), nel pannello delle impostazioni generali dell'applicazione. Io ho un SMTP fornito dal provider con crittografia SSL, e mi funziona bene. Forse è il caso che segui bene le indicazioni che il tuo provider del server smtp ti ha fornito, oltre a server smtp, utenza e passwd.
Non capisco cosa intendi quando dici che senza autenticazione la mail parte bene. Forse usando il metodo PHP