Όταν ξέσπασε το σκάνδαλο με την «Κιβωτό του Κόσμου» ο Αρχιεπίσκοπος βρισκόταν στη Θεσσαλονίκη.
Σύμφωνα με μητροπολίτη που ήταν παρών, ήταν τέτοιος ο εκνευρισμός του που αν ήταν δυνατόν εκείνη τη στιγμή θα καταδίκαζε τον Πατέρα Αντώνιο.
Και δεν είναι μόνο γιατί ο ιερέας είχε αρνηθεί την εποπτεία της Αρχιεπισκοπής, όπως έκανε και επί μακαριστού Χριστόδουλου, αλλά γιατί έγκαιρα, ανεπίσημα και επίσημα είχε εκφράσει τις αντιρρήσεις της. Είναι δε χαρακτηριστικό ό,τι οι μητροπολίτες των δομών σε Χίο, Καλαμάτα, Βόλο και Ιωάννινα απέφευγαν να έχουν σχέσεις με τον π.Αντώνιο.
Η πιο έντονη αντίδραση, σύμφωνα με πληροφορίες, ήρθε από την Καλαμάτα, όπου οη μητροπολίτης - πανεπιστημιακός κ.Χρυσόστομος του εξέφρασε την αντίρρησή του, για τη δομή που δημιούργησε εκεί. Μάλιστα φαίνεται πως του είπε ό,τι οι δράσεις αυτές δεν ταιριάζουν με την Εκκλησία για να πάρει την απάντηση πως πρόκειται για προσωπική του υπόθεση. Προκειμένου να τον ταρακουνήσει ο Χρυσόστομος του διεμήνυσε ό,τι δεν θα παραστεί στα εγκαίνια της δομής προκειμένου να μην νομιμοποιήσει μια αρνητική κατάσταση. Από τότε διεκόπη κάθε επαφή.
Καμία επαφή δεν είχε ο π.Αντώνιος με ευθύνη δική του και με τον μητροπολίτη Χίου, όπου είχε αναπτύξει αξιόλογες δράσεις.
Πολλά ερωτηματικά γεννιούνται για τα όσα συνέβησαν στην 'Ήπειρο. Ο μητροπολίτης Ιωαννίνων απέφυγε να έχει σχέσεις μαζί του. Μάλλον έμμεσα του απαγόρευσε να δραστηριοποιηθεί εντός των ορίων της μητρόπολης.
Κατάφερε όμως ο π. Αντώνιος μέσω του ιδρύματος Λάτση να εγκαταστήσει τη δομή στην Πωγωνιανή, όπου αρχικά αγόρια και κορίτσια έμεναν μαζί. Στην πορεία τα κορίτσια μεταφέρθηκαν σε κτίριο στην Κόνιτσα όπου τα μεγαλύτερα πρόσεχαν τα μικρότερα.
Αν και η Πωγωνιανή υπάγεται στη μητρόπολη Κονίτσης ο ιερέας πέρασε στην αρχή από τον μητροπολίτη κ. Ανδρέα, ο οποίος όμως δεν παραβρέθηκε στα εγκαίνια της δομής. Γενικώς οι σχέσεις του με τη μητρόπολη σταμάτησαν πριν καν ξεκινήσουν.
Κάτι ανάλογο έγινε στο Βόλο όπου στην αρχή συναντήθηκε με τον μητροπολίτη Δημητριάδος κ.Ιγνάτιο, στον οποίο ανέπτυξε το σχέδιό του.
Σε όλες τις περιπτώσεις ο π.Αντώνιος δεν είχε καμία σχέση με τις τοπικές Εκκλησίες, αλλά ούτε και με τους τοπικούς άρχοντες σε ό,τι αφορά τους ελέγχους .
Οι μητροπολίτες απέφευγαν να έχουν σχέσεις καθώς θεωρούν ό,τι ένα τόσο σοβαρό εγχείρημα δεν είναι δυνατόν να διοικείται από ένα πρόσωπο, χωρίς να υπάρχουν ασφαλιστικές δικλείδες, καθώς είναι υπαρκτός ο κίνδυνος να εκτεθεί συνολικά η Εκκλησία.