L'origine del Casale, però, è controversa. Secondo alcuni autori, dopo il terremoto del 990, che distrusse la città di Conza, e per il dilagare della malaria, i Vescovi abbandonarono la sede abituale di Conza e si stabilirono nel territorio di S. Andrea, dove da tempo degli agricoltori conzani si erano insediati in un nucleo abitativo intorno alla chiesa dedicata a S. Andrea.
Altri farebbero risalire le origini all'alto Medio Evo, quando durante l'occupazione longobardica (VI-VII sec.), si diffuse il culto di S. Andrea Apostolo ad opera dei Bulgari, chiamati in Italia dagli stessi Longobardi per ripopolare alcune zone al centro Meridione desolate a seguito della guerra con i Bizantini.
Mentre i Longobardi rimanevano nei centri maggiori in rocche fortificate, i Bulgari si distribuivano nei "vichi" che presero il nome di "Casale di S. Andrea".

Dal 1161 fino alla soppressione della feudalità, il feudo di S.Andrea appartenne alla mensa Arcivescovile. Il re Ladislao, la regina Giovanna per primi, il re Ferdinando nel 1465, Carlo V nel 1536 riconobbero il privilegio contenuto nell'atto di donazione e non tassarono nel cedolario l'università di S.Andrea.
Non tutti gli arcivescovi, però, esercitarono il potere spirituale (giurisdizione religiosa) ed insieme quello temporale (giurisdizione civile, mista e criminale), per cui nei secoli successivi, il paese fu assoggettato a varie signorie.

Tra la fine del XIII sec. e l'inizio del XIV sec. i signori Poncelly, di origine francese, feudatari di Pescopagano e di Andretta, avrebbero fatto costruire nel suffeudo di S. Andrea il palazzo Baronale, un fortilizio turrito, per difesa del Barone, dei suoi funzionari e degli abitanti, contro le scorrerie di briganti e di bande armate.
In seguito esercitarono il potere feudale le famiglie Del Balzo (XIV sec.), Gesualdo (XV sec.) e, sia pure in parte, le famiglie Ludovisi e Mirelli (XVII - XVIII sec.).

Nel corso del 1500 la mensa arcivescovile di Conza riacquistò alcune antiche prerogative.
Nel 1560 l'Arcivescovo Girolamo Muzzarelli (1553 - 1561) ottenne dalla "Regia Camera della Sommaria di Napoli" la conferma della esenzione dalla tasse per "l' Università di S.Andrea".
I cittadini di S. Andrea erano pertanto obbligati a pagare la decima sui beni di produzione all'Arcivescovo feudatario. Lo stesso Arcivescovo fece del Castello Baronale la sede arcivescovile (Episcopio) rendendolo più solido e protetto da una nuova torre.
Dopo il Concilio di Trento, fu istituito nella diocesi il Seminario Metropolitano.
L'Episcopio di S. Andrea divenuto residenza abituale estiva degli Arcivescovi di Conza (quella invernale era Santomenna), fu oggetto di continui restauri e numerose modifiche ed abbellito con opere di pregio artistico, come il giardino pensile e la monumentale "cascata". In tale impresa si prodigarono, tra gli altri, gli Arcivescovi Ercole Rangone (1645 - 1650), Fabrizio Campana (1651 - 1657), Paolo Caravita (1673 - 1681).

Durante il Rinascimento, il Casale si trasformò in un vero e proprio Paese, sviluppandosi intorno alla Chiesa Madre, e la popolazione crebbe notevolmente (55 fuochi nel 1494, 180 nel 1669 e nel 1700, 282 fuochi nel 1732).
L'impianto originario della Chiesa Madre potrebbe risalire al XIII e XIV sec.; le navate laterali furono edificate tra il XVII e XVIII sec. e i due cappelloni di S. Andrea e S. Emidio nel XIX secolo.

Nel 1607, fu decisa, con pubblico parlamento, la costruzione del convento dei padri francescani minori riformati. L'opera fu realizzata nel luogo ove preesisteva la chiesa di S. Maria della Neve, una chiesa "semplice e rurale", e portata a termine nella prima metà del secolo XVII.
Ancora oggi se ne possono osservare i ruderi che testimoniano una grandezza passata materiale e morale insieme.
A cavallo tra il XVII e il XVIII sec. vi fu un periodo di intensa attività sismica: ricordiamo per tutti i disastrosi terremoti del 1694 e del 1732.
L'Arcivescovo Gaetano Caracciolo (1682 - 1709) fece ricostruire il Seminario ed edificare la vice cattedrale di San Michele in cui fu sepolto alla sua morte, arredandola con le preziose tele di Andrea Miglionico, pittore del seicento napoletano, allievo di Luca Giordano. L'esistenza di un vecchio Seminario si può dedurre dalla intestazione di una strada che è giunta come tale ai giorni nostri ("Via Seminario Vecchio").
Gli Arcivescovi Francesco Nicolai (1716 - 1731) e Giuseppe Nicolai suo nipote (1731 - 1758) continuarono l'opera del predecessore ampliando e migliorando le strutture, dotando il Seminario di una ricca biblioteca, accrescendo il prestigio della istituzione.
Risale alla prima metà del XVIII sec. anche la costruzione della chiesa della Congregazione dell'Immacolata per iniziativa dei cittadini, ed agli anni 1760-67 quella della chiesa rurale dell'Incoronata, a Piano di Campo.
Essa è stata recentemente restaurata e riaperta al culto; l'ultimo sabato di aprile accoglie i pellegrini dell'intero circondario in occasione della fiera che si svolge lungo la strada di accesso alla chiesa stessa.
L'ultimo sabato di maggio invece ha luogo il pellegrinaggio delle maggiaiole da S. Andrea a Conza in onore della Madonna della "Gaggia": secondo un'antichissima tradizione (già documentata nel 1745) una teoria di giovani vergini, recanti sul capo un fazzoletto di uva spina, precede il popolo dei devoti lungo la strada che porta a Conza.

Alla fine del '700, la terra di S. Andrea aveva un preciso assetto urbanistico, con le sue emergenze architettoniche, i suoi mulini ad acqua e le sue porte di accesso, tra cui quella tuttora esistente, denominata "porta della terra". Nel 1791, il feudo fu acquistato al Regio Demanio, con dispaccio reale del 26 novembre, dopo la rinuncia al potere temporale da parte dell'arcivescovo Ignazio Andrea Sambiase.
Con la venuta dei francesi e la costituzione della "Repubblica Partenopea", il paese fu inserito nel dipartimento dell'Ofanto con capitale Foggia, nel cantone di Pescopagano.
Nell'età della Restaurazione, dopo una fase di turbolenze sociali civili e politiche, S. Andrea visse una seconda rinascita, soprattutto per merito dell'arcivescovo Michele Arcangelo Lupoli (1818 - 1832). Questi, impegnato in un'opera di sistematica ricostruzione della diocesi, restaurò l'Episcopio, fece riedificare dalle fondamenta il Seminario Metropolitano, che divenne punto di riferimento tra i più alti per la formazione culturale di intere generazioni dell'Alta Irpinia, e promosse lo sviluppo di un fiorente artigianato della pietra, segno distintivo del paese anche in ambito territoriale più vasto.

Nel periodo risorgimentale si acuì la piaga del brigantaggio e le nostre contrade furono lo scenario di scorribande e tentativi di ribellione di ogni sorta. A questo proposito va ricordato l'episodio del brigante Crocco, ospitato nei locali dell'Episcopio dall'arcivescovo Gregorio De Luca, che gli aprì le porte nel tentativo di salvaguardare l'incolumità del popolo. L'arcivescovo De Luca (1850 - 1877) commissionò importanti lavori alla chiesa di San Michele (la facciata di stile neoclassico così come appare oggi reca nel centro il suo stemma di marmo bianco) ed intraprese la costruzione della nuova ala del Seminario, col giardino. L'opera fu portata a compimento, verso la fine dell'ottocento, dal suo successore, Salvatore Nappi (1879 - 1895).
Scriveva il prof. Angelo Acocella nel 1905 a proposito di S. Andrea: "se non fosse per il poco numero di abitanti che non arrivano a 3.000, S. Andrea di Conza potrebbe dirsi una allegra cittadina, ove nulla manca, perché in esso si nota: attività di commercio, pubblici uffici, scuole, opifici di bravi artisti, allegria e gentilezza d'animo, un circolo e una Società di Mutuo soccorso (N.d.R. fondata nel 1881), c'è in breve, tutta una nobiltà di vita come va presa e considerata da una gente che trova nell'onesto e quotidiano lavoro la felicità e la gioia".

Per il resto, la storia di questo secolo è storia comune per tutti i paesi del sud, segnata dalle sue guerre, dalla crisi di lavoro, dall'emigrazione, dalle passioni politiche della giovane democrazia italiana.
S. Andrea ha conservato, comunque le sue caratteristiche di comunità industriosa per la vitalità, l'ospitalità dei suoi abitanti, la laboriosità e la competenza dei suoi artigiani.