Il collaudo del software (anche software testing in lingua inglese), in informatica, indica un procedimento, che fa parte del ciclo di vita del software, utilizzato per individuare le carenze di correttezza, completezza e affidabilità delle componenti software in corso di sviluppo. Consiste nell'esecuzione del software da parte del collaudatore, da solo o in combinazione ad altro software di servizio, e nel valutare se il comportamento del software rispetta i requisiti. A volte il collaudo, che fa parte delle procedure di assicurazione di qualità, viene confuso con il debugging, con il profiling, o con il benchmarking.
In generale, occorre distinguere i "malfunzionamenti" del software (in inglese, "failure"), dai "difetti" (o "errori" o "bachi") del software (in inglese, "fault" o "defect" o "bug"). Un malfunzionamento è un comportamento del software difforme dai requisiti espliciti o impliciti. In pratica, si verifica quando, in assenza di malfunzionamenti della piattaforma (hardware + software di base), il sistema non fa quello che l'utente si aspetta.
Un difetto è una sequenza di istruzioni, sorgenti o eseguibili, che, quando eseguita con particolari dati in input, genera un malfunzionamento. In pratica, si ha un malfunzionamento solo quando viene eseguito il codice che contiene il difetto, e solo se i dati di input sono tali da evidenziare l'errore. Per esempio, se invece di scrivere "a >= 0", il programmatore ha erroneamente scritto "a > 0" in una istruzione, si può avere un malfunzionamento solo quando viene eseguita quell'istruzione mentre la variabile "a" vale zero. Lo scopo del collaudo è di rilevare i difetti tramite i malfunzionamenti, al fine di minimizzare la probabilità che il software distribuito abbia dei malfunzionamenti nella normale operatività.
Nessun collaudo può ridurre a zero tale probabilità, in quanto le possibili combinazioni di valori di input validi sono enormi, e non possono essere riprodotte in un tempo ragionevole; tuttavia un buon collaudo può rendere la probabilità di malfunzionamenti abbastanza bassa da essere accettabile dall'utente. L'accettabilità di una bassa probabilità di malfunzionamento dipende dal tipo di applicazione.
Il software per cui è richiesta la massima qualità, è quello cosiddetto "life-critical" ("safety critical"), cioè in cui un malfunzionamento può mettere a rischio la vita umana, come quello per apparecchiature medicali o aeronautiche. Per tale software è accettabile solo una probabilità di malfunzionamento molto bassa, e pertanto il collaudo è molto approfondito e rigoroso. Per rilevare il maggior numero possibile di difetti, nel collaudo si sollecita il software in modo che sia eseguita la maggior quantità possibile di codice con svariati dati di input.
Può anche darsi che un errore nel codice sorgente generi un malfunzionamento solo se si utilizza un particolare compilatore o interprete, o solo se eseguito su una particolare piattaforma. Pertanto può essere necessario collaudare il software con vari ambienti di sviluppo e con varie piattaforme di utilizzo.
Le tecniche di collaudo possono essere classificate in molti modi. I principali sono i seguenti:
Per modello di sviluppo: a cascata, guidato dal collaudo.
Per livello di conoscenza delle funzionalità interne: a scatola bianca, a scatola nera.
Per appartenenza o meno dei collaudatori all'organizzazione che modifica i sorgenti, nonché per fase di sviluppo: Alfa, Beta.
Per grado di automazione: manuale, semi-automatizzato, completamente automatizzato.
Per granularità: collaudo di modulo, collaudo di sistema.
Per grado di formalità: da informale a formale.
Verifica e validazione
La fase di verifica e di validazione serve ad accertare che il software rispecchi i requisiti e che li rispetti nella maniera dovuta.
Precisamente:
la verifica serve a stabilire che il software rispetti i requisiti e le specifiche, quindi ad esempio che non ci siano requisiti mancanti,
mentre la validazione serve ad accertare che i requisiti e le specifiche siano anche rispettati nella maniera giusta.
Questa fase, infatti, è molto delicata in quanto, se il software passa la verifica, ma non la validazione, dopo tutto il processo si può ottenere un software perfettamente funzionante, senza errori, ma del tutto inutile in quanto non rispecchia quanto era stato chiesto all'inizio (in tal caso non adempiendo all'insieme completo delle funzionalità previste e quindi non servendo allo scopo di progetto, può esserci il rischio che venga rigettato dal cliente).
Secondo il modello applicato questa fase si applica su stadi intermedi o su tutto il software.
La verifica può essere statica, se effettuata su carta, cioè sul progetto, o dinamica, se effettuata attraverso il collaudo dello stesso software con dati di test.
Modello di sviluppo
Sviluppo a cascata
Il procedimento tradizionale di sviluppo del software, detto "a cascata" (in inglese "waterfall"), prescrive di iniziare il collaudo appena è completata la prima versione del prodotto. I risultati del collaudo vengono utilizzati per rivedere i requisiti, o il progetto, o il codice, e produrre così la versione successiva.
Questo procedimento è stato sottoposto a una severa critica in quanto ha i seguenti svantaggi:
Se è giunta la data prevista per il completamento del prodotto, si tende a consegnarlo anche se il collaudo non è stato completato o ha dato esito negativo, il che significa che probabilmente si sta consegnando un prodotto scadente.
Probabilmente, tra i requisiti non è stata inclusa la "collaudabilità" (in inglese, "testability"), cioè il progetto e il codice non contengono accorgimenti che agevolino il collaudo. In tal caso, il collaudo risulterà molto più costoso e meno efficace.
Più tempo passa tra l'introduzione di un errore in un sistema e la segnalazione di un malfunzionamento dovuto a tale errore, più risulta difficile e costoso rimediarvi.
Dato che il software in tale modello è previsto che venga sottoposto a test solo dopo aver completato la fase di sviluppo, l'eventuale feedback raccolto in fase di prova non può essere usato per alimentare tempestivamente l'apprendimento del team di sviluppo in modo tale che la qualità del codice possa essere migliorata come nei metodi iterativi ed incrementali (come può avvenire ad es. nei metodi "agili"). Pertanto nel modello di sviluppo in cascata le "lezioni apprese" possono essere utilizzate solo in eventuali successivi progetti di sviluppo, il che spesso ne limita l'effettivo valore aggiunto, in quanto la distanza nel tempo dalla fase di raccolta non agevola la applicazione.
Un procedimento più recente, detto "guidato dal collaudo" (in inglese, "test driven development"), proposto a partire dall'inizio degli anni 1990, consiste nel considerare il collaudo una parte integrante del prodotto:
Quando si analizzano i requisiti del software da produrre, si analizzano i requisiti del collaudo.
Quando si progetta l'architettura del software da produrre, si progetta l'architettura del collaudo.
Quando si scrive il codice del software da produrre, si scrive il codice delle routine di collaudo automatizzato o si preparano i dati e si scrivono le istruzioni per il collaudatore manuale.
Quando si costruiscono gli eseguibili compilando i sorgenti, se la compilazione va a buon fine, vengono automaticamente eseguite le routine di collaudo automatizzato. Le prove inerentemente interattive vengono tuttavia relegate a una procedura parzialmente manuale.
Quando si archivia o si recupera una versione dei sorgenti, si archiviano o si recuperano tutti i suddetti documenti relativi al collaudo. Anzi, tali documenti devono essere intesi come parti integranti dei sorgenti.
Appena un software è stato costruito, prima di distribuirlo fuori dall'azienda, viene normalmente sottoposto a un collaudo interno all'azienda stessa.
Il collaudo di tipo Alpha può essere eseguito dagli stessi programmatori o da altro personale dell'azienda.
Spesso, il software prodotto per il collaudo Alpha viene arricchito di istruzioni di controllo a run-time che facilitano il rilevamento degli errori. Esempi di tali istruzioni sono:
il controllo che non si acceda a indici non validi di array;
il controllo che tutta la memoria allocata venga disallocata prima della terminazione;
asserzioni dichiarative scritte dal programmatore.
In alcuni casi, in particolare per lo sviluppo di software di sistema o di software embedded, si utilizza un ambiente hardware di esecuzione che supporta specificamente il debugging e il testing.
Spesso, quando un prodotto ha superato il collaudo di tipo Alpha, viene distribuito all'esterno dell'azienda ad alcuni clienti selezionati o anche a tutti i clienti, avvertendo gli utenti che il prodotto distribuito potrebbe non essere di qualità elevata e probabilmente potrebbe richiedere ulteriori correzioni.
Gli utenti della versione Beta possono simulare l'utilizzo del software in casi realistici, e inviare al produttore resoconti dei malfunzionamenti riscontrati. Tale tipo di collaudo eseguito gratuitamente dagli utenti viene detto "collaudo Beta" (in inglese "Beta testing").
Possono esserci più versioni Beta, man mano che vengono corretti gli errori.
Quando la frequenza delle segnalazioni d'errore diventa bassa, è il momento di distribuire la versione ufficiale.
Anche dopo che sono state distribuite delle versioni Beta, e quindi si è in fase di collaudo Beta, all'interno dell'azienda può continuare il collaudo Alpha.
Se il collaudo consiste nell'utilizzo del prodotto quasi come se fosse la normale operatività, si parla di "collaudo manuale".
Se il collaudo consiste nello sviluppo di apposito software che interagisce con il software da collaudare e fornisce un rapporto di qualità in assenza di personale, si parla di "collaudo automatizzato".
Quando si costruisce un prodotto complesso come un'automobile, non ci si limita a costruire e ad assemblare i pezzi e alla fine girare la chiave per vedere se tutto funziona. Questo per tre motivi:
Alcuni difetti producono malfunzionamenti solo dopo un utilizzo prolungato, ma sono facilmente identificabili esaminando i singoli pezzi prima dell'assemblaggio.
Se dopo aver girato la chiave la macchina non si accende, risulta molto difficile capire qual è il difetto.
Se dopo aver girato la chiave la macchina non si accende, risulta molto costoso smontare la macchina, sostituire il pezzo difettoso e rimontarla.
In alcuni casi potrebbero derivare dei rischi di arrecare danni a persone o cose dal funzionamento difettoso di un componente critico.
Ragionamenti analoghi valgono per il software. Pertanto, come i singoli pezzi di una macchina vengono sottoposti al controllo di qualità prima dell'assemblaggio, così è opportuno collaudare separatamente le singole componenti di un sistema software.
Le componenti collaudabili di un sistema software prendono il nome di "moduli" o "unità", per cui si parla di "collaudo di modulo" (in inglese, si usa l'espressione "unit testing").
Un modulo può avere una granularità variabile da una singola routine, a un insieme di alcune decine di routine, a un sottosistema comprendente migliaia di routine. Nella programmazione orientata agli oggetti la tipica componente da collaudare è la classe.
Siccome un modulo, per definizione, non è un programma completo, mentre il concetto stesso di collaudo richiede l'esecuzione di un programma, per eseguire il collaudo di modulo si deve costruire un apposito programma che contiene il modulo da collaudare.
In un programma completo, tutti i moduli, eccetto quelli di livello più basso, richiamano routine di altri moduli, e tutti i moduli, eccetto quelli di livello più alto, contengono routine a disposizione di altri moduli.
Per costruire un programma intorno a un modulo, è necessario fornire delle routine banali che possano essere chiamate dal modulo, finché non saranno pronte le routine complete. Tali routine banali sono dette stub (che in inglese significa "mozzicone", "moncherino").
Per mandare in esecuzione il codice contenuto nel modulo occorre invocarne le routine. Viene pertanto scritto un apposito programma che richiama le routine del modulo, passandole in sequenza vari parametri e verificando che le routine rendano i valori attesi. Tale programma viene detto "driver" (che in inglese significa "guidatore", "conduttore").
Normalmente, per rendere più flessibile e modificabile il collaudo, il driver preleva da un file di dati i parametri che dovrà passare alle routine del modulo da collaudare, e confronta i risultati ottenuti con il contenuto di un altro file di dati. Per ogni discrepanza riscontrata tra i dati ottenuti e quelli attesi, viene generato un messaggio d'errore in un terzo file di resoconto.
Con tale architettura, se si vuole aggiungere una combinazione di valori a quelle esistenti, basta modificare i file di dati.
Il collaudo di sistema
Anche se i singoli moduli sono corretti, il sistema ottenuto integrandoli potrebbe non esserlo. Pertanto è sempre necessario collaudare il sistema completo.
Per collaudare un sistema completo si deve utilizzare il software in modo il più possibile simile a come verrà utilizzato nella normale operatività, ma con le seguenti differenze:
Per il software interattivo, la normale operatività consiste in una persona che interagisce con il software. Questo si ottiene con il collaudo manuale, che è sempre utile, ma ha vari svantaggi. Il collaudo automatizzato di un programma interattivo è difficile da ottenere, se non rinunciando a parte del concetto di normale operatività.
Nella normale operatività di un sistema software, per ogni singola installazione del sistema, l'utilizzo segue un certo andamento ripetitivo. Siccome nel collaudo si deve simulare il maggior numero possibile di situazioni, normalmente si rinuncia alla ripetitività tipica delle situazioni reali, e invece si simulano utilizzi molto variegati.
Conoscenza delle funzionalità interne
Il collaudo a scatola bianca
Il collaudo a scatola bianca, noto anche con le denominazioni inglesiwhite box testing o clear/glass box testing ("collaudo a scatola trasparente") o structural testing ("collaudo strutturale") è una forma di collaudo che verifica il funzionamento interno di un componente software, piuttosto che le sue funzionalità. Poiché richiede la conoscenza e la comprensione della struttura interna del software sotto test (eventualmente anche del suo codice sorgente), questa forma di testing è in genere a carico di un programmatore, spesso lo stesso che ha scritto il codice. Benché il concetto si possa applicare a diversi livelli, il collaudo a scatola bianca è tipicamente unitario. Il collaudo a scatola bianca può facilitare il compito di garantire una copertura esaustiva dei test case rispetto al codice sorgente; la sua controindicazione principale è che esso costituisce una deroga al principio dell'incapsulamento: in particolare, un test case esistente può fallire a seguito di una modifica strutturale di un componente (per esempio in seguito a refactoring) anche quando questa modifica preservi correttamente la funzionalità del componente stesso.
Il collaudo a scatola nera
Il collaudo effettuato accedendo al software solamente tramite l'interfaccia utente, oppure tramite interfacce di comunicazione tra processi, viene detto "collaudo a scatola nera" (in inglese, "black box testing").
Può essere manuale oppure automatizzato, e tipicamente è utilizzato per il collaudo di sistema, in quanto per collaudare l'intero sistema normalmente non è necessario richiamare singole routine.
Se si tratta di un collaudo automatizzato, le routine di collaudo sono prevalentemente scritte in un linguaggio di livello più alto del linguaggio con cui è stata scritta l'applicazione, a volte in un linguaggio progettato appositamente per il collaudo.
Il software da collaudare e il software di collaudo costituiscono processi distinti comunicanti.
Per il collaudo a scatola nera manuale non è richiesta l'opera di un programmatore, e per quello automatizzato è sufficiente un programmatore con modeste competenze.
Spesso il collaudo a scatola nera è effettuato da persone che non fanno parte dell'organizzazione che sviluppa il software; si tratta degli utilizzatori stessi che effettuano il collaudo Beta.
Un esempio di una tecnica di collaudo a scatola nera automatizzata consiste nel registrare l'interazione dell'utente in un file, e poi ripetere la registrazione simulando il comportamento dell'utente.
Un vantaggio del collaudo a scatola nera sta, nei casi in cui il codice sorgente e la documentazione di progetto sono segreti industriali, nel fatto che tale collaudo può essere effettuato anche da persone esterne all'azienda.
Un altro vantaggio sta nel fatto che per tale tipo di collaudo non sono necessari programmatori esperti e che conoscano gli aspetti interni del software da collaudare. Pertanto, si possono trovare molti più collaudatori, senza dover investire nell'addestramento.
Nelle piccole organizzazioni, o per prodotti software di poco valore, il collaudo è normalmente informale, cioè non esiste a livello organizzativo una mansione riconosciuta come "collaudo del software".
Il programmatore, appena dopo aver apportato una modifica al software, manda in esecuzione il software modificato e verifica interattivamente se il funzionamento è quello atteso. Se il comportamento è insoddisfacente, apporta altre modifiche e reitera il procedimento.
Quando il programmatore è soddisfatto del comportamento del software, invia il software al suo superiore, che effettua un ulteriore rapido collaudo manuale. A questo punto, se non si tratta di modifiche che devono urgentemente essere rese operative, la nuova versione viene inviata agli utenti e al personale di assistenza ("help desk") come versione Beta. Gli utenti e il personale vengono addestrati alle nuove modifiche, e tale addestramento costituisce l'occasione per la rilevazione di ulteriori malfunzionamenti.
In tale procedimento informale di collaudo, la segnalazione di malfunzionamenti e di nuove versioni non segue un iter ben definito. Si usano comunicazioni di persona, telefoniche, e-mail, e appunti su biglietti.
Il collaudo formale
Il collaudo del software importante in grandi organizzazioni segue invece iter procedurali più rigorosi, analoghi a quelli dei progetti ingegneristici.
Per eseguire un collaudo formale, cioè rigorosamente pianificato, si scrive un "piano di collaudo" (in inglese, "test plan"), in cui si descrive dettagliatamente come deve essere svolto il collaudo.
Ci sono due strategie fondamentali per organizzare il collaudo: la "batteria di prove" (in inglese "test suite"), e lo "scenario di collaudo" (in inglese "test scenario"). Spesso si utilizzano in combinazione, cioè si pianificano una o più batterie di prove e una serie di scenari di collaudo.
Una batteria di prove è un insieme di collaudi elementari, ognuno dei quali è detto "prova" (in inglese "test case"). Ogni prova ha almeno i seguenti attributi:
Spesso ha un identificatore o numero progressivo.
Talvolta ha una descrizione dello scopo della prova.
Una sequenza di operazioni necessarie per portare il sistema nelle condizioni iniziali per la prova.
Una sequenza di operazioni necessarie per riportare il sistema nelle condizioni di base dopo la prova.
Le dipendenze, cioè gli identificatori dei casi di prova che devono aver avuto successo affinché abbia senso effettuare questa prova. Per esempio, se una prova consiste nell'aprire un file e chiuderlo, e un'altra prova consiste nel leggere lo stesso file, la seconda prova dipende dalla prima, in quanto non ha senso tentare di leggere un file che non è stato possibile aprire.
Le operazioni che sollecitano il software da collaudare.
Il risultato atteso.
Talvolta, il tempo massimo ammissibile per ricevere il risultato.
Spesso vengono aggiunti altri attributi.
Nel caso di collaudo manuale, queste informazioni possono essere stampate e tenute come linea guida per il collaudatore. Nel caso di collaudo automatizzato, queste informazioni sono le specifiche per il programmatore che deve realizzare il software di collaudo.
Quando una prova viene eseguita, si registrano altre informazioni, tra cui le seguenti:
Autore della prova.
Data e ora di esecuzione.
Identificatore della versione collaudata.
Esito (successo o fallimento).
In caso di fallimento, breve descrizione del tipo di fallimento.
Uno scenario di collaudo è un utilizzo realistico non banale del software da collaudare. Mentre le prove di collaudo considerano le funzionalità elementari, ogni scenario prende in considerazione una tipologia di utente e una situazione verosimile e complessa in cui tale utente può trovarsi. Il collaudo di scenario percorre tutti i passi che l'utente percorrerebbe in tale situazione. Il collaudo Beta è di fatto un collaudo di scenario, sebbene informale. Il collaudo di scenario è necessariamente un collaudo di sistema, e tipicamente è manuale o semiautomatico.
Altri tipi di collaudo
Collaudo Prestazionale (Performance Test)
Tra i requisiti di qualità di un'applicazione, non c'è solo la correttezza, ma anche l'efficienza, o comunque vengono definiti requisiti prestazionali il cui soddisfacimento deve essere verificato prima di utilizzare il software prodotto. Le attività finalizzate a determinare se un dato prodotto software soddisfa specificati requisiti prestazionali è chiamata "collaudo prestazionale" (o "performance testing"). Il suo scopo non è quindi rilevare errori nell'applicazione, ma verificare che l'applicazione soddisfi i requisiti prestazionali richiesti in fase di esplicitazione dei requisiti.
Solitamente, si definiscono per vari tipi di operazioni dei tempi massimi di esecuzione (ovvero, si definiscono delle "baseline") e si verifica che il prodotto software non superi tali tempi limite. Con l'evolvere dei software e dell'hardware, anche le baseline possono venire modificate. Per esempio, se il software viene sviluppato adottando una libreria meno efficiente, si ammette che le varie operazioni possano essere un po' più lente; d'altra parte, se il collaudo viene fatto su un sistema multiprocessore, si richiede che, a parità di velocità dei processore, le varie operazioni debbano essere più veloci. Le baseline possono essere semplicemente ottenute misurando i tempi di esecuzione di un sistema esistente. Da un punto di vista di test, queste attività sono tutte del tipo white-box, dove il sistema è ispezionato e controllato "dall'interno verso l'esterno" e da vari angoli. Una volta raccolte le misure e analizzate, come risultato, si effettua un tuning applicativo.
Tuttavia, a volte si usa anche un approccio black-box effettuando un test di carico sul sistema. Per una applicazione web, ad esempio, si usano tool che simulano un certo numero di utenti/connessioni http concorrenti e si misura il “response time”.
Il collaudo prestazionale può essere integrato nel collaudo di regressione per verificare che le modifiche non abbiano introdotto rallentamenti.
Collaudo di Carico/Volume (Load/Volume Test)
Questo tipo di test in genere è parte del performance testing e tuning. In tale contesto, significa aumentare costantemente il carico sul sistema tramite strumenti automatici. Per una applicazione web, ad esempio, il carico è il numero di utenti/connessioni HTTP concorrenti.
In letteratura, il termine load testing è di solito definito come il processo di esercizio del sistema sotto test alimentandolo in modo da fargli eseguire i task più grandi con cui esso può operare. Il test di carico è talvolta chiamato anche volume testing, o longevity/endurance testing.
Esempi di volume testing:
test di un word processor editando un documento molto grande;
test di una stampante inviandogli un job molto grande;
test di un mail server con migliaia di mailbox utente;
un caso specifico di volume testing è il cosiddetto “zero-volume testing”, dove il sistema viene alimentato con task “vuoti”.
Esempi di longevity/endurance testing:
test di una applicazione client-server eseguendo il client in un loop di accessi alla componente per un periodo di tempo esteso.
Scopi del load testing:
scoprire bug non emersi in fase di test, quali errori del tipo “memory management”, “memory leaks”, “buffer overflow”, ecc.;
assicurare che l'applicazione soddisfa le prestazioni di “baseline” stabilite durante il “performance testing”. Questo viene fatto effettuando un test di regressione sull'applicazione con uno specifico carico massimo.
Nonostante il “performance testing” e il “load testing” possano sembrare similari, il loro scopo è differente. Da un lato, il “performance testing” utilizza tecniche e strumenti di “load testing” per la misurazione e allo scopo di effettuare misure di “benchmarking” utilizzando vari livelli di carico. Dall'altro, il “load testing” opera ad un predefinito livello di carico, di solito il massimo carico che il sistema può accettare continuando a funzionare regolarmente. Lo scopo non è di “rompere” il sistema sovraccaricandolo, ma invece provare a mantenere il sistema costantemente attivo come una “macchina ben oliata”. È necessario enfatizzare l'importanza di questo tipo di test. L'esperienza ha infatti mostrato che molti bug importanti non emergono fintanto che il sistema non ha a che fare con una mole di dati veramente vasta, come ad esempio migliaia di utenti in repository quali LDAP/NIS/Active Directory, migliaia di caselle di posta utente su server-mail, tabelle multi-gigabyte nei database, lunghissime gerarchie di file/directory sui file-system, ecc. In questi casi, quasi sempre c'è l'esigenza di utilizzare tool automatizzati che generino una tale mole di dati, ma fortunatamente con un qualunque buon linguaggio di scripting questo risulta un compito molto facile.
Collaudo di Stress (Stress Test)
Lo “stress test” ha lo scopo di provare a “rompere” il sistema sotto test sovraccaricando le sue risorse o sottraendogli risorse (in tale caso viene anche chiamato “negative testing”). Lo scopo principale di queste attività è verificare che il sistema va in “fault” e successivamente (eventualmente) recupera in maniera “indolore” – questo aspetto qualitativo è noto come recoverability (sistemi fault-tolerant).
Mentre il “performance test” richiede un ambiente controllato e misure ripetibili, lo stress test provoca caos e impredicibilità. Per rifare ancora un esempio per una applicazione web, alcuni modi in cui si può stressare il sistema:
raddoppiare il numero di utenti/connessioni HTTP previste in baseline
in maniera casuale spegnere e riavviare porte dei switch/router di rete che collegano i server (via comandi SNMP ad esempio)
mettere offline il database, e farlo ripartire
effettuare un rebuild di un array RAID mentre il sistema è funzionante
eseguire processi che consumano risorse (CPU, memoria, disco, rete) sui web-server sui database-server.
La lista può essere ovviamente arricchita. Comunque, lo stress test non è fatto al puro scopo di far andare in crash il sistema, ma piuttosto deve servire per osservare come il sistema reagisce alle failure. Riesce a salvare il suo stato o va in crash nuovamente/continuamente? Si ferma improvvisamente, bloccandosi, o in maniera controllata? Al riavvio, è in grado di recuperare dall'ultimo stato corretto? Visualizza messaggi di errore comprensibili all'utente, o si limita a visualizzare incomprensibili elenchi di codice esadecimale? La sicurezza del sistema è compromessa a causa di un failure inatteso? E così via.
Il collaudo di retrocompatibilità
Uno scopo del collaudo è verificare che i nuovi prodotti e le nuove funzionalità aggiunte a vecchi prodotti siano di alta qualità. Tuttavia, nel software capita spesso che l'introduzione di una nuova funzionalità a un vecchio prodotto comprometta la qualità di funzionalità preesistenti del prodotto stesso. Pertanto, per assicurarsi la qualità del prodotto bisognerebbe ripetere l'intero collaudo ad ogni modifica. Il collaudo di funzionalità preesistenti e già collaudate, eseguito per assicurare che modifiche al prodotto non ne abbiano compromesso la qualità, si chiama "collaudo di regressione" (in inglese, "regression testing", o anche "non-regression testing"[1]), in quanto si vuole verificare se la qualità sia regredita.[2]
Se sono stati predisposti dei collaudi automatizzati, tramite appositi strumenti software e script dedicati, il collaudo di regressione ha normalmente un basso costo, in quanto si tratta solo di lanciare le procedure di collaudo esistenti, eventualmente ritoccate e confrontare i risultati prodotti con quelli corretti. Un completo collaudo di regressione manuale sarebbe invece enormemente costoso, soprattutto se il sistema deve essere collaudato con molti utenti simultanei.
Per tale motivo normalmente il collaudo di regressione manuale è più sbrigativo del collaudo originale e anche molto più pericoloso.
Metriche
Ci sono metriche che vengono sviluppate per misurare l'efficacia del collaudo.[2] La principale è l'analisi della copertura del codice ottenuta tramite un profiler. Il profiler indica quante volte è stata eseguita ogni istruzione durante il collaudo. Le istruzioni eseguite almeno una volta sono dette "coperte". L'obiettivo è coprire il maggior numero possibile di istruzioni.
Un'altra metrica utile è il rapporto tra il numero di difetti trovati in un modulo e il numero di istruzioni modificate. Se si trova che in un modulo sono state modificate molte istruzioni ma sono stati trovati pochi difetti, si può dubitare dell'efficacia del collaudo di tale modulo.
Certificazioni
Il software testing sta assumendo sempre di più il ruolo centrale nell'ambito dell'ingegneria del software. È quindi sempre più importante riuscire a qualificare, in maniera oggettiva, professionisti nell'ambito del testing. Sono quindi nati a livello mondiale percorsi di certificazione delle conoscenze. L'International Software Testing Qualifications Board (ISTQB) è l'ente più importante a livello mondiale che si occupa di queste certificazioni.
I software critici sviluppati per gli aeromobili devono rispettare le norme DO-178, standard de facto del mondo dell'aviazione.
Note
^ Mauro Pezzè e Michal Young, Software testing and analysis: process, principles, and techniques, Wiley, 2008.
Politics of Bolivia Constitution History Human rights Executive President (list) Luis Arce Vice President David Choquehuanca Cabinet of Bolivia Legislative Plurinational Legislative Assembly Chamber of Senators President of the Senate Chamber of Deputies President of the Chamber of Deputies Judiciary Supreme Tribunal of Justice Constitutional Tribunal Supreme Court (1825–2012) Elections Plurinational Electoral Organ Political parties Recent elections 2021 (regional) 2020 (general) 2019 (gen...
Nazi concentration camp You can help expand this article with text translated from the corresponding article in German. (November 2011) Click [show] for important translation instructions. View a machine-translated version of the German article. Machine translation, like DeepL or Google Translate, is a useful starting point for translations, but translators must revise errors as necessary and confirm that the translation is accurate, rather than simply copy-pasting machine-translated tex...
هذه المقالة يتيمة إذ تصل إليها مقالات أخرى قليلة جدًا. فضلًا، ساعد بإضافة وصلة إليها في مقالات متعلقة بها. (أكتوبر 2018) يوسف برينجاس معلومات شخصية الميلاد القرن 10 بافلاغونيا تاريخ الوفاة سنة 965 مواطنة الإمبراطورية البيزنطية مشكلة صحية مخصي الحياة العملية ال...
Westjordanland Das Westjordanland (arabisch الضفة الغربية, DMG aḍ-Ḍaffa al-Ġarbiyya, aḍ-Ḍiffa al-Ġarbiyya, hebräisch הגדה המערבית haGada haMa'arawit), oft auch die West Bank [ˈwɛstˈbæŋk] (wörtlich Westufer), seltener Cisjordanien,[Anm. 1] in Israel offiziell Judäa und Samaria (hebräisch יהודה ושומרון Jehuda we-Schomron), ist ein Gebiet in Vorderasien westlich von Jordanien und östlich von Israel mit einer Fläche von etwa 5800...
Languages of SyriaRoad sign in Syria in Arabic and EnglishOfficialModern Standard ArabicVernacularLevantine Arabic and Mesopotamian ArabicMinorityKurdish, Turkish, Neo-Aramaic, Circassian, Chechen, Armenian, Greek, DomariForeignEnglish and FrenchSignedSyrian Sign LanguageKeyboard layoutArabic keyboardArabic is the official language of Syria and is the most widely spoken language in the country.[1][2] Several modern Arabic dialects are used in everyday life, most notably L...
السيدة غوادالوبيمعلومات عامةالاسم الأصل Santa María de Guadalupe (بالإسبانية) [1] رتبة التقديس قديس يوم العيد 12 ديسمبر[2](2002 – ) يعبده كاثوليكية نطاق القديس أو الإله المكسيكأمريكا الإسبانية سُمِّي باسم Our Lady of Guadalupe (Extremadura) (en) [3] الإحداثيات 19°29′04″N 99°07′02″W / 19.4844°N ...
Miguel Ángel Lotina oleh Alexander Mysyakin, 2008Informasi pribadiNama lengkap Miguel Ángel Lotina OruechebarríaTanggal lahir 18 Juni 1957 (umur 66)Tempat lahir Meñaka, SpanyolPosisi bermain PenyerangKarier senior*Tahun Tim Tampil (Gol)1976–1977 CD Munguía 1977–1978 Gernika 1978–1981 Logroñés 1981–1983 Castellón 30 (3)1983–1988 Logroñés 78 (27)Kepelatihan1990–1992 Logroñés B1992 Logroñés1993–1996 Numancia1996 Logroñés1997–1998 Badajoz1998–1999 Numancia19...
2010 Czech-German-Austrian drama film Habermann's mill redirects here. For the mill in the Olomouc Region, see Habermann's Mill and Villa. This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these template messages) This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Habe...
Pushing of heterosexual norms onto LGBT culture Part of a series onLGBT topics LesbianGayBisexualTransgender Sexual orientation and gender Aromanticism Asexuality Gray asexuality Biology Bisexuality Pansexuality Demographics Environment Gender fluidity Gender identity Gender role Gender variance Homosexuality Intersex Non-heterosexual Non-binary gender Queer Queer heterosexuality Questioning Sexual identity Sex–gender distinction Trans man Trans woman Tra...
Person who guides a cause for beatification or canonization Part of a series on theHierarchy of theCatholic ChurchSaint Peter Ecclesiastical titles (order of precedence) Pope Cardinal Cardinal Vicar Crown Prince Protector Moderator of the curia Chaplain of His Holiness Papal legate Papal majordomo Apostolic nuncio Apostolic delegate Apostolic Syndic Apostolic visitor Vicar apostolic Apostolic exarch Apostolic prefect Assistant to the papal throne Eparch Metropolitan Patriarch Catholicos Bisho...
Outlet mall in Merrimack, New Hampshire, United States This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Merrimack Premium Outlets – news · newspapers · books · scholar · JSTOR (January 2021) (Learn how and when to remove this template message) Merrimack Premium OutletsStores in June 2012LocationMerrimack, New...
Vancouver's economy is one of the most vibrant in Canada.[1] The British Columbian city is Canada's official gateway to the Pacific Rim, a major port, and the main western terminus of transcontinental highway and rail routes. Vancouver has successfully transitioned from a predominantly resource-based economy to a diverse knowledge-based one, and in recent years has been the fastest growing economy in Canada.[2] According to the Conference Board of Canada, in 2017 Vancouver's G...
2010 Australian filmZeroFilm posterDirected byChristopher KezelosWritten byChristopher KezelosProduced byChristine KezelosNarrated byNicholas McKayMusic byKyls BurtlandProductioncompanyZealous CreativeRelease date 2010 (2010) Running time12:32CountryAustraliaLanguageEnglishBudgetAUD 40,000 (estimated) Zero is a 2010 Australian stop motion animated short film written and directed by Christopher Kezelos and produced by Christine Kezelos. Awards, nominations and screenings Awards 2010 LA Sh...
Former municipality in Lucerne, SwitzerlandGettnauFormer municipality Coat of armsLocation of Gettnau GettnauShow map of SwitzerlandGettnauShow map of Canton of LucerneCoordinates: 47°8′N 7°58′E / 47.133°N 7.967°E / 47.133; 7.967CountrySwitzerlandCantonLucerneDistrictWillisauArea[1] • Total6.02 km2 (2.32 sq mi)Elevation548 m (1,798 ft)Population (31 December 2018)[2] • Total1,170 •...
French football manager (born 1962) Pascal Dupraz Dupraz as Evian manager in 2013Personal informationFull name Pascal Fernand Dupraz[1]Date of birth (1962-09-19) 19 September 1962 (age 61)[2]Place of birth Annemasse, FranceHeight 1.72 m (5 ft 8 in)[3]Position(s) StrikerSenior career*Years Team Apps (Gls)1980–1981 Sochaux 4 (0)1980–1982 Thonon 27 (5)1982–1986 Brest 70 (13)1986–1987 Mulhouse 31 (3)1987–1989 Toulon 28 (1)1989–1991 Gueugnon ...
Fruit and custard pudding Malvern puddingTypePuddingPlace of originUnited KingdomRegion or stateMalvern, WorcestershireMain ingredientsApples or other seasonal fruit, custard Malvern pudding is a traditional pudding from the English town of Malvern in Worcestershire.[1] It is a baked dish made with apples or other seasonal fruit and custard although variations exist.[2][3][4][5][6] In 2010 it was listed as one of the ten most threatened puddings...
Otto StadieOtto Stadie in military uniformBorn(1897-03-10)10 March 1897Berlin, Kingdom of Prussia, German EmpireDied28 July 1977(1977-07-28) (aged 80)Velbert, North Rhine-Westphalia, West GermanyAllegiance Nazi GermanyService/branch SchutzstaffelRankUnterscharführer StabsscharführerUnitSS-Totenkopfverbände; Treblinka extermination camp Otto Stadie (10 March 1897 – 28 July 1977) was a German nurse and member of the Action T4, the Nazi forced euthanasia programme. During the Holo...
This article contains content that is written like an advertisement. Please help improve it by removing promotional content and inappropriate external links, and by adding encyclopedic content written from a neutral point of view. (August 2023) (Learn how and when to remove this template message) Pen Resource UniversityMottoKnowledge, Integrity and ExcellenceTypePrivateEstablished2022FounderSani JauroAccreditationNational Universities CommissionChancellorSani JauroVice-ChancellorProf. Yahaya ...
For the 20th-century American emo band, see Braid (band). For the American R&B group, see The Braids (duo). Canadian art rock band BraidsBraids performing at SXSW in 2013Background informationOriginCalgary, Alberta, CanadaGenresIndie rock, art rock, experimental rock, shoegaze, post-rockYears active2006–presentLabelsFlemish Eye (Canada)Kanine (United States)Full Time Hobby (UK)Arbutus Records (Canada)MembersRaphaelle Standell-PrestonAustin TuftsTaylor SmithPast membersKatie LeeVince Man...
У этого термина существуют и другие значения, см. Ёж (значения). Обыкновенный ёж Научная классификация Домен:ЭукариотыЦарство:ЖивотныеПодцарство:ЭуметазоиБез ранга:Двусторонне-симметричныеБез ранга:ВторичноротыеТип:ХордовыеПодтип:ПозвоночныеИнфратип:Челюстноротые...
Strategi Solo vs Squad di Free Fire: Cara Menang Mudah!
