Při testování funkcí se dostáváme často do situace, ve které máme množinu vstupních parametrů a ke každému z nich množinu významných hodnot. Pro perfektní otestování by bylo zapotřebí vyzkoušet každou kombinaci, což ovšem není vzhledem ke kombinatorické explozi možné.

Pokud bychom měli funkci deseti parametrů, z nichž každý nabývá právě osmi významných hodnot, pak by byl celkový počet kombinací roven

Testování dvojic

Z tohoto důvodu musíme množství kombinací nějakým způsobem omezit. Jednou takovouto strategií je testování všech dvojic významných parametrů (all-pairs testing). Tato strategie vychází z toho, že nejjednodušším typem chyb jsou ty, které závisí na jednou parametru. Další, co do složitosti, jsou chyby způsobené nějakou dvojicí parametrů. Chyby způsobené trojicemi, případně vyššími n-ticemi, jsou výrazně méně časté.

Pokud se vrátíme k původnímu příkladu, tak z desetice parametrů můžeme vytvořit různých párů, kde každý pár může nabývat hodnot. Počet různých párů parametrových hodnot je proto . Pokud se nám je podaří vyskládat do volání funkce zcela ideálním způsobem, pak nám bude stačit testů.

Párově ortogonální latinské čtverce

Latinský čtverec je matice , ve které se každý z symbolů vyskytuje na každé řádce a v každém sloupci právě jednou.

Za párově ortogonální nazveme takovou sérii latinských čtverců, pro kterou platí, že zvolíme-li libovolný libovolné dva čtverce a a symbol , pak bude platit, že pokud vezmeme všechna umístění v a promítneme je na , tak nalezneme každý symbol právě jednou.

Zároveň platí, že pro libovolnou mocninu pročísla existuje právě párově ortogonálních latinských čtverců.

Konstrukce párově ortogonálních latinských čtverců

Pokud je prvočíslo, pak lze zkonstruovat sérii čtverců pomocí následujícího vzorce (pro ).

Latinské čtverce ze zkonstruovat také pro , které je mocninou prvočísla, ale tento postup je výrazně složitější.

Postup při řešení úlohy

Pokud chceme úlohu testovat pomocí latinských čtverců, tak nejprve musíme zjistit, kolik má faktorů (parametrů) a kolik má každý z faktorů úrovní (významných hodnot). Poté označíme jako maximální počet úrovní přes všechny faktory a nalezneme libovolné prvočíslo tak, aby a . Nalezené číslo představuje velikost latinského čtverce.

Posledním krokem přípravy je zakódování jednotlivých faktorů. Každé úrovni každého faktoru přiřadíme jedno číslo z množiny až . Pokud nám některá čísla zbydou, tak je můžeme dle svého uvážení přiřadit libovolné úrovni (tato úroveň pak bude v důsledku více otestována).

Nyní musíme vygenerovat potřebný počet párově ortogonálních latinských čtverců velikosti (množství se liší dle způsobu čtení výsledku). Řekněme, že naše bylo číslo .

Čtení výsledku

Řekněme, že naše funkce má 3 parametry, pak můžeme číst výstup následujícími dvěma ekvivalentními způsoby.

Způsob 1

Vybereme tolik čtverců, kolik má funkce parametrů. Nyní postupujeme po indexech a vždy přečteme hodnotu na daném indexu ze všech tří čtverců. Hodnotu ve čtverci interpretujeme jako i-tou úroveň k-tého faktoru.

Prvním testem proto bude volání funkce s hodnotami odpovídajícími úrovním , druhým a posledním .

Způsob 2

Druhý způsob vyžaduje vždy o dva čtverce méně než je počet parametrů. Místo hodnot z prvních dvou čtverců vždy napíšeme souřadnici, ze které vybíráme zbylé hodnoty.

Pokud budeme vybírat prvky z prvního čtverce, pak bude prvním testem volání funkce s parametry odpovídající hodnotám (souřadnice , hodnota ), druhým (souřadnice , hodnota ), posledním (souřadnice , hodnota ),

Příklad

Mějme webovou aplikaci, která má 4 verze – 1.0, 1.1, 1.2 a 1.3. Tato aplikace využívá služeb databázového serveru buď prostřednictvím ORM frameworku Hibernate nebo Toplink. Kompatibilitu tohoto spojení chceme prověřit na databázích algoritmyQL, Oracle, MySQL, MS SQL Server a Firebird. Celá aplikace bude nasazena buď na jednom ze serverů Tomcat 6, Tomcat 7, Glassfish 2.1, Glassfish 3 nebo JBoss 4.

Proveďte testování aplikace pomocí metody ortogonálních čtverců.

Kódování

Nejprve úlohu zakódujeme. Faktory zde jsou: verze aplikace, ORM framework, databázový server a aplikační server (servletový kontejner). Úrovně jsou jednotivé verze/typy. Nejvíce úrovní mají společně databázový server a servletový kontejner/aplikační server – oba pět. Jelikož má úloha pouze 4 faktory, tak budeme kódovat pro párově ortogonální čtverce velikosti 5.

Rozhodli jsme se, že výsledek budeme číst prvním způsobem, vygenerujeme proto 4 párově ortogonální latinské čtverce velikosti 5.

Nyní můžeme číst testovací plán:

Kód

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args) {
        int size = 5;
        int[][][] matrix = latinSquares(size);

        String[][] map = {
            {"1.0, ", "1.1, ", "1.2, ", "1.3, ", "1.0, "},
            {"Hibernate, ", "Toplink, ", "Hibernate, ", "Toplink, ", "Toplink, "},
            {"algoritmyQL, ", "Oracle, ", "MySQL, ", "MS SQL Server, ", "Firebird, "},
            {"Tomcat 6", "Tomcat 7", "Glassfish 3", "Glashfish 2.1" ,"JBoss 4"},
        };
        int count = 0;
        for (int i = 0; i < size; i++) {
            for (int j = 0; j < size; j++) {
                System.out.print(++count + ") ");
                for (int k = 0; k < size - 1; k++) {
                    System.out.print(map[k][matrix[k][i][j]] + " ");
                }
                System.out.println("");
            }
        }
    }

    public static int[][][] latinSquares(int size) {
        int[][][] matrix = new int[size][size][size];
        for (int k = 1; k <= size; k++) {
            for (int i = 1; i <= size; i++) {
                for (int j = 1; j <= size; j++) {
                    matrix[k - 1][i - 1][j - 1] = (k * (i - 1) + (j - 1)) % size;
                }
            }
        }
        return matrix;
    }

Literatura

• MAŘÍK, Radek. Testování a verifikace softwaru, Optimalizace sady testů - slides k přednášce.