2-3 어플리케이션 테스트 관리
1.어플리케이션 테스트
- 검증(Verification): 개발자 관점 = 명세서 = 과정
- 확인(Validation): 사용자 관점 = 요구사항 = 결과
- 테스트와 위험은 반비례
- 소규모에서 대규모로
- 개발자와 관계없는 별도의 팀에서 수행
파레토 법칙: 오류의 80%는 20%의 모듈에서 발견 -> 결함 집중
살충제 패러독스: 테스트케이스 보완 필요
오류 부재의 궤변: 결함이 없어도 요구사항을 만족시키지 못하면 품질이 낮음
테스트 순서
- 단위(모듈) -> 통합(모듈 결합) -> 시스템(SW와 환경) -> 인수(요구사항 검증)
- 단위 테스트는 주로 구조(논리) 기반
- 인수 테스트 = 알파 + 베타
- 알파: 사용자가 개발자 앞에서 테스트 = 통제된 환경
- 베타: 사용자가 여러 사용자 앞에서 = 제어 X
*베타 = 필드 테스팅이라고도 함
통합 테스트 (Intergration test)
-비점진적(빅뱅) + 점진(하향,상향,혼합)
1)하향식 테스트
- DFS, BFS
- 스텁(stub): 하위 모듈을 대체하는 임시 모듈
- 초기부터 시스템 구조를 보여줄 수 있음
- 상위 모듈에선 테스트 케이스 사용이 어려움
2)상향식 테스트
- 클러스터 결합 -> 드라이버 작성 -> 클러스터 테스트 -> 더 상위로 결합
- 클러스터: 하나의 모듈에 종속된 모듈들의 그룹
- 드라이버: 상위 모듈을 대체하는 더미 모듈
*스텁 = 하위 모듈 '대체' // 드라이버 = 하위 모듈 '호출'
+혼합식 = 상향+ 하향 = 샌드위치
+회귀: 이전에 수행했던 테스팅 반복 = 변경사항으로 인한 오류 검사
테스트 방식
- 정적: 프로그램 실행 x = 명세서, 소스코드 중심
ex) 코드검사, 워크스루->인스펙션
- 동적: 프로그램 실행 = 모든 개발 단계에서 테스트 가능
ex) 블박 화박
화이트박스 테스트
- 원시 코드(모듈)를 오픈, 논리적인 모든 경로를 테스트
- 모듈 내부의 작동을 직접 관찰
- 모듈의 모든 문장을 한번 이상 실행
1) 기초 경로 검사: 논리적 복잡성 측정
* 기초 경로: 수행 가능한 모든 경로
2) 제어 구조 검사: 조건 / 루프 / 데이터 흐름(변수) 검사
블랙박스 테스트
- 소프트웨어의 기능을 테스트
- 구조를 고려 x = 명세나 요구 중심
- 인터페이스에서 실시
1)동치 분할 검사: 입력 자료에 중점 (Equivalence Partitioning)
2)경계값 분석: 오류 확률이 높은 입력 조건의 경계값 위주로 테스트 (Boundary Value)
+원인 효과 그래프(좋은 테스트케이스 선별), 오류 예측(경험적, 감각적), 비교 검사 (같은 인풋, 다른 버전)
화박: 논리 / 테스트 초기 / 명세+경험
블박: 기능 / 테스트 후기 / 구조
테스트 오라클
- 테스트 결과가 올바른지 판단하기위해 사전의 정의된 True 값을 대입
- 제한, 수학, 자동화
- 참: 모든 입력값에 대해 기대하는 결과 제공 = 모든 오류 검출 가능
- 샘플링: 일부
- 추정(Heuristic): 일부 + 추정
- 일관성(Consistent): 변경 전 후
테스트 하네스(Harness)
1)테스트 케이스: 요구사항 준수 확인을 위한 테스트 항목 명세서 (INPUT+조건+예상 결과)
2)테스트 시나리오: 적용 순서에 따라 테스트 케이스를 묶은 집합 (INPUT+조건+테스트 순서))
3)테스트 슈트: 한 모듈의 테스트에 필요한 테스트 케이스 집합
4)테스트 스크립트: 자동화된 테스트 실행 절차의 명세서
5)목 오브젝트(Mock): 조건부로 입력해둔 사용자 행위에 맞는 대처를 수행하는 객체
+드라이버 스텁
복잡도
O(최악) θ(평균) Ω(최상)
O(1) = 고정 = 삽입, 삭제, 해싱
O(log2n) = 이진 트리/검색
O(n) = 1:1 = 순차 탐색(for문)
O(nlog2n) = 힙, 머지, 퀵(평균)
O(n^2) = 삽입 선택 버블 + 쉘 퀵(최악)
O(2^n) = 피보나치
순환 복잡도 V = 화살표 - 노드 + 2 = 화살표로 나눠진 영역 개수
어플리케이션 성능 개선
- 성능 측정 지표: 처리량, 응답시간, 경과시간, 자원 사용률
- 성능 테스트 도구: Jmeter, LoadUI, Opensta -> JOL
배드 코드: 스파게티(꼬임), 에일리언(오래됨)
클린 코드: 가속성, 단순성, 의존성 배제, 중복성 최소화, 추상화
품질 분석 도구
정적: pmd, cppcheck, SonarQube, CheckStyle, CCM, Cobertura
동적: Avalanche, Valgrind
pmd - 미사용 변수 체크
cppcheck = c++
SonarQube = 소스 분석 플랫폼
CheckStyle = Java 표준 검사
Cobertura = Java 복잡도 + 테스트 커버리지
CCM = 다양한 언어
Valgrind = 메모리 & 쓰레드 결함 분석
Avalanche = Valgrind + STP
결함 상태 추적
1)결함 분포 (위치에 따른 결함 수)
2)결함 추세 (시간에 따른 결함 수)
3)결함 에이징 (결함의 지속 시간)
결함 추적 순서
등록-> 검토 -> 할당 -> 수정 -> (보류) -> 종료 -> 해제