개발을 통한 자기수양 - benelog

  EMMA는 테스트코드가 검증해 주는 코드영역에 대해서 보고해 주는 도구입니다. 전체 코드 중 몇 %가 테스트 코드를 거쳐가고 있는지 쉽게 수치를 낼 수 있습니다.

  EMMA의  Eclipse plugin인 EclEmma는 http://update.eclemma.org/를 plugin의 update site로 지정하면 설치할 수 있습니다.  설치 후 프로젝트에서 우클릭-Coverage As - JUnit Test 메뉴를 선택하면 전체 Junit Test를 실행하고, Test Coverage에 대한 보고서를 생성해 줍니다.

  실행결과는 아래와 같이 코드창에서도 테스트 코드가 거쳐가는 곳과 아닌 곳을 색깔별로 표시해 주고, 패키지별, 클래스별로도 coverage 수치를 보여줍니다.

(이미지 출처: http://update.eclemma.org/ 에서)

  EMMA의 Maven2 plugin인 Emma Maven Plugin Maven을  pom.xml파일의 reporting 선언에 아래와 같은 설정을 추가합니다.

<reporting>
  <plugins>
   ...
    <plugin>
      <groupId>org.codehaus.mojo</groupId>
      <artifactId>emma-maven-plugin</artifactId>
      </plugin>
    </plugins>
</reporting>

Hudson의 위키에 있는 Emma plugin 설명페이지나 Maven의 emma-plugin 설명페이지를 보면 build절에도 plugin 설정을 추가하라고 되어있는데, 그렇게 하지 않아도 잘  실행이 되었습니다.  오히려 그렇게 추가를 하니, mvn test site처럼 test와 site phrase가 같이 돌아갈 때 아래와 같은 에러가 발생했습니다.

java.lang.IllegalStateException: class [......] appears to be instrumented already

  Emma plugin 설정을 reporting 부분에 넣으면 테스트가 실행되므로 일부러 test phrase를 넣어줄 필요는 없습니다. 즉 이 때는 mvn site만 돌려주시면 테스트 결과와 Coverage Report를 모두 얻을 수 있습니다.  emma plugin이 있을 때 'mvn test site'로 실행시켜서 테스트가 두번 돌면 Hudson에서 보고하는 테스트 개수도 2번씩 중복 집계가 되므로 더 혼동만 줍니다.

  Maven의 emma-plugin 설명페이지에 따르면,  maven-surefire-plugin 설정에서 별도의 JVM으로 테스트를 실행시키위해 forkMode를 always로 설정하는 것은 중요하다고 합니다. EMMA가 JVM의 종료 때도 기록을 하기 때문에 그렇다는군요. 다음과 같이 설정합니다.

<plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <inherited>true</inherited>
        <configuration>
          <forkMode>always</forkMode>
          <reportFormat>xml</reportFormat>
        </configuration>
</plugin>

  이렇게 Maven을 통해 생성한 리포트를  Huson으로 보기 위해서는 Manage Hudson>Manage Plugins 메뉴에서 Hudson Emma plugin을 설치하고 Hudson을 재시작합니다.

 설치가 잘 되었다면, 프로젝트의 Configure 메뉴에서 EMMA의 보고서에 대해서 설정할 수 있는 항목이 생깁니다.

 여기에서 Emma XML report 항목에 workspace를 기준으로 한 상대적인 경로로 coverage.xml의 위치를 지정해줍니다. Hudson의 위키에 있는 Emma plugin 설명페이지에 보면 이 항목이 target/site/emma/coverage.xml으로 되어 있어서 혼동이 오기 쉬운데, trunk와 같은 Local module directory를 반드시 포함시켜줘야 합니다. 보통 SVN을 쓸 때 프로젝트 설정에서 별도로 지정을 하지 않으면 trunk같은 SVN의 path의 마지막 디렉토리가 Local module directory로 지정됩니다.

  Emma 보고서 설정란에서 the work space root라는 링크를 눌러도 금방 확인 할 수 있습니다.

  위와 같이 설정된 프로젝트를 build하면 빌드의 맨 끝에 Recording Emma reports trunk/target/site/emma/coverage.xml 와 같은 메시지가 Console out 화면에서 뜰 것입니다.  그렇게 생성된 보고서는 프로젝트명>빌드번호>Coverage Report 메뉴에서 보실 수 있습니다.

  만약 Hudson에서 Emma를 실행한 빌드번호의 메뉴에서 'Coverage Report'라는 메뉴가 보이지 않는다면 Hudson plugin 수동으로 빌드&업로드를 참조해서 최신 버전으로 플러그인을 업데이트 해보시기 바랍니다.

  Hudson의 plugin들은 Manage Hudson>Manage Plugins의 updates 탭에서 최신버전들을 업그레이드할 수 있습니다. 그래서 수동으로 업데이트를 해줘야할 일은 없습니다.

  저는 Hudson을 사용하면서 두 번 수동업데이트가 필요한 상황을 경험했습니다.

Findbugs plugins의 수동 업데이트

(Findbugs plugin에 대한 자세한 설명은 FindBugs + Eclipse + Maven2 + Hudson 참조)

 findbugs plugins을 쓰다가 버전 3.2를 업데이트하니, 전에는 없었던 에러가 발생했습니다. 다음의 메시지를 받았었습니다.

Cannot find setter nor field in org.apache.maven.plugins.site.SiteMojo for 'xmlOutput'

  검색을 해보니 저보다 하루 먼저 이 에러를 발견한 사람이 신고를 했고, 곧 이 에러가 고쳐진  findbugs plugins 버전 3.3이 나왔습니다. (https://hudson.dev.java.net/issues/show_bug.cgi?id=2880 참조)

  나오자마자 적용하려고 하니, update 탭에서 바로 뜨지가 않더군요. Hudson의 사이트에서 바로 최신버전의 findbugs.hpi파일을 다운 받아서 PC에 저장을 한후, Manage Hudson>Manage Plugins > Advanced 탭에서 업로드 시켰습니다.

  설치된 플러그인은 Hudson을  재시작해야지 적용이 됩니다. installed 탭에서는 현재 의도한 버전의 플러그인이 설치되어 있는지 확인할 수 있습니다.

Emma plugin의 빌드와 수동 업데이트

  (EMMA Plugin에 대한 자세한 설명은 EMMA + Eclipse + Maven2 + Hudson 참조)

  Emma plugin은 현재 2007년 7월 이후의 1.8 버전이후로 정식 배포판은 추가로 나오지 않고 있습니다. ( https://hudson.dev.java.net/servlets/ProjectDocumentList?folderID=6664&expandFolder=6664&folderID=5818 참조) 제가 설정한 환경에서는 emma-plugin 1.8버전으로 아무리 빌드를 해봐도 Hudson에서 볼 수 있는 리포트 메뉴가 나오지 않았습니다. 그래서, 소스를 뒤져서 분석을 해보니, 현재 snapshot 버전의 소스에서는 리포트가 생성되지 않을 이유가 없었습니다. 1.8버전과의 소스 비교를 해 보는 것도 번거롭고 해서 최신 snapshot을 직접 빌드시켜서 적용시켜 보기로 했습니다.

  먼저  https://svn.dev.java.net/svn/hudson/trunk/hudson 의 SVN 주소에서 hudson 전체 소스를 check out 받습니다. 그리고 '프로젝트폴더/plugins/emma' 디렉토리에 가서 mvn package를 실행시킵니다. 제가 이렇게 빌드를 시도했을 때의 시점에는 Dependency 중 artifactId가 hudson-test-harnes 인 버전 1.277을 찾을 수 없다고 에러가 났었습니다. 해당 버전을 찾아서 따로 설치해 줄 수도 있지만, 그냥 하나 더 낮을 버전으로 다시 '프로젝트폴더/plugins/emma' 아래에 있는 pom.xml에 dependency 선언을 해 주었습니다. 가장 가까운 거리에 있는 선언의 버전을 따르게 되어 있으니, 해당 pom.xml에서 직접 지정한 버전을 받게 될 것입니다.

  <dependency>
    <groupId>org.jvnet.hudson.main</groupId>
    <artifactId>hudson-test-harness</artifactId>
    <version>1.276</version>
  </dependency>

  그러고 나서 mvn package가 성공적으로 실행되었다면 target디렉토리에 있는 emma.hpi를 찾아봅니다. 그리고 그 파일을 Hudson에 접속해서 Manage Hudson>Manage Plugins > Advanced 탭을 통해서 업로드하고, Hudson을 재시작시키면 됩니다.

  emma-plugin은 1.9-SNAPSHOT 버전을 바꾸고 나서 다시 빌드를 돌리니 잘 작동하는군요.

  JavaNCSS를 Maven2을 통해 실행하고, Hudson을 통해 리포트를 확인하는 과정을 정리했습니다. JavaNCSS는 주석이 아닌 라인수(Non Commenting Source Statements,NCSS)와 순환복잡도 수 (Cyclomatic Comlexity Number, CCN) 등을 측정해 주는 도구입니다.

  JavanNCSS에 관한 eclipse 플러그인도 찾을 수는 있었지만(http://sourceforge.net/projects/jncss4eclipse/ ) 가장 최신버전이 2002년에 올라온 것이라서 적용하지 않기로 했습니다. 

  그리고, JavaNCSS에 대한 Maven의 플러그인도  javancss-maven-plugin과 maven-javancss-plugin의 2가지가 존재했는데, javancss-maven-plugin 쪽이 보다 문서화가 잘 되어 있어서 그 쪽을 선택했습니다.

  pom.xml 에 아래 선언을 추가합니다.

<reporting>

...

   <plugin>

     <groupId>org.codehaus.mojo</groupId>
     <artifactId>javancss-maven-plugin</artifactId>
     <version>2.0-beta-2</version>
      <configuration>
      <forceEncoding>utf-8</forceEncoding>
       </configuration>
    </plugin>         
  </plugins>
</reporting>

그리고는 mvn javancss:report javancss:check로 플러그인을 실행시켜 봅니다. 각각의 골에 대한 설명은 아래 페이지에서 보시면 됩니다.

• javancss:report : 리포트 생성
• javancss:check : CCN이나 NCSS 값이 너무 크면 빌드를 실패시킴

제외하거나 추가할 파일을 지정하려면 아래의 configuration 태그 아래에 includes, excludes 태그로 지정하면 됩니다.

<configuration>

.....
  <includes>
    <include>**/*foo.java</include>
  </includes>
  <excludes>
    <exclude>**/bar.java</exclude>
  <exclude>**/foobar.java</exclude>
  </excludes>
</configuration>

CCN이나 NCSS값의 한계 허용치는 아래와 같이 지정합니다.

<configuration>
....
  <failOnViolation>true</failOnViolation>
  <ccnLimit>12</ccnLimit>
  <ncssLimit>90</ncssLimit>
</configuration>

  한가지 주의할 점은, 2.0-beta-2 버전을 실행할 경우, 메서드 내부에 annotation선언이 있다면 아래와 같은 에러메시지를 받게 됩니다.

Encountered "@ SuppressWarnings ( \"unused\" ) int notUsedVariable =" at line xxx, column yyy.

  이 것은   javancss-maven-plugin  버전 2.0-beta-2가 이 의존하고 있는 JavaNCSS 버전 29.49 에서 가지고 있는 버그입니다. (http://jira.codehaus.org/browse/MJNCSS-16 참조) JavaNCSS 버전 29.50에서는 해결된 문제이고, 이 플러그인의 최신 버전인 javancss-maven-plugin 2.0-beta-3버전에서는 이런 문제가 발생하지 않는다고 합니다. 그런데, codehause의 Maven Repository를 뒤져보니 (http://repository.codehaus.org/org/codehaus/mojo/javancss-maven-plugin/) 아직 2.0-beta-3버전은 올라와 있지 않습니다. snapshop 버전을 찾아서 쓸 수도 있겠지만, 그것보다는plugin 설정에서 dependency설정을 덥어쓰는 편이 더 간편하게 느껴졌습니다. pom.xml의 build절에 아래와같이 추가하면 됩니다.

<build>

   <plugin>     
     <groupId>org.codehaus.mojo</groupId>
        <artifactId>javancss-maven-plugin</artifactId>
        <version>2.0-beta-2</version>
        <dependencies>
          <dependency>
            <groupId>javancss</groupId>
              <artifactId>javancss</artifactId>
              <version>29.50</version>
             </dependency>
         </dependencies>
     </plugin>
     </plugins>
  </build>

  생성된 리포트를 보기 위해서, Hudson에서는 프로젝트에서 Configure 설정에서 Publish Java NCSS report를 선택을 합니다.

그리고는 javancss:report  Goal이 포함된 빌드를 실행시켰다면 프로젝트 홈 화면에서 Java NCSS Report라는 링크가 생기게 됩니다.

클릭을 하면 생성된 리포트를 볼 수가 있죠. (패키지명은 제가 지웠습니다.)

 Maven에서 mvn site명령으로 site 절(phrase)까지 들어갔다면 리포트를 모은 페이지를 따로 생성해 주기도합니다. Hudson의 프로젝트 메인화면에서 Maven-generated site 링크를 통해서 보실 수 있습니다.Hudson에서 생성해주는 페이지가 더 이쁘기는하지만, JavaNCSS의 보고서는 Maven-generated site가 더많은 정보를 제공합니다. 예를 들면 가장 주석을 제외한 라인수(NCSS)가 많은 30위까지의 클래스들, 메소드들 같은 순위등같은 것들을 확인할 수 있습니다.