Yeo Song Blog

JEUS Access Log 분석

2019-05-02T00:00:00+00:00

0. 요구 사항

아래 작업을 진행을 이해 하기 위해서는 엘라스틱 스택에 대한 사전 지식이 필요하다.
데이터 분석 엔지니어 나 장애 분석 엔지니어 라면 엘라스틱 스택에 대해 배울만한 가치가 있다고 생각한다.

1. JEUS 로거 샘플 포맷

JEUS 샘플 액세스 로그   
[2019.5.2 13:42:55] 192.168.102.3 "GET /cse/orange/SAE-0.2.481.1.100.15.000044/cnt-0.2.481.1.100.15.000044/la" 200 767ms
[2019.5.2 13:42:55] 192.168.102.3 "GET /cse/orange/SAE-0.2.481.1.100.12.00168A/cnt-0.2.481.1.100.12.00168A/la" 200 932ms
[2019.5.2 13:42:56] 192.168.102.3 "GET /cse/orange/SAE-0.2.481.1.100.15.000037/cnt-0.2.481.1.100.15.000037/la" 200 656ms
[2019.5.2 13:42:56] 192.168.102.3 "GET /cse/orange/SAE-0.2.481.1.100.15.000064/cnt-0.2.481.1.100.15.000064/la" 200 625ms
[2019.5.2 13:42:56] 192.168.102.3 "GET /cse/orange/SAE-0.2.481.1.100.13.30013C/cnt-0.2.481.1.100.13.30013C/la" 200 646ms
[2019.5.2 13:42:58] 192.168.102.3 "GET /cse/orange/SAE-0.2.481.1.100.13.300149/cnt-0.2.481.1.100.13.300149/la" 404 48ms

JEUS 샘플 액세스 
[시간] %{클라이언트IP} "%{HTTP METHOD} %{URLPATH}" %{HTTP STATUS CODE} %{Elapsed Time}
 - 시간 : 년.월.달 시간:분:초를 의미 하며 요청한 시간을 의미
 - 클라이언트IP : 요청한 클라이언트 IP
 - HTTP METHOD : HTTP Spec Request Method 
 - HTTP STATUS CODE : HTTP Spec Response Status Code 
 - Elapsed Time : 요청 처리 소용 시간을 의미 단위/ ms(Milisecond)     

목표
- JEUS 액세스 로거로 남은 메세지를 라인당 파싱하여 엘라스틱 저장소에 넣고 키바나로 가시화 된 차트로 분석 한다.

2. 엘라스틱 스택 파이프 라인 설명

FileBeat 주의 사항은에서 한번 읽은 로그 파일은 FileBeat에서 읽었던 부분의 대한 정보를 offset로 관리함으로 다시 파일 정보를 로드 하기 위해서 FileBeat가 읽어던 파일Offset 정보를 초기화 해야 한다.

3. Docker ELK 기동

docker 와 docker-compose는 반드시 개인 PC에 설치가 되어 있어야한다. 설치 방법은 아래 사이트 링크에서 확인한다.
docker install
- https://docs.docker.com/install/linux/docker-ce/ubuntu/
docker-compose Install
- https://docs.docker.com/compose/install/
아래와 내용을 docker-compose.yml 로 저장한다.

version: '3.2'
services:
 elk:
  image: sebp/elk:700
  environment:
   - LOGSTASH_START=0
   - KIBANA_START=1
   - ELASTICSEARCH_START=1
   - TZ=Asia/Seoul
   - ES_HEAP_SIZE=1g
   - LS_HEAP_SIZE=2g
  ports:
   - 5601:5601
   - 9200:9200
   - 5000:5000
  volumes:
   - elk-data:/var/lib/elasticsearch

volumes:
  elk-data:
 

이제 아래 CLI 기반으로 elk 기동 한다.
아래 명령어를 터미널에 입력하자

# docker elk 기동
# 주의 사항은 docker-compose.yml 파일이 있는곳에서 반드시 실행 한다.  
docker-compose up -d

# 그려면 기동 되는것을 확인 할수 있다. 

4. index 텀플릿 설정

터미널 아래 명령어 엘라스틱 서치 템플릿 설정 실행

curl -v -XPUT -H "Content-type: application/json" -d '{
  "order": 0,
  "index_patterns": "jeus_log-*",
  "mappings": {
 "properties": {
   "geoip": {
     "properties": {
       "location": {
         "type": "geo_point"
       }
     }
   },
   "response": {
     "type": "long"
   },
   "status_code" :{
     "type": "integer",
     "fields": {
       "keyword": {
         "type": "keyword"
       }
     }
   }
 }
  }
}' 'http://localhost:9200/_template/access'

성공하면 acknowledge : true 라고 나온다
이제 ElasticSearch에 넣을 준비가 끝났다
- 이 템플릿 작업은 DB와 비유 하자만 한 데이터 로우의 데이터 타입을 미리 정의 하는것 과 같다.
만약 이작업을 않하면 geo location 정보를 엘라스틱에서 타입을 알수 없어 다이나믹 데이터 포맷으로 자동 인식 된다.

5. FileBeat 설치

# 리눅스용 다운로드 
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.0.0-linux-x86_64.tar.gz

# 압축 해제 
tar xzvf filebeat-7.0.0-linux-x86_64.tar.gz
# 파일비트 설치 경로 이동 
cd filebeat-7.0.0-linux-x86_64

filebeat.yml 파일 내용에 아래와 같이 설정한다.

#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
  # 로그 분석 하고자 하는 곳의 디렉토리 및 로그 파일 패턴을 입력 하고 저장한다.  
  paths:
    - /home/kranian/project/elk/logs/*.log # 로그 디렉토리 설정 및 패턴 설정, wildcard 패턴을 사용하여 로그를 입력하자

  # tail_files: true # filebeat 시작시점 기준 파일 끝에서부터 로깅을 읽기 시작
  # ignore_older: 1m # filebeat 시작시점 기준 1분전의 내용은 무시        

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["127.0.0.1:5044"]

#================================ Logging =====================================
logging.level: debug
logging.selectors: ["*"]

설정 변경 후 filebeat 기동

./filebeat -e -c filebeat.yml -d publish

위와 같이 설정파일을 작성한 다음 아래처럼 실행을 하면 엑세스 파일의 내용이 filebeat를 거치고 logstash를 거쳐 최종적으로 elasticsearch 에 도달하게 된다. 기존에 엑세스 로그가 양이 많다면 그 정보를 다 읽는 시간이 걸리므로 주의한다. (filebeat 자체적으로 해당 파일의 offset을 관리하기 때문)
파일의 offset 관리는 $FILE_BEAT_HOME/data/registry 관리 한다.
만약 리로드 하고 싶자면 registry 폴더를 삭제 한다.

6. logStatsh 설치

# Java 기반 logstash라 Any Platform 임 다운로드   
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz
# 압축 해제 
tar xzvf logstash-7.0.0.tar.gz
cd logstash-7.0.0
cd bin 

logstash 설정 파일을 아래와 같이 생성 한다.

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

# grok 필터를 활용하여 엑세스로그 한줄을 아래처럼 파싱하겠다는 의미
# 해당 필터는 JEUS 로깅 설정에 의해 만들어지는 파일의 포멧에 맞추어 설정해야한다.
filter {
  grok {
    match => { "message" => ["\[%{YEAR:year}.%{MONTHNUM:month}.%{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minutes}:%{SECOND:second}\] %{IP:clientip:ip} \"%{WORD:method} %{URIPATHPARAM:request}\" %{NUMBER:status_code} %{NUMBER:response}"] 
    }
  }
# IP 기준으로 geo location을 변환한다. 
# logstash에 내용 엔진에 해당 내용을 파싱한다.   
  geoip {
    source => "clientip"
    target => "geoip"
  } 
# 파싱 한 결과를 시간으로 변환하여 필드로 변환 하여 저장한다.  
  mutate {
        add_field => { 
            "timestamp" => "%{year}.%{month}.%{day} %{hour}:%{minutes}:%{second}"
        }
  } 
# timestamp 포맷을 설정한다.   
  date {
       match => [ "timestamp" , "yyyy.MM.dd HH:mm:ss" ]
       locale => "ko"
  }
  mutate {
      remove_field => [ "year" ,"month","day","hour","minutes","second","tags"]
  } 
  
}

output {
  stdout { codec => rubydebug }
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "jeus_log-%{+YYYY.MM.dd}"
   #user => "elastic"
   #password => "changeme"
  }
}

logstash.conf 파일로 저장 하고 기동

./logstash  -f logstash.conf

메시지 파싱을 디버깅 하고 싶을 경우 kibana 개발자 도구의 GROK 디버거를 사용하자
- https://www.elastic.co/guide/en/kibana/current/grokdebugger-getting-started.html
아래 그림은 JEUS 메시지 파싱 디버깅 결과다
잠시 후 logstash에 JEUS 로그가 적재 되면서 Elasticsearch 에 적재가 된다.
키바나의 매니지먼트 화면에서 Elasticsearch index management 에서 jeus_log-2019.04.30 패턴이 생성되었지 확인 한다.

7. Kibana 에서 가시화 작업 진행

해당 부분은 Kibana 교육 영상으로 대체 한다.
차트 만드는 방법은 아래 링크를 확인한다. kibana5이나 6는 차트 생성 방법이 동일하다.아래 링크를 통해 강의듣고 만들어 보아라
- https://www.youtube.com/watch?v=xPjNtd8xUZo

8. 최종 JEUS 로그 기반 으로 가시화

아래 키바나 차트 object를 키비나 관리 폐이지에서 import 한다.
1. JEUS 로그 기반으로 만든 키바나 차트 패키지 jeus-log-analysis
2. 그려면 DASHBOARD 메뉴에서 JEUS 로그 분석 대쉬보드가 나온다.

사용자 요청 및 방문자 수 가시화
응답 시간 분포도 확인 가시화
사용자 위치 확인 가시화

지도에서 사용자 위치 확인
차트 만드는 방법도 가이드 하고 싶으나 시간 관계상 여기는 넣지 않는다.
나는 차트 만들때 https://demo.elastic.co/app/kibana 에 web traffic 대쉬보드를 참고 해 만들었다.

참고

docker-compose 설정 파일고 filebeat, logstash 설정 했던 파일들 github에 올려 놓았다.
- https://github.com/kranian/es-jeus-log-analysis
누구나 할 수 있는 엑세스 로그 분석 따라 해보기 (by Elastic Stack)

도커 활용하기

2019-02-08T00:00:00+00:00

왜 도커를 써야 하나요??

엘라스틱 서치 6.5.5 -> 6.6.0 업그레이드 치트 키

2019-02-08T00:00:00+00:00

1. Disable shard allocation
curl -X PUT "http://localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
  "persistent": {
    "cluster.routing.allocation.enable": "none"
  }
}
'
2. Stop non-essential indexing and perform a synced flush
curl -X POST "localhost:9200/_flush/synced"

3. Stop elastic search 

4. Upgrade the node you shut down.
  - 업그레이드 하기전에 x-pack 사용중지 elasticsearch-plugin remove x-pack

5. Start the upgraded node. 확인 
curl -X GET "localhost:9200/_cat/nodes"

6. Reenable shard allocation.
curl -X PUT "localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{
  "persistent": {
    "cluster.routing.allocation.enable": null
  }
}
'
9. Wait for the node to recover. (양이 많아 엄청 오래 걸림 약 1시간 걸림)

while true 
 do
 echo "-----------------------------------------------"
 curl -X GET "localhost:9200/_cat/health" -w '\n'
 sleep 1
done 

Wait for the status column to switch from yellow to green. Once the node is green, all primary and replica shards have been allocated.

10. 각 인덱스 별 recovery 확인 
curl -X GET "localhost:9200/_cat/recovery"

참고 문헌

공식문서 엘라스틱 업그레이드

읽을거리 링크

2019-02-08T00:00:00+00:00

웹 API 파헤치기

포테이너 설치 하기

2019-02-07T00:00:00+00:00

설치 환경

Ubuntu 18.04 기반 Docker-CE 환경에서 S/W를 설치 한다. Ubuntu 18.04 기반 Docker-CE 설치 방법은 참고 문헌 Portainer설치법 링크에 나와 있다.

Portainer 설치

Portainer로 현재 내 서버의 컨테이너 이미지 관리를 web UI로 간편하게 관리 할수 있다. 상세 내용은 Portainer 프로젝트를 참고한다.
특징은 도커 이미지 관리, 컨테이너 상태 관리, 컨테이너 템플릿 실행 기능이 들어가 있다. 작은 규모 컨테이너를 운영중이라 해당툴을 설치해 컨테이너 관리로 사용할 예정이다.

Command

 docker volume create portainer_data
 docker run -d --restart=always --name portainer -p 9001:9000 -v /var/run/docker.sock:/var/run/docker.sock -v /home/volumes/portainer_data:/data portainer/portainer:1.20.1

설치 결과


1. 대쉬보드 화면


2. 도커 템플릿 화면


3. 컨테이너 관리 화면


4. 설치된 호스트 정보 화면

Web으로 서버의 컨테이너 관리 할수 있으며, 필요시 터미널 접속도 지원한다. 간단한 작업는 웹페이지에서 컨테이너 터미널 접속해 처리가 가능하다. 다양한 서버 이미지 템플릿을 제공하고 있어 필요시 생성해서 사용한다.

참고문헌

Portainer설치법

IoTKETI/oneM2MTester CLI 모드로 실행 하기

2019-01-31T00:00:00+00:00

1 CLI Mode 빌드

# 테스트 케이스 소스 생성 
jskim@aisop_2_0:~/IdeaProjects$ git https://github.com/IoTKETI/oneM2MTester.git
jskim@aisop_2_0:~/IdeaProjects$ cd oneM2MTester 
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester$ makefilegen -f -g -t oneM2MTester.tpd

# 테스트 케이스 빌드 
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester$ cd bin 
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester/bin$ make
# 테스트 케이스 빌드 성공 후 바이너리 생성된다. 
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester/bin$ ls -ltr  
...
-rw-rw-r-- 1 jskim jskim  2485944 Jan 31 16:54 OneM2M_Testcases_CSE_Release_1.o
-rw-rw-r-- 1 jskim jskim 63010152 Jan 31 16:56 OneM2M_Types.o
-rwxrwxr-x 1 jskim jskim 52715504 Jan 31 16:56 oneM2MTester <--- 이파일이 생성된다. 

# 해당파일 실행 하면 테스트 케이스 목록이 조회됨
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester/bin$ ./oneM2MTester -l
...
OneM2M_Testcases_CSE_Release_2.TC_CSE_SUB_UPD_008
OneM2M_Testcases_CSE_Release_2.TC_CSE_SUB_UPD_009
OneM2M_Testcases_CSE_Release_2.TC_CSE_SUB_DEL_002
OneM2M_Testcases_CSE_Release_2.TC_CSE_SUB_DEL_003
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_ACP_UPD
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_ACP_CRE
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_CNT_UPD
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_CNT_CRE
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_GRP_UPD
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_GRP_CRE
OneM2M_Testcases_CSE_Release_2.TC_CSE_ANNC_001_CIN_CRE

# 위 목록은 타이탄 마스터 컨트롤에서 하나씩 테스트케이스를 실행 할때 필요함
# 빌드는 한번만 하여 생성 하면 종료 된다.  

2. CLI Mode 실행

1. 마스터 컨트롤 환경 설정 기반으로 실행  
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester$ mctr_cli oneM2MTester/Configs/oneM2MTesterConfig.cfg 
 

*************************************************************************
* TTCN-3 Test Executor - Main Controller 2                              *
* Version: CRL 113 200/6 R4A                                            *
* Copyright (c) 2000-2018 Ericsson Telecom AB                           *
* All rights reserved. This program and the accompanying materials      *
* are made available under the terms of the Eclipse Public License v1.0 *
* which accompanies this distribution, and is available at              *
* http://www.eclipse.org/legal/epl-v10.html                             *
*************************************************************************

Using configuration file: oneM2MTester/Configs/oneM2MTesterConfig.cfg
MC@aisop_2_0: Unix server socket created successfully.
MC@aisop_2_0: Listening on TCP port 9580.
MC2> cmtc
Waiting for HC to connect...

2. 마스터 컨트롤 접속 
jskim@aisop_2_0:~/IdeaProjects/oneM2MTester/bin$ ./oneM2MTester 127.0.0.1 9580 
TTCN-3 Host Controller (parallel mode), version CRL 113 200/6 R4A
The address of MC was set to a local IP address. This may cause incorrect behavior if a HC from a remote host also connects to MC.

# 주의사항으로 oneM2MTester 실행시 반드시 바이너리 파일이 있는 곳에서 실행 한다. 
# 안그려면 oneM2M 테스트 케이스 실행시 테스트기 에서 보내는 리소스 정보의 속성값들이 shortname 이 변환이 안된다. 
 
MC@aisop_2_0: New HC connected from 127.0.0.1 [127.0.0.1]. aisop_2_0: Linux 4.15.0-43-generic on x86_64.
MC@aisop_2_0: Downloading configuration file to all HCs.
MC@aisop_2_0: Configuration file was processed on all HCs.
MC@aisop_2_0: Creating MTC on host 127.0.0.1.
MC@aisop_2_0: MTC is created.

3. 테스트 케이스 실행
MC2> smtc OneM2M_Testcases_CSE_Release_1.TC_CSE_GEN_RET_001_CSR  
...
MTC@aisop_2_0: Test case TC_CSE_GEN_RET_001_CSR finished. Verdict: pass
MC@aisop_2_0: Test execution finished.

참고

oneM2MTester 설치 메뉴얼

IoTKETI/oneM2MTester 설치 하기

2019-01-31T00:00:00+00:00

배경

나는 IoTKETI/oneM2MTester 메뉴얼에 적힌 OS 환경이 달라 이력 사항으로 설치 이력을 아래와 같이 남긴다.
참고사항으로 IoTKETI/oneM2MTester 메뉴얼에 적힌 환경 정보는 Ubuntu 16.04 기반이며 Titan Core 바이너리 또한 Ubuntu 16.04 기반만 배포 하고 있다. 만약 처음 설치 하시는 유저는 Ubuntu 16.04에 하는걸 권고한다.
해당 툴을 처음 설치하는 분들게 설치에 도움이 되길 희망 한다.

1. 설치 환경 정보

# 환경 정보
OS : Ubuntu 18.04 x86_64 , Linux 

2. oneM2MTester Runtime Environment

테스트 환경을 설정 하기 하기 다음 4가지 설정이 필요하다.

Java 1.8 설치
Eclipse 와 plugins install
Titan Core install
Configurations : Eclipse 설정

2.1. Java JDK 인스톨

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update
sudo apt-get install openjdk-8-jdk

2.2 Eclipse 와 Titan plugins install

eclipse ide 2018-12 설치
인스톨러에서 java developer 플러그인 설치

이클립스 타이탄 플러그인 설치 : 6.5.0 설치

2.3 Titan Core install

6.4.0 소스 다운로드 후 소스 컴파일

# 타이탄 코어 소스 에 필요한 컴파일 도구 설치 
sudo apt install build-essential
sudo apt-get install automake
sudo apt-get install g++ expect libssl-dev libxml2-dev libncurses5-dev flex bison
sudo apt-get install xutils-dev
sudo apt-get install ant xsltproc

# 빌드 소스 환경 만들기   
mkdir ~/titan.core

# 빌드 소스 다운로드  
wget https://github.com/eclipse/titan.core/archive/6.4.0.tar.gz

# 타이탄 소스 풀기 
tar xvfz xvf 6.4.0.tar.gz -C ~/titan.core/

# 빌드 하기 위해 타이탄 소스로 이동  
cd ~/titan.core/titan.core-6.4.0

# 빌드 바이너리 개인 설정 추가 
~/titan.core/titan.core-6.4.0$ cat > Makefile.personal
TTCN3_DIR := /home/jskim/titan.core/Install  
XMLDIR := /usr
OPENSSL_DIR := /usr
JNI := no

# 빌드
# 소스 빌드 시간은 CPU 사양이 낮으면 1~2시간 소용된다. 여기에서는 약 10분내외로 컴파일 되었다.    
~/titan.core/titan.core-6.4.0$ make -j 24
~/titan.core/titan.core-6.4.0$ make all 
~/titan.core/titan.core-6.4.0$ make install 

# 빌드 성공 후 확인  
~/titan.core/titan.core-6.4.0/Install# ls -lt
drwxr-xr-x 3 xxx xxx 4096 Jan 31 09:40 man
drwxr-xr-x 4 xxx xxx 4096 Jan 31 09:40 include
drwxr-xr-x 2 xxx xxx 4096 Jan 31 09:40 lib
drwxr-xr-x 5 xxx xxx 4096 Jan 31 09:40 etc
drwxr-xr-x 2 xxx xxx 4096 Jan 31 09:40 bin
drwxr-xr-x 5 xxx xxx 4096 Jan 31 09:40 help
drwxr-xr-x 2 xxx xxx 4096 Jan 31 09:40 demo

# 타이탄 코어 실행을 위한 환경 설정 추가  
~/.bashrc 파일 안에 다음 환경 설정 추가 
...
export TTCN3_DIR=/home/jskim/bin/titan.core
export PATH=${TTCN3_DIR}/bin:${PATH} 
export LD_LIBRARY_PATH=${TTCN3_DIR}/lib:${LD_LIBRARY_PATH}
.. 

2.4 이클립스 환경 설정

이클립스 에서 타이탄 코어 설치 위치 설정

2.5 oneM2Mtester 테스터 소스 Eclipse에 import

# oneM2Mtester 소스 다운로드
git https://github.com/IoTKETI/oneM2MTester.git 

# local eclipse workspace에 해당 소스 workspace에 import  

2.6 Eclipse 자동 빌드 확인

2.7 oneM2M 환경 설정

공식 메뉴얼에는 src > oneM2MTestConfig.cfg 파일을 시험기 환경 설정에 맞추어 설정 하라고 가이드 하고 있다.   
아래 기본 설정들은 Mobius 에 맞추어 있다.
 
[MAIN_CONTROLLER]
# The options herein control the behavior of MC.
TCPPort := 9580
KillTimer := 10.0

[LOGGING]
LogFile 			:= "../logs/%e.%h-%r.%s"
FileMask 			:= LOG_ALL | DEBUG | ERROR | USER | WARNING | TESTCASE | STATISTICS | MATCHING |VERDICTOP_SETVERDICT
ConsoleMask 		:= TESTCASE | PORTEVENT | ERROR | STATISTICS | MATCHING | VERDICTOP_SETVERDICT | DEBUG
LogSourceInfo 	    := Yes
AppendFile 		    := No
TimeStampFormat 	:= DateTime
LogEventTypes 	    := Yes
SourceInfoFormat 	:= Single
LogEntityName 	    := Yes

[TESTPORT_PARAMETERS]
// mcaPort 
system.mcaPort.defaultListeningPort				:= "0"               // Allow to use specific port number      
system.mcaPort.map_behavior						:= "connect"  
system.mcaPort.RemotePort						:= "7579"	  		 // SUT - Port
system.mcaPort.RemoteHost						:= "192.168.19.147"   // SUT - IP    
system.mcaPort.lazy_conn_id_handling			:= "yes"  
system.mcaPort.debug                            := "yes"
system.mcaPort.map_protocol                     := "tcp"

// mccPort
system.mccPort.defaultListeningPort				:= "0"  
system.mccPort.map_behavior						:= "connect"  
system.mccPort.RemotePort						:= "7579"	  		  // SUT - Port
system.mccPort.RemoteHost						:= "192.168.19.147"   // SUT - IP    
system.mccPort.lazy_conn_id_handling			:= "yes"  
system.mccPort.debug                            := "yes"
system.mcaPort.map_protocol                     := "tcp"

// utPort, this port is used to perform the AE testing.
system.utPort.defaultListeningPort				:= "0"  
system.utPort.map_behavior						:= "connect"  
system.utPort.RemotePort						:= "3000"	  		 // UpperTester - Port
system.utPort.RemoteHost						:= "192.168.19.147"   // UpperTester - IP    
system.utPort.lazy_conn_id_handling				:= "yes"  
system.utPort.debug                             := "yes"  

// mcaPortIn 
system.mcaPortIn.defaultListeningPort			:= "62590"           // Allow to use specific port number      
system.mcaPortIn.map_behavior					:= "listen"   
system.mcaPortIn.debug                          := "yes"
system.mcaPortIn.map_protocol                   := "tcp" 

[MODULE_PARAMETERS]
	
#OneM2M_Constants.tsp_connectionParams 		:=  {"{SUT-SERVER-IP}", Integer_port, "TEST-SYSTEM-IP", Integer_port};
OneM2M_Constants.tsp_connectionParams 		:=  {"192.168.0.153", 7579, "192.168.19.145", 27689};

OneM2M_Pixits.PX_SERIALIZATION 				:= "JSON"; ## json or xml  
-----------------------------> 시험기 데이타 타입 설정 
OneM2M_Pixits.PX_PROTOCOL_BINDING 			:= "HTTP"; ## coap or http or mqtt 
-----------------------------> 시험기 프로토콜 설정 

OneM2M_Pixits.PX_RUN_POSTAMBLE 						:= true;
    
# SUT M2M-Service Provider ID
OneM2M_Pixits.PX_SP_ID								:= "//keti.re.kr"; 
-----------------------------> 시험기 절대 주소체계 설정
   
# Primtive scope could only either be 'e_cseRelative', 'e_spRelative', or 'e_absolute'
OneM2M_Pixits.PX_PRIMITIVE_SCOPE					:= e_cseRelative; 
-----------------------------> 시험기 주소체계 설정 
    
# Addressing format can only either be 'e_hierarchical' or 'e_nonHierarchical'
OneM2M_Pixits.PX_ADDRESSING_METHOD 					:= e_hierarchical; 
-----------------------------> 시험기 주소체계 설정


OneM2M_Pics.PICS_STRUCTURED_CSE_RELATIVE_RESOURCE_ID_FORMAT 	:= true;	  // hierarcahial CSE-relative resource format support declaration
// OneM2M_Pics.PICS_UNSTRUCTURED_CSE_RELATIVE_RESOURCE_ID_FORMAT 	:= false; // set to 'true' only when 'PX_ADDRESSING_METHOD' is set to 'e_nonHierarchical'
    	
OneM2M_Pics.PICS_ACP_SUPPORT 									:= true;
OneM2M_Pics.PICS_IN_CSE 										:= true;	

# Which component do you want to test (IN or MN)?
OneM2M_Pixits.PX_IN_CSE	:= true;
OneM2M_Pixits.PX_MN_CSE	:= false; 	
OneM2M_Pixits.PX_ASN_CSE:= false; 

# Checking utTrigger port for the automated testing
OneM2M_Pixits.PX_UT_IMPLEMENTED := false;
       
# Parameter settings for the SUT
OneM2M_Pixits.PX_CSE_ID						:= "/Mobius";// SP-relative_CSE-ID;   
--------------------> 시험기 CSE ID 설정
OneM2M_Pixits.PX_CSE_NAME					:= "Mobius"; // CSEBase resource name 
--------------------> 시험기 CSE Name 설정 
OneM2M_Pixits.PX_CSE_RESOURCE_ID			:= "Mobius"; // CSE-relative_CSE-ID; 
    
OneM2M_Pixits.PX_SUT_ADDRESS				:= "192.168.35.34:7579"; 
--------------------> IUT 주소 수정 
OneM2M_Pixits.PX_AE1_ADDRESS				:= "192.168.19.147:62590"; // poa for notification url
OneM2M_Pixits.PX_AE2_ADDRESS				:= "192.168.19.147:62590"; // poa for notification url

	
OneM2M_Pixits.PX_AE1_ID_STEM				:= "C_AE_ID_STEM_1"; // AE-ID-STEM has to start 'C' or 'S' 
--------------------> 시험기 설정 
OneM2M_Pixits.PX_AE2_ID_STEM				:= "C_AE_ID_STEM_2"; // AE-ID-STEM has to start 'C' or 'S'
OneM2M_Pixits.PX_APP_ID 					:= "0.2.481.2.0001.001.62590"; 
--------------------> 시험기 설정  
    
OneM2M_Pixits.PX_RESOURCES_TO_BE_DELETED 	:= {"MyAe"}; // {MyAe, MyAe2, ...}
// OneM2M_Pixits.PX_RESOURCE_TO_BE_DELETED 	:= "MyAe";
    
OneM2M_Pixits.PX_SUPER_AE_ID				:= "/Superman"; // Superuser, CSE Minimum Provisioning
OneM2M_Pixits.PX_SUPER_CSE_ID				:= "/Superman"; 

// "all" access control policy is used for a few testcases: 
// TC_CSE_SEC_ACP_004 series, TC_CSE_DMR_UPD_016_CSR_ET, TC_CSE_DMR_UPD_016_CSR_RR
// OneM2M_Pixits.PX_ACOR	 					:= {"Mobius", "/Mobius", "C_AE_ID_STEM_1", "C_AE_ID_STEM_2"}; 
OneM2M_Pixits.PX_ACOR                       := {"all"};

OneM2M_Pixits.PX_ALLOWED_C_AE_IDS := {"C-AllowedAPX_ACOReId"};

# These parameters are used for <remoteCSE>
OneM2M_Pixits.PX_CSE1_ADDRESS				:= "192.168.35.34:7579";
OneM2M_Pixits.PX_CSE1_NAME 					:= "Mobius";
OneM2M_Pixits.PX_CSE1_ID 					:= "/Mobius";

# supportedResourceTypes check of SUT
OneM2M_Pixits.PX_SRT := {int1, int2, int3, int4, int5, int9, int10, int13, int14, int16, int17, int23};
OneM2M_Pixits.PX_POA := {"http://192.168.19.147:7579"};

# Parameter that are not used for the moment (Designed for test location management)
OneM2M_Pixits.PX_IS_LOC_CONTAINER			:= false;
OneM2M_Pixits.PX_XML_NAMESPACE 				:= "m2m=""http://www.onem2m.org/xml/protocols""";
OneM2M_Pixits.PX_LOCATION_TARGET_ID			:= "{LOCATION-TARGET-ID}"; // SUPPOSE TO BE RECEIVED FROM LOCATION SERVER
OneM2M_Pixits.PX_LOCATION_SERVER_ADDRESS	:= "{LOCATION-SERVER-ADDRESS}";	
OneM2M_Pixits.PX_LOCATION_UPDATE_PERIOD		:= "PT10M10S" ;// 10 Minute 10 Seconds
OneM2M_Pixits.PX_LOCATION_CONTAINER_NAME	:= "myLocContainer";
 

참고

oneM2MTester 설치 메뉴얼

마이크로파이썬 네임태그 앱 이식 하기(IBM Developer Meetup 2018)

2019-01-27T00:00:00+00:00

1. 개발 환경 정보

 - Ubuntu 18.04 Destkop amd64

2. 개발 환경 준비사항

picocom 설치

  sudo apt-get install picocom

webrepl 다운로드

  git clone https://github.com/micropython/webrepl

developer-badge-2018-apps 다운로드

  git clone https://github.com/IBM-Developer-Korea/developer-badge-2018-apps
  developer-badge-2018-apps/apps/nametag 

3. webrepl CLI 방식으로 업로드 수행

업로드를 수행 하기전 IOT뱃지와 같은 네트워크 대역대로 설정 하자. 참고로 IOT뱃지는 2.4HZ 기반만 Wifi만 지원 한다. 공유기가 2.4HZ를 지원하는지 체크 한다.

업로드 수행 방법은 CLI 방식과 Web 방식으로 하는 경우가 있는데 web 방식은 단점이 있어 CLI방식으로 사용했다.

Web 방식은 한번 보낸 후 같을 파일을 보내고자 할 경우 다른 파일을 선택 하고 다시 선택 한다. 강사님 말씀으로는 이게 버그란다.

vi 편집기를 오픈 하여 네임 태그 름 바꾸기 
vi ~/developer-badge-2018-apps/apps/nametag/tagmain.py

import ujson as json
import uos
import util
import network
import utime as time
import urequests
import ugfx

from home import styles

class TagMain():

   IS_TEST = False

   # Labels
   name = '허여송'           ## 이미지 출력 하단 이름 변경 수정 
   org = '(주)아이렉스넷'    ## 이미지 출력 상단 이름 변경  수정 

   # Nametag Image Server
   url = 'https://2018-devday-nametag.au-syd.mybluemix.net/nametag'

   def __init__(self):
       # initialize ugfx
       ugfx.init()

       # Container
       width = ugfx.width()
       height = ugfx.height()
       self.container = ugfx.Container(0, 0, width, height, style=styles.ibm_st)

       # Status box
       self.create_status_box()

       # Nametag Image
       self.filename = '/nametag.gif'

 
~/iot_sensor/src/webrepl/webrepl_cli.py -p aaaa ~/iot_sensor/src/developer-badge-2018-apps/apps/nametag/__init__.py 192.168.2.21:/apps/nametag/ 
op:put, host:192.168.2.21, port:8266, passwd:aaaa.
/home/kranian/iot_sensor/src/developer-badge-2018-apps/apps/nametag/__init__.py -> /apps/nametag/__init__.py
Remote WebREPL version: (1, 9, 4)
Sent 107 of 107 bytes


~/iot_sensor/src/webrepl/webrepl_cli.py -p aaaa ~/iot_sensor/src/developer-badge-2018-apps/apps/nametag/tagmain.py 192.168.2.21:/apps/nametag/
op:put, host:192.168.2.21, port:8266, passwd:aaaa.

~/iot_sensor/src/developer-badge-2018-apps/apps/nametag/tagmain.py -> /apps/nametag/tagmain.py
Remote WebREPL version: (1, 9, 4)
Sent 3712 of 3712 bytes

~/iot_sensor/src/webrepl/webrepl_cli.py -p aaaa ~/iot_sensor/src/developer-badge-2018-apps/apps/nametag/app.json 192.168.2.21:/apps/nametag/ 
op:put, host:192.168.2.21, port:8266, passwd:aaaa.
~/src/developer-badge-2018-apps/apps/nametag/app.json -> /apps/nametag/app.json
Remote WebREPL version: (1, 9, 4)
Sent 71 of 71 bytes



여기서 주의사항은 파일 전송시 원격 호스트의 디렉토리 입력시 /app/nametag , /app/nametag/ 하고 차이가 있다.

/app/nametag : 로컬 파일을 다른 파일이름(nametag)로 전송
/app/nametag/ : 로컬 파일을 nametag 디렉토리로 전송 한다는 의미

이 차이점을 꼭 이해 하자   
 
   

4.시리얼 연결 후 디렉토리 조회 명령으로 정상 업로드 여부 확인

$ sudo picocom -b 115200 -r -l /dev/ttyUSB0  
>>> uos.listdir('/apps/nametag')
['tagmain.py', '__init__.py', 'app.json']
>>> run('tagmain')
Restrt to run app tagmain

5.재부팅 후 앱 실행

I (1773) network: CONNECTED
[Errno 2] ENOENT
nametag image file (/nametag.gif) loading failure
---open_status_box---
---set_status_text---:Wait for network
I (3623) event: sta ip: 192.168.2.21, mask: 255.255.255.0, gw: 192.168.2.1
I (3623) network: GOT_IP
---set_status_text---:Network is ready
---set_status_text---:Your device ID is 240AC423C8FC

몇분 후 Network을 통해 이미지를 가져와 이미지를 출력한다.   

6.결과

7. 행사 참여 후기

이식만 하는데 파일 전송 부분에서 삽질 했다. 해결 과정은 페이북에 공개된 강사 분들의 영상을 보고 문제를 해결 했다.
IOT 뱃지 하드웨어,펌웨어,앱을 공개해 주신 IBM 디벨로퍼 애드보케이트(Developer Advocate팀)에 감사드린다.
마지막으로 IBM 공진기 에반젤리스트님은 전체 프로젝트의 개념과 과정을 앞으로 해당 프로젝트가 사용자들 간의 사용 후기와 해당 오픈 프로젝트가 활성화되었으면 좋겠다고 했다.

스카우터 페이퍼 토폴로지 그룹핑 텍스트 중복 현상 수정

2019-01-24T00:00:00+00:00

스카우터 페이퍼 이슈 #114

지난해 10월경 스카우터 메일링 리스트에서 gunlee01 님이 리뷰 요청하는 글을 봤다. 이슈는 내용은 토폴로지 차트가 움직이면 중복으로 텍스트가 나타는 현상이었다.
이전에도 이런 비슷한 경험을 해본 적이 있어 해당 프로젝트에 이슈 분석을 도전을 해봤다.

1. 수정

왜 이런 현상 발생 하는지 재현 테스트를 시도 해봤다.
1. 일단 중복으로 텍스트가 나오는 클래스의 이름을 찾아봤다.
2. CSS 클래스명이 .node-inst-count 확인했고 해당 클래스로 조작하는 소스를 찾아 수정 시도했다.
3. 의심 되는 대상을 찾아 d3 속성 class 이름 값 .node-inst-count -> node-inst-count 수정

2. 원인

그럼 왜 이런 현상 발생했을까? 이는 간단했다. d3 텍스트 렌더링 속성에 설정을 잘못 해 발생한 것으로 파악됐다.
API 문서를 체크 해 보니 일반적인 설정이 아래와 같았다.

3. 소스 수정 후 풀 리퀘스 요청

리퀘스 수락 되어 머지가 되었다. 풀리퀘스트내역 #114

4. 후기

분석 시간만 소요됐고 그외에 소스 수정은 많지는 않았다.
항상 느끼는 거지만 이슈 재현만 된다면 문제 되는 지점을 찾는 것은 시간과의 싸움인 것 같다.

참고

github풀리퀘스 하는 방법

통합 플랫폼 UI 개발 목표 지표

2019-01-22T00:00:00+00:00

3. 통합 플랫폼 UI 동작 환경 개발

아래 OS 플랫폼에서 동작 확인
- 윈도우즈
- 리눅스
- 안드로이드
- IOS

8.플랫폼 응답 속도

시험 환경 준비

GWP: 테스트 횟수 총 5회 시도

목표 : 통합플랫폼UI에서 Create 요청 후 3초 이내에 응답이 와야함
테스트 준비
1. 저장소 생성 : 0.2.481.1.999.1.2.3.Cert
  - resource address : /base/SAE-0.2.481.1.999.1.2.3.Cert/cnt-0.2.481.1.999.1.2.3.Cert
테스트 시작
1. 0.2.481.1.999.1.2.3.Cert 자식 리소스 생성 / 총 5번 수행

테스트 근거 자료

2019-01-21 16:02:59,904 INFO  [http-nio-8087-exec-4] start.controller.ResourceController[:138] create request start : >> http://220.123.184.53:8080/base/SAT-kranian1
2019-01-21 16:02:59,953 INFO  [http-nio-8087-exec-4] start.util.OkHttpFactoryUtil$HttpLogger[:127]
+-------------------------------------------------------
| --> POST http://220.123.184.53:8080/base/SAT-kranian1
| Content-Type: application/json;ty=3; charset=utf-8
| Content-Length: 29
| X-M2M-Origin: kranian2
| X-M2M-RI: AiSOP-6ddf02679d932e12857b8c2d883193e04f9e5fab
| Accept: application/json
|
| {"m2m:cnt":{"rn":"kranian2"}}
| --> END POST (29-byte body)
| <-- 201 Created http://220.123.184.53:8080/base/SAT-kranian1 (47ms)
| Server: Apache-Coyote/1.1
| X-M2M-RSC: 2001
| X-M2M-RI: AiSOP-6ddf02679d932e12857b8c2d883193e04f9e5fab
| Content-Location: /incse/base/SAT-kranian1/kranian2
| X-M2M-Origin: /incse
| X-M2M-OT: 20190121T160501
| Content-Type: application/json
| Content-Length: 223
| Date: Mon, 21 Jan 2019 07:05:01 GMT
|
| {"m2m:cnt":{"rn":"kranian2","ty":3,"ri":"/incse/63d0FNATEne8SqXOYB2Lte","pi":"/incse/SSAT-kranian1","ct":"20190121T160501","lt":"20190121T160501","et":"99991231T235959","st":0,"cr":"kranian2","mia":2592000,"cni":0,"cbs":0}}
| <-- END HTTP (223-byte body)
+-------------------------------------------------------
2019-01-21 16:02:59,953 INFO  [http-nio-8087-exec-4] start.controller.ResourceController[:142] create response end : >>  duration time 49ms

Yeo Song Blog

JEUS Access Log 분석

0. 요구 사항

1. JEUS 로거 샘플 포맷

2. 엘라스틱 스택 파이프 라인 설명

3. Docker ELK 기동

4. index 텀플릿 설정

5. FileBeat 설치

6. logStatsh 설치

7. Kibana 에서 가시화 작업 진행

8. 최종 JEUS 로그 기반 으로 가시화

참고

도커 활용하기

왜 도커를 써야 하나요??

도커

도커 트레이링 영문 강의

도커 활용

엘라스틱 서치 6.5.5 -> 6.6.0 업그레이드 치트 키

참고 문헌

읽을거리 링크

웹 API 파헤치기

인터뷰 후기

힘내자 아자아자

포테이너 설치 하기

설치 환경

Portainer 설치

참고문헌

IoTKETI/oneM2MTester CLI 모드로 실행 하기

1 CLI Mode 빌드

2. CLI Mode 실행

참고

IoTKETI/oneM2MTester 설치 하기

배경

1. 설치 환경 정보

2. oneM2MTester Runtime Environment

2.1. Java JDK 인스톨

2.2 Eclipse 와 Titan plugins install

2.3 Titan Core install

2.4 이클립스 환경 설정

2.5 oneM2Mtester 테스터 소스 Eclipse에 import

2.6 Eclipse 자동 빌드 확인

2.7 oneM2M 환경 설정

참고

마이크로파이썬 네임태그 앱 이식 하기(IBM Developer Meetup 2018)

1. 개발 환경 정보

2. 개발 환경 준비사항

3. webrepl CLI 방식으로 업로드 수행

4.시리얼 연결 후 디렉토리 조회 명령으로 정상 업로드 여부 확인

5.재부팅 후 앱 실행

6.결과

7. 행사 참여 후기

스카우터 페이퍼 토폴로지 그룹핑 텍스트 중복 현상 수정

1. 수정

2. 원인

3. 소스 수정 후 풀 리퀘스 요청

4. 후기

참고

통합 플랫폼 UI 개발 목표 지표

3. 통합 플랫폼 UI 동작 환경 개발

8.플랫폼 응답 속도