Kinesis Data Streams

• 데이터 스트림 이름
• 용량 모드
  • 온디맨드
  • 프로비저닝
    • 샤드 개수

생성후 암호화를 설정 할 수 있다.

• 키 사용자에 EC2 Role을 설정한다.

Kinesis Agent

설치

# 설치
sudo yum install -y aws-kinesis-agent

# 구성 편집
sudo vi /etc/aws-kinesis/agent.json

# 시작 
sudo service aws-kinesis-agent start

# 다시 시작
sudo service aws-kinesis-agent restart

에이전트 구성

{
    "cloudwatch.emitMetrics": true, // 에이전트가 CloudWatch로 지표를 보낸다. CloudWatch 정책 필요
    "cloudwatch.endpoint": "<https://monitoring.ap-northeast-2.amazonaws.com>",
    "kinesis.endpoint": "<https://kinesis.ap-northeast-2.amazonaws.com>",
    "awsAccessKeyId": "ACCESSKEY", // 자격 증명, 다른 자격 증명 공급자보다 우선한다.
    "awsSecretAccessKey": "SECRETKEY", // "
    "flows": [
        {
            "filePattern": "/tmp/app.log", // 필수, 로그 파일, glob 표현식 사용 
            "kinesisStream": "<DataStream 이름>" //필수
        }, 
        {
            "filePattern": "/tmp/app2.log",
            "deliveryStream": "<DeliveryStream 이름>"  // 동시에 DeliveryStream에 전송도 가능
        }
    ]
}

Flows 구성 예제

• dataProcessingOptions: []
  • Kinesis Agent에서 데이터를 전송하기 전, 데이터를 전처리할 수 있다. 하나 이상의 옵션을 지정할 수 있으며, 지정된 순서대로 수행된다.
  • optionName 종류

    • SINGLELINE

      • 개행 문자, 선행 공백, 후행 공백을 제거해 여러 라인의 레코드를 한 줄로 변환한다.

      {
          "optionName": "SINGLELINE"
      }
      

    • CSVTOJSON

      • CSV 형식의 데이터를 JSON 형식으로 변환한다.
      • customFieldNames
        • 변환될 JSON의 Key로 사용되는 이름이다. 예를 들어 customFieldNames 가 ["f1", "f2"] 이고 레코드가 "v1, v2" 일때, {"f1":"v1","f2":"v2"} 로 변환된다.
      • delimiter
        • CSV의 구분 기호로 사용되는 문자열이다. 기본값은 , 이다.

      {
          "optionName": "CSVTOJSON",
          "customFieldNames": [
               "field1",
               "field2",
               "field3"
           ],
           "delimiter": ","
      }
      

    • LOGTOJSON

      • 레코드를 로그 형식에서 JSON 형식으로 변환한다. 지원되는 로그 형식은 다음과 같다
        • Apache Common Log
        • Apache Combined Log
        • Apache Error Log
        • RFC3164 SysLog
• initialPosition
  • 처음 에이전트를 실행할 때 저장되어 있던 이전 데이터를 보내려면 START_OF_FILE , 무시하려면 END_OF_FILE 을 선택한다.
• maxBufferAgeMillis
  • 에이전트가 데이터를 스트림으로 보내기 전 버퍼링하는 시간(ms)이다.
  • 값 범위
    • 1,000 ~ 900,000 (1초 ~ 15분)
  • 기본값
    • 60,000 (1분)
• maxBufferSizeBytes
  • 에이전트가 데이터를 스트림으로 보내기 전 버퍼링하는 최대 크기(바이트)이다.
  • 값 범위
    • 1 ~ 4,194,304 (4MB)
  • 기본값
    • 4,194,304 (4MB)
• maxBufferSizeRecords
  • 에이전트가 데이터를 스트림으로 보내기 전 버퍼링 하는 최대 레코드 수이다.
  • 값 범위
    • 1 ~ 500
  • 기본값
    • 500
• minTimeBetweenFilePollsMillis
  • 에이전트가 새 데이터에 대해 파일을 폴링하는 시간 간격(ms)이다.
  • 값 범위
    • 1 이상
  • 기본값
    • 100
• multiLineStartPattern
  • 로그의 패턴을 검사해 multiLineStartPattern 에 일치하는 패턴을 발견하면 해당 라인을 새로운 이벤트의 시작으로 간주한다. 이후의 줄들도 같은 이벤트에 계속해서 추가하며, 이는 새로운 일치하는 패턴을 발견할 때까지 계속된다. 새로운 일치하는 패턴을 발견하면 새로운 이벤트로 간주되며 반복된다. 따라서 multiLineStartPattern을 사용하면 같은 이벤트 안의 여러 줄에 걸친 로그 데이터를 한 줄로 변환해 전송한다.
  • 패턴 정의
    • 패턴을 정의할 때는 정규식을 사용한다.
    • 예를 들어 YYYY-MM-DD 형식의 날짜를 나타내는 문자열의 패턴을 찾을 때는 다음과 같다.
      • ^\\d{4}-\\d{2}-\\d{2}
• partitionKeyOption
  • 파티션 키의 생성 방법을 정의한다. RANDOM(임의로 생성) 과 DETERMINISTIC(데이터 해시값) 이 있다. 기본값은 RANDOM이다.
• skipHeadersLine
  • 모니터링되는 파일의 시작 부분에서 구문 분석을 건너뛸 라인의 수이다.
  • 값 범위
    • 0 이상
  • 기본값
    • 0