Source
- avro : Avro 클라이언트에서 전송하는 이벤트를 입력으로 사용, Agent와 Agent를 연결해줄 때 유용
- netcat : TCP로 라인 단위 수집
- seq : 0부터 1씩 증가하는 EVENT 생성
- exec : System Command를 수행하고 출력 내용을 수집
- syslogtcp : System 로그를 입력으로 사용
- spooldir : Spooling Directory 디렉토리에 새롭게 추가되는 파일을 데이터로 사용
- thirft : Thrift 클라이언트에서 전송하는 이벤트를 입력으로 사용
- jms : JMS 메시지 수집
Channel
- memory : Source에서 받은 이벤트를 Memory에 가지고 있는 구조로, 간편하고 빠른 고성능(High Throughput)을 제공하지만 이벤트 유실 가능성이 있다. 즉, 프로세스가 비정상적으로 죽을 경우 데이터가 유실될 수 있다.
- jdbc : JDBC로 저장
- file : JDBC와 마찬가지로 속도는 Memory기반에 비해 느리지만, 프로세스가 비정상적으로 죽더라도 transactional하게 프로세스를 재시작하여 재처리하여 이벤트 유실이 없는 것이 장점이 있다.
Sink
- null : 이벤트를 버림
- logger : 테스트 또는 디버깅을 위한 로깅
- avro : 다른 Avro 서버(Avro Source)로 이벤트 전달
- hdfs : HDFS에 저장
- hbase : HBase에 저장
- elasticsearch : 이벤트를 변환해서 ElasticSearch에 저장
- file_roll : 로컬 파일에 저장
- thrift : 다른 Thrift 서버(Thrift Source)로 이벤트 전달
'빅데이터 > 처리' 카테고리의 다른 글
[Storm] Grouping 4가지 (0) | 2015.04.26 |
---|---|
Kakfa란? (0) | 2015.04.26 |
Kafka or Flume? 고민될때.. (0) | 2015.04.26 |
[Flume] 활용방안 8가지 (0) | 2015.04.26 |