[Flume] 컴포넌트들

Source

• avro : Avro 클라이언트에서 전송하는 이벤트를 입력으로 사용, Agent와 Agent를 연결해줄 때 유용
  
• netcat : TCP로 라인 단위 수집
• seq : 0부터 1씩 증가하는 EVENT 생성
• exec : System Command를 수행하고 출력 내용을 수집
• syslogtcp : System 로그를 입력으로 사용
• spooldir : Spooling Directory 디렉토리에 새롭게 추가되는 파일을 데이터로 사용
• thirft : Thrift 클라이언트에서 전송하는 이벤트를 입력으로 사용
• jms : JMS 메시지 수집

Channel

• memory : Source에서 받은 이벤트를 Memory에 가지고 있는 구조로, 간편하고 빠른 고성능(High Throughput)을 제공하지만 이벤트 유실 가능성이 있다. 즉, 프로세스가 비정상적으로 죽을 경우 데이터가 유실될 수 있다.
  
• jdbc : JDBC로 저장
• file : JDBC와 마찬가지로 속도는 Memory기반에 비해 느리지만, 프로세스가 비정상적으로 죽더라도 transactional하게 프로세스를 재시작하여 재처리하여 이벤트 유실이 없는 것이 장점이 있다.

Sink

• null : 이벤트를 버림
• logger : 테스트 또는 디버깅을 위한 로깅
• avro : 다른 Avro 서버(Avro Source)로 이벤트 전달
• hdfs : HDFS에 저장
• hbase : HBase에 저장
• elasticsearch : 이벤트를 변환해서 ElasticSearch에 저장
• file_roll : 로컬 파일에 저장
• thrift : 다른 Thrift 서버(Thrift Source)로 이벤트 전달