61
Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions (MISTIC) Detecció d’anomalies amb Elastic Stack TFM‐Ad hoc (aplicació professional) Autor: Miguel Ángel Flores Terrón Tutor: Jordi Guijarro Olivares Professor: Pau del Canto Rodrigo Juny, 2017

Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

▪ Màster en Seguretat de les Tecnologies

de la Informació i de les Comunicacions (MISTIC) ▪

Detecció d’anomalies amb Elastic Stack

TFM‐Ad hoc (aplicació professional)

Autor: Miguel Ángel Flores Terrón

Tutor: Jordi Guijarro Olivares Professor: Pau del Canto Rodrigo

Juny, 2017

Page 2: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

................................................................................................................................ 7

................................................................................................................................. 7

..................................................................................................... 8

........................................................................................................................... 8

......................................................................................................... 9

........................................................................................................................ 9

................................................................ 12

............................................................................................................ 15

................................................................................................................... 15

..................................................................................... 15

.................................................................................... 16

............................................................. 18

............................................................................ 19

........................................................................................................................... 21

....................................................................................... 21

............................................................................................................. 22

........................................................................................................................ 23

................................................................................................................ 25

........................................................................................................................... 29

...................................................................... 31

....................................................................................................................... 33

......................................................................... 33

..................................................................... 33

................................................................. 35

.............................................................. 38

Page 3: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

........................................................................ 40

.......................................................................... 41

.................................................................................................................. 43

................................................................ 43

......................................................................................... 43

............................................................................ 44

..................................................................... 45

.............................................................................. 52

.................................................. 54

............................................................................................................................. 56

........................................................................................................ 56

............................................................................................................ 56

.......................................................................................... 57

.................................................................... 57

................................................................... 58

................................................................................. 59

.................................................................................................................... 59

............................................................................................................................ 60

Page 4: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 5: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 6: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 7: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 8: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 9: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 10: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 11: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 12: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 13: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 14: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 15: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 16: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 17: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 18: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 19: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 20: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 21: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 22: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 23: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 25: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

http://localhost:9200/<index>/<tipus>/[<id>]

Page 26: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

minimum_master_nodes

Page 27: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 29: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 30: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 31: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 32: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 33: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

# apt-get install software-properties-common

# add-apt-repository "deb

http://ppa.launchpad.net/webupd8team/java/ubuntu xenial main"

# apt-get update

# apt-get install oracle-java8-installer

# wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-

key add -

# apt-get install apt-transport-https

# echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main"

| tee /etc/apt/sources.list.d/elastic-5.x.list

# apt-get update

# apt-get install logstash

Page 34: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

/etc/bind/named.conf.options

# curl -L -O

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.2-

amd64.deb

# dpkg -i filebeat-5.1.2-amd64.deb

/etc/filebeat/filebeat.yml

Page 35: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 36: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 37: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 38: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

localhost:9200

# apt-get install elasticsearch

/etc/elasticsearch/elasticsearch.yml

Page 39: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

# curl -XPUT 'http://localhost:9200/_template/logstash' -d '{

"template": "logstash*",

"settings": {

"index.refresh_interval": "5s",

"index.codec": "best_compression",

"number_of_shards": 3,

"number_of_replicas": 0

},

"mappings": {

"_default_": {

"properties": {

"geoip": {

"properties": {

"location": {

"type": "geo_point"

}

}

}

},

"_all": {

"enabled": false

}

}

}

}'

# curl -XGET 'http://localhost:9200/_template/logstash'

Page 40: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

# apt-get install kibana

logstash-

YYYY.MM.DD

Page 41: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

# apt-get install nginx

echo "kibanaadmin:`openssl passwd -apr1`" | tee -a

/etc/nginx/htpasswd.users

/etc/nginx/sites-available/default

Page 42: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

server {

listen 80;

server_name elk.csuc.cat;

auth_basic "Restricted Access";

auth_basic_user_file /etc/nginx/htpasswd.users;

location / {

proxy_pass http://localhost:5601;

proxy_http_version 1.1;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection 'upgrade';

proxy_set_header Host $host;

proxy_cache_bypass $http_upgrade;

}

}

Page 43: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 44: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 45: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 46: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

cc

Page 47: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 48: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 49: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 50: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 51: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 53: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 54: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions

# bin/elasticsearch-plugin install x-pack

# bin/kibana-plugin install x-pack

# bin/logstash-plugin install x-pack

Page 55: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 56: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 57: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 59: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 60: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions
Page 61: Detecció d'anomalies amb Elastic Stackopenaccess.uoc.edu/webapps/o2/bitstream/10609/64325/3... · Màster en Seguretat de les Tecnologies de la Informació i de les Comunicacions