Big Data Ecosystem Docker
Ambiente para estudo dos principais frameworks big data em docker.
Esse setup vai criar dockers com os frameworks HDFS, HBase, Hive, Presto, Spark, Jupyter, Hue, Mongodb, Metabase, Nifi, kafka, Mysql e Zookeeper com a seguinte arquitetura:
OBS: Esse passo deve ser realizado apena uma vez. Após o ambiente criado, utilizar o docker-compose para iniciar os containers como mostrado no tópico INICIANDO O AMBIENTE
OBS: Criar um diretório chamado docker
Sugestão no Windows:
Sugestão no Linux:
git clone https://github.com/fabiogjardim/bigdata_docker.git
No Windows abrir PowerShell, do Linux um terminal
docker-compose up -d
docker image ls
docker container ls
No Windows abrir o Docker Quickstart Terminal
docker stop [nome do container]
docker stop $(docker ps -a -q)
docker rm [nome do container]
docker rm $(docker ps -a -q)
docker container inspect [nome do container]
docker-compose up -d [nome do container]
docker-compose up -d
docker container logs [nome do container]
docker exec -it datanode bash
docker exec -it hbase-master bash
docker exec -it datanode bash
docker exec -it kafka bash
jdbc:mysql://database/employees
jdbc:hive2://hive-server:10000/default
jdbc:presto://presto:8080/hive/default
Usuário: admin
Senha: admin
Usuário: [email protected]
Senha: bigdata123
Usuário: root
Senha: secret
Usuário: root
Senha: root
Authentication Database: admin