kubernetes中搭建spark集群 (一)

服务器

浏览数:92

2020-6-8

  • 适用场景:linux系统,已经搭建好kubernetes1.4及以上的集群,没有配置CA等认证,已经搭建DNS,其它情景仅作参考。

  • 如果还没有搭建DNS,请参考kubernetes中部署DNS搭建。

  • 相关的yaml文件已经上传到本人的github,需要用到的国外镜像也一并被我替换成了阿里云镜像,可直接下载使用

相关文章:

请根据以下步骤一步步开始搭建spark集群

1.创建spark的namespaces

a.介绍:

Kubernetes通过命名空间,将底层的物理资源划分成若干个逻辑的“分区”,而后续所有的应用、容器都是被部署在一个具体的命名空间里。每个命名空间可以设置独立的资源配额,保证不同命名空间中的应用不会相互抢占资源。此外,命名空间对命名域实现了隔离,因此两个不同命名空间里的应用可以起同样的名字。

文件namespace-spark-cluster.yaml内容:

apiVersion: v1
kind: Namespace
metadata:
  name: "spark-cluster"
  labels:
    name: "spark-cluster"

其中规定了一个命名空间名为:”spark-cluster”

b.创建

$ kubectl create -f namespace-spark-cluster.yaml

c.使用该Namespace: (${CLUSTER_NAME}和${USER_NAME}可在kubeconfig文件中查看)

$ kubectl config set-context spark --namespace=spark-cluster --cluster=${CLUSTER_NAME} --user=${USER_NAME}
$ kubectl config use-context spark
  • 这样接下来创建的Pod和service(或任意资源)都是在这个命名空间(spark-cluster)下了

2.创建spark-master的Rc

a.文件spark-master-controller.yaml内容:

kind: ReplicationController
apiVersion: v1
metadata:
  name: spark-master-controller
spec:
  replicas: 1
  selector:
    component: spark-master
  template:
    metadata:
      labels:
        component: spark-master
    spec:
      containers:
        - name: spark-master
          image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark:1.5.2_v1
          command: ["/start-master"]
          ports:
            - containerPort: 7077
            - containerPort: 8080
          resources:
            requests:
              cpu: 100m
  • 其中镜像已经替换成了阿里云镜像,可直接下载使用

b.创建

$ kubectl create -f spark-master-controller.yaml

c.查看验证

$ kubectl get pods |grep spark-master
spark-master-controller-rz1hd     1/1       Running            0          5h
  • 已经running!

  • 再查看master的日志看是否有报错的问题:

$ kubectl logs spark-master-controller-rz1hd -n spark-cluster
17/12/20 07:30:36 INFO Master: Registered signal handlers for [TERM, HUP, INT]
17/12/20 07:30:37 INFO SecurityManager: Changing view acls to: root
17/12/20 07:30:37 INFO SecurityManager: Changing modify acls to: root
17/12/20 07:30:37 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
17/12/20 07:30:38 INFO Slf4jLogger: Slf4jLogger started
17/12/20 07:30:38 INFO Remoting: Starting remoting
17/12/20 07:30:38 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkMaster@spark-master:7077]
17/12/20 07:30:38 INFO Utils: Successfully started service 'sparkMaster' on port 7077.
17/12/20 07:30:38 INFO Master: Starting Spark master at spark://spark-master:7077
17/12/20 07:30:38 INFO Master: Running Spark version 1.5.2
17/12/20 07:30:39 INFO Utils: Successfully started service 'MasterUI' on port 8080.
17/12/20 07:30:39 INFO MasterWebUI: Started MasterWebUI at http://10.1.24.4:8080
17/12/20 07:30:39 INFO Utils: Successfully started service on port 6066.
17/12/20 07:30:39 INFO StandaloneRestServer: Started REST server for submitting applications on port 6066
17/12/20 07:30:39 INFO Master: I have been elected leader! New state: ALIVE

从日志中可以看出spark的master已经创建成功并成功成为leader和开放了8080端口作为Master的UI

3.创建spark-master的sercives

a.文件spark-master-service.yaml内容

kind: Service
apiVersion: v1
metadata:
  name: spark-master
spec:
  ports:
    - port: 7077
      targetPort: 7077
      name: spark
    - port: 8080
      targetPort: 8080
      name: http
  selector:
    component: spark-master

b.创建

$ kubectl create -f spark-master-service.yaml

c.查看验证

$ kubectl get svc |grep spark-master
spark-master     192.168.3.239   <none>        7077/TCP,8080/TCP   5h

4.创建spark-worker的Rc

a.文件spark-worker-controller.yaml内容

kind: ReplicationController
apiVersion: v1
metadata:
  name: spark-worker-controller
spec:
  replicas: 3
  selector:
    component: spark-worker
  template:
    metadata:
      labels:
        component: spark-worker
    spec:
      containers:
        - name: spark-worker
          image: registry.cn-hangzhou.aliyuncs.com/sjq-study/spark:1.5.2_v1 
          command: ["/start-worker"]
          ports:
            - containerPort: 8081
          resources:
            requests:
              cpu: 100m
  • 其中镜像已经替换成了阿里云镜像,可直接下载使用
  • 定义了3个worker节点,实际需要多少个可以直接修改replicas:
  • cpu和mem也可根据实际需要进行修改

b.创建

$ kubectl create -f spark-worker-controller.yaml

c.查看验证

$ kubectl get pods |grep spark-work
spark-worker-controller-djk50     1/1       Running            0          2h
spark-worker-controller-qf1p3     1/1       Running            0          3h
spark-worker-controller-w0kzw     1/1       Running            0          3h
  • 已经running!

到这为止spark的集群就已经搭建成功了!

可以通过查看master POD的IP+port或者master-servixes的IP+port来访问master的UI

可以通过查看worker POD的IP+port来访问worker的UI

但此时mater和worker节点的ui都是单独的,没法在一个UI里实现查看,点击worker UI里的==back to master==也是返回不了master的UI的。并且此时集群外也无法访问我们的spark集群。

实现多UI合并和对外开放问题见 kubernetes中搭建spark集群 (二)

  • 未完待续!

相关文章:

声明!以上内容纯属个人原创!转载请标注出处,谢谢!

如果本文有帮助到你,希望能动动小手点个赞。 如有错误请多指正!如有雷同!纯属巧合!

作者:蓝色雨全