Flink批量广播变量使用以及ml mapWithBcVariable方法使用
方法1:使用flink DataSet API
points.map(new SelectNearestCenter).withBroadcastSet(currentCentroids, "centroids")//申明对map操作进行广播
import scala.collection.JavaConverters._ final class SelectNearestCenter extends RichMapFunction[DenseVector, (Int, DenseVector)] with Serializable{ private var centroids: Traversable[DenseVector] = null override def open(parameters: Configuration) { centroids = getRuntimeContext.getBroadcastVariable[DenseVector]("centroids").asScala } def map(p: DenseVector): (Int, DenseVector) = { //use centroids ... } }
方法2:使用Flink ml mapWithBcVariable方法
points.mapWithBcVariable(currentCentroids) { (point, center) => { //直接使用广播变量center } }
原文地址:https://segmentfault.com/a/1190000022449884
相关推荐
-
机器视觉以及验证码识别 人工智能机器学习
2018-4-2
-
深度神经网络(DNN)损失函数和激活函数的选择 人工智能机器学习
2019-7-2
-
用scikit-learn学习K-Means聚类 人工智能机器学习
2019-7-2
-
Tensorflow学习之旅 人工智能机器学习
2019-7-21
-
梯度提升树(GBDT)原理小结 人工智能机器学习
2019-7-2
-
TensorFlow tutorial 人工智能机器学习
2019-8-19
-
卷积神经网络看见了什么 人工智能机器学习
2019-8-26
-
和 Nature 封面论文一作,聊了聊天机芯的科研故事 人工智能机器学习
2019-10-30
-
在Python中使用OpenCV进行人脸检测 人工智能机器学习
2018-10-21
-
GAN简介 人工智能机器学习
2019-8-19