达州把屑咕经贸亚博国际线上娱乐官网_5分钟学习spark streaming之 轻松在浏览器运行和修改Word Counts

方案一:根据官方实例,下载预编译好的版本,执行以下步骤:

  1. nc -lk 9999 作为实时数据源
  2. ./bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999
  3. 在第一步的terminal 窗口输入一些句子
  4. 第二步的output 就是实时执行结果

?此方案的问题有

  • 探索其中的api 比较困难,比如我想试试另外一种写法,需要改源码,然后编译,时间就变长了
  • 如果是一个裸机的话,需要安装好java 环境,spark和java版本之间的依赖也要特别小心

?

方案二(2个docker 命令,你就可以为所欲为的在浏览器里面运行,更改Word counts这个hello word了)

? ? ? ? ? 除去下载docker img的时间,5min没法完成以下步骤,请立即私信给我,有奖,哈哈

?

  1. docker run? ? -p 8080:8080 --rm fancyisbest/zeppeinsparkstreaming:0.1 (第一次会花很长时间在pull img)
  2. ? ? ? docker exec? ?-it `docker ps -q`? nc -lkp 9999 (注意如果你有多个container在运行,请把`docker ps -q` 替换成上一个的container id)
  3. ? ? ? 打开浏览器输入http://localhost:8080/#/, 左下角有Word counts,点击进入notebook,点击运行所有段落。
  4. ? ? ?在第二步termial输入些句子,你就可以在notebook里面观察到streaming 在执行。

?

docker run? ? p 8080: 8080 rm fancyisbest zeppeinsparkstreaming: 0. 1 di yi ci hui hua hen zhang shi jian zai pull img? ? ? docker exec? ? it docker ps q? nc lkp 9999 zhu yi ru guo ni you duo ge container zai yun xing, qing ba docker ps q ti huan cheng shang yi ge de container id? ? ? da kai liu lan qi shu ru http: localhost: 8080, zuo xia jiao you Word counts, dian ji jin ru notebook, dian ji yun xing suo you duan luo.? ? ? zai di er bu termial shu ru xie ju zi, ni jiu ke yi zai notebook li mian guan cha dao streaming zai zhi xing.?

此方案的优势

  • 除了docker,不需要安装任何依赖,这很dev ops
  • 可以狠狠地改代码,改完就可以立即执行,不用担心会破坏任何环境,探索你的世界,你做主。

提示:

  • ? ? 此方案的技术堆是:docker+zeppelin+spark
  • ? ? docker img是我在zeppelin img上加入了必要的命令和notebook 打包成的img,请放心使用。
  • ? ? 如果你对docker,zeppelin不熟悉,不要担心,它们都很简单,只要稍微花点时间就可以掌握,请记住我们的目标是学习spark streaming

参考:

? ? ?zeppelin 官网http://zeppelin.apache.org/

? ? ?

?

当前文章:http://www.pow-pr.com/df4y6/18619-672633-24459.html

发布时间:01:10:14

最快香港现场开奖结果直播??香港挂牌宝典??香港正版挂牌之全篇??香港老版钟合资料23456??老钱庄??金光佛论坛??六和一合开奖网站??九肖公式规律??www.504kj8.com??本港台开奖现场结果??

用手机访问
下载APP
appicon 下载
扫一扫,手机浏览
code
休闲娱乐
综合热点资讯
单机游戏下载
精彩专栏
游民星空联运游戏