winse
winse · 共 33 篇文章
Spark的flatmap与map.filter.map有什么异同
A => Option[B] => B 这个过程 scala的 aList.map(B(_)).filter(!_.isEmpty).map(_.get) 和 aList.flatMap(B(_)) 有什么差别? 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢? -- Scala 对Option而言,逻辑上flatMap就是map.filter.map的简写。 def flatMap[B](f: A => GenTraversableOnce[B]): Iterator[B] = new AbstractIterator[B] { private var cur: …
2016-10-11 10:15 · spark · 评论(0)
利用maven的资源提交spark任务
官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。 查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories 两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;repositories就是公共库的地址,多个库同样适用逗号分隔。 ~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit \ --packages \ "com.eshore.z…
2016-10-09 22:03 · spark · 评论(0)
MessageFormat的pattern中含有单引号的问题
类似于linux字符操作,如果被单引号包裹的字符不会被替换。 如果需要输出单引号,又要替换其中的字符,需要使用 双单引号 来表示单引号! public class MessageFormatTest { @Test public void testPatternUncorrect(){ String UPDATE_SQL = "update t_handle_time a set a.start_time=sysdate where table_name = 'dynamic_{0}'"; Assert.assertEquals("update t_handle_time a set a.s…
2013-03-18 09:42 · java · 评论(0)
编译hadoop的jsp源码
从apache下载的tar.gz的hadoop-1.1.0包中本来就包括了src的源码。可以方便我们查看源码调试。 (从github上下载了最新的hadoop-common的源码,发现hadoop-2.0已经是使用maven管理代码了。) 在eclipse中新建java project,去掉“Use Default location”的复选框的勾,自定义项目为hadoop-1.1.0程序所在的位置。然后点击finish即可。 完成后,项目下面的lib包,以及Source Folder源码包都已经正确的配置好了。如下图。 根据网上的资料,编译hadoop的源码,需要用到sed,sh的linux…
shell使用实践
通过shell来获取视频地址,简化生活,所以这个分类到编程之美下面。 这里讲的是使用shell获取163 ted视频下载地址。 效果如图: shell脚本如下: #!/bin/sh wget -qO- http://open.163.com/ted/ | iconv -f gbk -t utf-8 | awk '{if($0 ~ /<a href="http:\/\/v\.163\.com\/movie/ ){print}}' \ | sed -n 's/.*<a href="\([^"]*\)".*/\1/p' \ | while read url do echo $url; wget -…
快速搭建第二个hadoop分布式集群环境
万事开头难,第一次搭建集群环境确实是比较难,比较苦恼。但,也不是说第二次搭建集群环境就会容易。 一般,第一次操作我们都会在测试环境中进行,当我们要搭建正式的环境时,是否还要像第一次那样搭建环境呢? 在搭了2^n次环境后,这里提供一种稍稍便捷一点的配置方式来搭建集群,所有的操作都在namenode上面进行! 192.168.3.100 h100可以认为是测试环境的namenode。 将来搭建的环境包括3台机器,已经全部安装好redhat的操作系统: 192.168.80.81 h81 #namenode 192.168.80.82 h82 #datanode1 192.168.80.83 h8…
top命令使用
使用过linux的系统的人,应该都用过top命令。 top集成了系统的许多功能,可以查看时间,查看系统的负载,查看cpu和mem的使用情况,查看系统运行的程序等。 top命令显示界面可以分成3部分: 系统总体性能(Summary_Area),命令输入光标(Message/Prompt line),任务显示区(Columns Header,Task Area)。 1、 常用的命令 [ q ] ,或 [ ctrl + c ] 退出top命令。 [ h ] ,或 [ ? ] 查看帮助,然后可以按ESC回到top界面。 2、 在Top输出界面显示CPU内核数量 - [ 1 ](数字1) top命令默…
2013-02-26 01:07 · linux · 评论(0)
hadoop集群增加节点
hadoop的集群的优势,其中之一就是可以灵活的增加数据节点,简简单单的实现扩容! 1、 最好安装统一的操作系统。安装的时刻把防火墙关了! 2、 在新节点使用root用户,修改系统的一些参数 修改时间。 date -s 12:00:00 设置IP地址。 vi /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart 修改host。 vi /etc/sysconfig/network ## 设置完以后不能立即见效,可以先使用hostname命令生效 hostname datanode-00003 新增用户hadoop。 …
2013-02-22 22:14 · hadoop · 评论(0)
使用powerdesigner导出数据表的结构图
http://www.5iphp.com/node/28 一、 根据表结构生成powerdesigner模型: 导入工作分成几步,工作很简单,步骤如下: 第一步:将要导入的库的所有表的表结构(不要表数据,只要表结构)导出成一个.sql文件。 第二步:在powerdesinger里找到 File >> Reverse Engineer >> Database ,然后出来一个 选择“share the DBMS definition”然后点击确定。注意,数据库也要选择和自己的数据库对应的,我的数据库是mysql5.0的,所有我也选择了mysql5.0。 选“ Using script files…
2012-12-25 19:09 · 评论(0)
oralce to_clob使用笔记
在写试图view的时刻,把所有字段拼接成一个字符串,但是有个表比较特殊有个clob字段,如果使用to_char转成varchar的化,只能处理最大4000个字符。 。。。 最后,在其他字段加入一个to_clob('')处理,转换为clob类型。(clob+varchar=clob类型) to_clob http://www.techonthenet.com/oracle/functions/to_clob.php
2012-12-04 19:56 · 评论(0)
url-pattern that excludes subdirectoriesy
需求其实就是把eclipse osgi导出的应用嵌入到原有的ssh开发的程序中。 <filter> <filter-name>struts-cleanup</filter-name> <filter-class> org.apache.struts2.dispatcher.ActionContextCleanUp </filter-class> </filter> <filter-mapping> <filter-name>struts-cleanup</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> <filter>…
2012-07-26 14:04 · java ssh · 评论(1)
To embed OSGi in servlet container
环境: Eclipse Modeling Tools Version: Indigo Service Release 2 Build id: 20120216-1857 操作系统:win7 tomcat: apache-tomcat-7.0.27 1、 简单操作(在bridge基础上再添加jar) 主页: http://eclipse.org/equinox/server/http_in_container.php http://eclipse.org/equinox/server/downloads/bridge.war 基本操作: http://developer.51cto.com/a…
2012-07-20 12:44 · eclipse tomcat embed OSGi · 评论(0)
android生成R.java文件
eclipse生成R.java文件: 保存后工程rebuild,最终调用android-sdk-windows\platform-tools\aapt.exe执行命令来生成文件,然后刷新eclipse-project的gen目录。 #com.android.ide.eclipse.adt.internal.build.builders.PreCompilerBuilder.build } finally { // refresh the 'gen' source folder. // Once this is done with the custom progress // monitor …
android-eclipse-plugin 源码
https://android.googlesource.com/platform/sdk/+/tools_r20/eclipse/plugins/ git clone https://android.googlesource.com/platform/sdk com.android.ide.eclipse.adt.overlay/ com.android.ide.eclipse.adt/ com.android.ide.eclipse.base/ com.android.ide.eclipse.ddms/ com.android.ide.eclipse.gldebugger.tests/ …