ITeye博客

winse

winse · 共 33 篇文章

Spark的flatmap与map.filter.map有什么异同

A => Option[B] => B 这个过程 scala的 aList.map(B(_)).filter(!_.isEmpty).map(_.get) 和 aList.flatMap(B(_)) 有什么差别? 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢? -- Scala 对Option而言,逻辑上flatMap就是map.filter.map的简写。 def flatMap[B](f: A => GenTraversableOnce[B]): Iterator[B] = new AbstractIterator[B] { private var cur: …

2016-10-11 10:15 · spark · 评论(0)

利用maven的资源提交spark任务

官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。 查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories 两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;repositories就是公共库的地址,多个库同样适用逗号分隔。 ~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit \ --packages \ "com.eshore.z…

2016-10-09 22:03 · spark · 评论(0)

MessageFormat的pattern中含有单引号的问题

类似于linux字符操作,如果被单引号包裹的字符不会被替换。 如果需要输出单引号,又要替换其中的字符,需要使用 双单引号 来表示单引号! public class MessageFormatTest { @Test public void testPatternUncorrect(){ String UPDATE_SQL = "update t_handle_time a set a.start_time=sysdate where table_name = 'dynamic_{0}'"; Assert.assertEquals("update t_handle_time a set a.s…

2013-03-18 09:42 · java · 评论(0)

编译hadoop的jsp源码

从apache下载的tar.gz的hadoop-1.1.0包中本来就包括了src的源码。可以方便我们查看源码调试。 (从github上下载了最新的hadoop-common的源码,发现hadoop-2.0已经是使用maven管理代码了。) 在eclipse中新建java project,去掉“Use Default location”的复选框的勾,自定义项目为hadoop-1.1.0程序所在的位置。然后点击finish即可。 完成后,项目下面的lib包,以及Source Folder源码包都已经正确的配置好了。如下图。 根据网上的资料,编译hadoop的源码,需要用到sed,sh的linux…

2013-03-15 23:21 · eclipse · hadoop · 评论(0)

shell使用实践

通过shell来获取视频地址,简化生活,所以这个分类到编程之美下面。 这里讲的是使用shell获取163 ted视频下载地址。 效果如图: shell脚本如下: #!/bin/sh wget -qO- http://open.163.com/ted/ | iconv -f gbk -t utf-8 | awk '{if($0 ~ /<a href="http:\/\/v\.163\.com\/movie/ ){print}}' \ | sed -n 's/.*<a href="\([^"]*\)".*/\1/p' \ | while read url do echo $url; wget -…

2013-03-07 00:02 · 编程之美 · linux · 评论(0)

快速搭建第二个hadoop分布式集群环境

万事开头难,第一次搭建集群环境确实是比较难,比较苦恼。但,也不是说第二次搭建集群环境就会容易。 一般,第一次操作我们都会在测试环境中进行,当我们要搭建正式的环境时,是否还要像第一次那样搭建环境呢? 在搭了2^n次环境后,这里提供一种稍稍便捷一点的配置方式来搭建集群,所有的操作都在namenode上面进行! 192.168.3.100 h100可以认为是测试环境的namenode。 将来搭建的环境包括3台机器,已经全部安装好redhat的操作系统: 192.168.80.81 h81 #namenode 192.168.80.82 h82 #datanode1 192.168.80.83 h8…

2013-03-02 00:06 · hadoop · linux · 评论(0)

top命令使用

使用过linux的系统的人,应该都用过top命令。 top集成了系统的许多功能,可以查看时间,查看系统的负载,查看cpu和mem的使用情况,查看系统运行的程序等。 top命令显示界面可以分成3部分: 系统总体性能(Summary_Area),命令输入光标(Message/Prompt line),任务显示区(Columns Header,Task Area)。 1、 常用的命令 [ q ] ,或 [ ctrl + c ] 退出top命令。 [ h ] ,或 [ ? ] 查看帮助,然后可以按ESC回到top界面。 2、 在Top输出界面显示CPU内核数量 - [ 1 ](数字1) top命令默…

2013-02-26 01:07 · linux · 评论(0)

hadoop集群增加节点

hadoop的集群的优势,其中之一就是可以灵活的增加数据节点,简简单单的实现扩容! 1、 最好安装统一的操作系统。安装的时刻把防火墙关了! 2、 在新节点使用root用户,修改系统的一些参数 修改时间。 date -s 12:00:00 设置IP地址。 vi /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart 修改host。 vi /etc/sysconfig/network ## 设置完以后不能立即见效,可以先使用hostname命令生效 hostname datanode-00003 新增用户hadoop。 …

2013-02-22 22:14 · hadoop · 评论(0)

使用powerdesigner导出数据表的结构图

http://www.5iphp.com/node/28 一、 根据表结构生成powerdesigner模型: 导入工作分成几步,工作很简单,步骤如下: 第一步:将要导入的库的所有表的表结构(不要表数据,只要表结构)导出成一个.sql文件。 第二步:在powerdesinger里找到 File >> Reverse Engineer >> Database ,然后出来一个 选择“share the DBMS definition”然后点击确定。注意,数据库也要选择和自己的数据库对应的,我的数据库是mysql5.0的,所有我也选择了mysql5.0。 选“ Using script files…

2012-12-25 19:09 · 评论(0)

oralce to_clob使用笔记

在写试图view的时刻,把所有字段拼接成一个字符串,但是有个表比较特殊有个clob字段,如果使用to_char转成varchar的化,只能处理最大4000个字符。 。。。 最后,在其他字段加入一个to_clob('')处理,转换为clob类型。(clob+varchar=clob类型) to_clob http://www.techonthenet.com/oracle/functions/to_clob.php

2012-12-04 19:56 · 评论(0)

url-pattern that excludes subdirectoriesy

需求其实就是把eclipse osgi导出的应用嵌入到原有的ssh开发的程序中。 <filter> <filter-name>struts-cleanup</filter-name> <filter-class> org.apache.struts2.dispatcher.ActionContextCleanUp </filter-class> </filter> <filter-mapping> <filter-name>struts-cleanup</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> <filter>…

2012-07-26 14:04 · java ssh · 评论(1)

To embed OSGi in servlet container

环境: Eclipse Modeling Tools Version: Indigo Service Release 2 Build id: 20120216-1857 操作系统:win7 tomcat: apache-tomcat-7.0.27 1、 简单操作(在bridge基础上再添加jar) 主页: http://eclipse.org/equinox/server/http_in_container.php http://eclipse.org/equinox/server/downloads/bridge.war 基本操作: http://developer.51cto.com/a…

2012-07-20 12:44 · eclipse tomcat embed OSGi · 评论(0)

插件依赖导入

不是自己的,特别是官方api形式,最好以导入包的形式引入。

2012-07-17 17:18 · eclipse plugin · 评论(0)

android生成R.java文件

eclipse生成R.java文件: 保存后工程rebuild,最终调用android-sdk-windows\platform-tools\aapt.exe执行命令来生成文件,然后刷新eclipse-project的gen目录。 #com.android.ide.eclipse.adt.internal.build.builders.PreCompilerBuilder.build } finally { // refresh the 'gen' source folder. // Once this is done with the custom progress // monitor …

2012-07-13 16:02 · Android学习 · eclipse · 评论(0)

android-eclipse-plugin 源码

https://android.googlesource.com/platform/sdk/+/tools_r20/eclipse/plugins/ git clone https://android.googlesource.com/platform/sdk com.android.ide.eclipse.adt.overlay/ com.android.ide.eclipse.adt/ com.android.ide.eclipse.base/ com.android.ide.eclipse.ddms/ com.android.ide.eclipse.gldebugger.tests/ …

2012-07-12 16:33 · Android学习 · eclipse · 评论(0)