原标题:通过简单瘦身,消除Dataworks 10M文件限制难题

我们的业务是要动用mongodb的Hadoop
driver处理输出。大家重写的mongodbInputFormat的时候传递数据的时候是把数据写入conf,然后再从mongoSplitter里面里面从conf里面读出来。比如下边那样:

第2结束IIS7
服务

我们用IIS公布的Bs项目,倘使举行理文件件上传,在上传文件的时候,不可能上传文件大小超过4M的公文

摘要:
用户在DataWorks上实施MapReduce作业的时候,文件大于10M的JALacrosse和能源文件不可能上传到Dataworks,导致力不从心利用调度去定期执行MapReduce作业。
化解方案: jar -resources test_mr.

把数据放入数据conf:

走访
下边的目录

安装文件上传大小的方法,便是修改项目标web.config配置

怎样解决IIS6,解决iis7只能上传30M文件的限制。用户在DataWorks上推行MapReduce作业的时候,文件大于10M的JA大切诺基和财富文件不可能上传到Dataworks,导致力不从心采纳调度去定期执行MapReduce作业。

List<Long> tagsUrns =null;
 //tagUrns 赋值…..
 conf.set(“tagUrns”,
            ObjectSerializer.serialize((Serializable) tagsUrns));

X:\Windows\System32\inetsrv\config\schema

在品种中的web.config文件中,添加如下节点

杀鸡取卵方案:

在mapper,reduce,恐怕mongoSpiltter里拿出conf里的数码:

用记事本打开
IIS_schema.xml

 <system.web>
    <!-- maxRequestLength:解决上传文件4M限制 -->
    <httpRuntime maxRequestLength="999999" executionTimeout="50000"   />   
 </system.web>

先是步:大于10M的resources通过马克斯Compute CLI客户端上传,

List<Long> tagUrns = (List<Long>) ObjectSerializer
            .deserialize(context.getConfiguration().get(“tagUrns”));

右键管理员取得权限,以去除只读属性。

这就是说在IIS7.0那样设置后,无论maxRequestLength多大, 最大只可以30M,
还要配置一下

客户端下载地址:

由于conf只好放入boolean、int、string的值,而本人须求给hadoop
Configuration放入的是list或许别的对象,所以须要动用1个队列化学工业具类。

查找
<attribute name=”maxAllowedContentLength” type=”uint”
defaultValue=”30000000″ />

在web.config添加如下配置

客户端配置AK、EndPoint:

队列化学工业具类代码:

看来
三千000 了啊。加四个0 正是 300MB 咯。。自个儿加吧。设置好保存。运转 IIS7
就足以拉。

 <system.web>
    <!-- maxRequestLength:解决上传文件4M限制 -->
    <httpRuntime maxRequestLength="999999" executionTimeout="50000"   />   
 </system.web>

add jar C:\test_mr\test_mr.jar -f;//添加财富

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

在加上

其次步:方今透过MaxCompute
CLI上传的财富,在Dataworks左边能源列表是找不到的,只可以通过list
resources查看确认财富;

import java.io.*;

<system.webServer>
     <security>
          <requestFiltering>
          <requestLimits maxAllowedContentLength="1048576000" />
          </requestFiltering>
     </security>
 </system.webServer> 
网站地图xml地图