http超大文件上传方案

news/2024/7/10 23:27:57 标签: jquery, 前端, javascript

需求：项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在500M内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以501M来进行限制。

第一步：

前端修改

由于项目使用的是BJUI前端框架，并没有使用框架本身的文件上传控件，而使用的基于jQuery的Uploadify文件上传组件，在项目使用的jslib项目中找到了BJUI框架集成jQuery Uploadify的部分，这部分代码封装在bjui-all.js文件中，

在bjui-all.js文件中的全局变量定义中有以下部分代码，这就是定义的有关于上传的Uploadify控件的重要变量：

//文件上传对象

function FileUploader(fileLoc, mgr)

{

    var _this = this;

    this.id = fileLoc.id;

    this.ui = { msg: null, process: null, percent: null, btn: { del: null, cancel: null,post:null,stop:null }, div: null};

    this.isFolder = false; //不是文件夹

    this.app = mgr.app;

    this.Manager = mgr; //上传管理器指针

    this.event = mgr.event;

    this.Config = mgr.Config;

    this.fields = jQuery.extend({}, mgr.Config.Fields, fileLoc.fields);//每一个对象自带一个fields幅本

    this.State = this.Config.state.None;

    this.uid = this.fields.uid;

    this.fileSvr = {

          pid: ""

        , id: ""

        , pidRoot: ""

        , f_fdTask: false

        , f_fdChild: false

        , uid: 0

        , nameLoc: ""

        , nameSvr: ""

        , pathLoc: ""

        , pathSvr: ""

        , pathRel: ""

        , md5: ""

        , lenLoc: "0"

        , sizeLoc: ""

        , FilePos: "0"

        , lenSvr: "0"

        , perSvr: "0%"

        , complete: false

        , deleted: false

    };//json obj，服务器文件信息

    this.fileSvr = jQuery.extend(this.fileSvr, fileLoc);

    //准备

    this.Ready = function ()

    {

        this.ui.msg.text("正在上传队列中等待...");

        this.State = this.Config.state.Ready;

        this.ui.btn.post.click(function () {

            _this.ui.btn.post.hide();

            _this.ui.btn.del.hide();

            _this.ui.btn.cancel.hide();

            _this.ui.btn.stop.show();

            if (!_this.Manager.IsPostQueueFull()) {

                _this.post();

            }

            else {

                _this.ui.msg.text("正在上传队列中等待...");

                _this.State = _this.Config.state.Ready;

                $.each(_this.ui.btn, function (i, n) { n.hide(); });

                _this.ui.btn.del.show();

                //添加到队列

                _this.Manager.AppendQueue(_this.fileSvr.id);

            }

        });

        this.ui.btn.stop.click(function () {

            _this.stop();

        });

        this.ui.btn.del.click(function () {

            _this.stop();

            _this.remove();

        });

        this.ui.btn.cancel.click(function () {

            _this.stop();

            _this.remove();

            //_this.PostFirst();//

        });

    };

    this.svr_error = function ()

    {

        alert("服务器返回信息为空，请检查服务器配置");

        this.ui.msg.text("向服务器发送MD5信息错误");

        //this.ui.btn.cancel.text("续传");

        this.ui.btn.stop.hide();

        this.ui.btn.cancel.show();

    };

    this.svr_error_same_name = function () {       

        this.ui.msg.text("服务器存在同名文件");

        this.ui.btn.stop.hide();

        this.ui.btn.cancel.show();

    };

    this.svr_create = function (sv)

    {

        if (sv.value == null)

        {

            this.Manager.RemoveQueuePost(this.fileSvr.id);

            this.svr_error(); return;

        }

        if (!sv.ret) {

            this.Manager.RemoveQueuePost(this.fileSvr.id);

            this.svr_error_same_name(); return;

        }

        var str = decodeURIComponent(sv.value);//

        this.fileSvr = JSON.parse(str);//

        //服务器已存在相同文件，且已上传完成

        if (this.fileSvr.complete)

        {

            this.post_complete_quick();

        } //服务器文件没有上传完成

        else

        {

            this.ui.process.css("width", this.fileSvr.perSvr);

            this.ui.percent.text(this.fileSvr.perSvr);

            this.post_file();

        }

    };

    this.svr_update = function () {

        if (this.fileSvr.lenSvr == 0) return;

        var param = { uid: this.fields["uid"], offset: this.fileSvr.lenSvr, lenSvr: this.fileSvr.lenSvr, perSvr: this.fileSvr.perSvr, id: this.id, time: new Date().getTime() };

        $.ajax({

            type: "GET"

            , dataType: 'jsonp'

            , jsonp: "callback" //自定义的jsonp回调函数名称，默认为jQuery自动生成的随机函数名

            , url: this.Config["UrlProcess"]

            , data: param

            , success: function (msg) {}

            , error: function (req, txt, err) { alert("更新文件进度错误！" + req.responseText); }

            , complete: function (req, sta) { req = null; }

        });

    };

    this.svr_remove = function ()

    {

        var param = { uid: this.fields["uid"], id: this.fileSvr.id, time: new Date().getTime() };

        $.ajax({

            type: "GET"

            , dataType: 'jsonp'

            , jsonp: "callback" //自定义的jsonp回调函数名称，默认为jQuery自动生成的随机函数名

            , url: this.Config["UrlDel"]

            , data: param

            , success: function (msg) { }

            , error: function (req, txt, err) { alert("删除文件失败！" + req.responseText); }

            , complete: function (req, sta) { req = null; }

        });

    };

    this.post_process = function (json)

    {

        this.fileSvr.lenSvr = json.lenSvr;//保存上传进度

        this.fileSvr.perSvr = json.percent;

        this.ui.percent.text("("+json.percent+")");

        this.ui.process.css("width", json.percent);

        var str = json.lenPost + " " + json.speed + " " + json.time;

        this.ui.msg.text(str);

    };

    this.post_complete = function (json)

    {

        this.fileSvr.perSvr = "100%";

        this.fileSvr.complete = true;

        $.each(this.ui.btn, function (i, n)

        {

            n.hide();

        });

        this.ui.process.css("width", "100%");

        this.ui.percent.text("(100%)");

        this.ui.msg.text("上传完成");

        this.Manager.arrFilesComplete.push(this);

        this.State = this.Config.state.Complete;

        //从上传列表中删除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        //从未上传列表中删除

        this.Manager.RemoveQueueWait(this.fileSvr.id);

        var param = { md5: this.fileSvr.md5, uid: this.uid, id: this.fileSvr.id, time: new Date().getTime() };

        $.ajax({

            type: "GET"

              , dataType: 'jsonp'

              , jsonp: "callback" //自定义的jsonp回调函数名称，默认为jQuery自动生成的随机函数名

              , url: _this.Config["UrlComplete"]

              , data: param

              , success: function (msg)

              {

                  _this.event.fileComplete(_this);//触发事件

                  _this.post_next();

              }

              , error: function (req, txt, err) { alert("文件-向服务器发送Complete信息错误！" + req.responseText); }

              , complete: function (req, sta) { req = null; }

        });

    };

    this.post_complete_quick = function ()

    {

        this.fileSvr.perSvr = "100%";

        this.fileSvr.complete = true;

        this.ui.btn.stop.hide();

        this.ui.process.css("width", "100%");

        this.ui.percent.text("(100%)");

        this.ui.msg.text("服务器存在相同文件，快速上传成功。");

        this.Manager.arrFilesComplete.push(this);

        this.State = this.Config.state.Complete;

        //从上传列表中删除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        //从未上传列表中删除

        this.Manager.RemoveQueueWait(this.fileSvr.id);

        //添加到文件列表

        this.post_next();

        this.event.fileComplete(this);//触发事件

    };

    this.post_stoped = function (json)

    {

        this.ui.btn.post.show();

        this.ui.btn.del.show();

        this.ui.btn.cancel.hide();

        this.ui.btn.stop.hide();

        this.ui.msg.text("传输已停止....");

        if (this.Config.state.Ready == this.State)

        {

            this.Manager.RemoveQueue(this.fileSvr.id);

            this.post_next();

            return;

        }

        this.State = this.Config.state.Stop;

        //从上传列表中删除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        this.Manager.AppendQueueWait(this.fileSvr.id);//添加到未上传列表

        //传输下一个

        this.post_next();

    };

    this.post_error = function (json)

    {

        this.svr_update();

        this.ui.msg.text(this.Config.errCode[json.value]);

        this.ui.btn.stop.hide();

        this.ui.btn.post.show();

        this.ui.btn.del.show();

        this.State = this.Config.state.Error;

        //从上传列表中删除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        //添加到未上传列表

        this.Manager.AppendQueueWait(this.fileSvr.id);

        this.post_next();

    };

    this.md5_process = function (json)

    {

        var msg = "正在扫描本地文件，已完成：" + json.percent;

        this.ui.msg.text(msg);

    };

    this.md5_complete = function (json)

    {

        this.fileSvr.md5 = json.md5;

        this.ui.msg.text("MD5计算完毕，开始连接服务器...");

        this.event.md5Complete(this, json.md5);//biz event

        var loc_path = encodeURIComponent(this.fileSvr.pathLoc);

        var loc_len = this.fileSvr.lenLoc;

        var loc_size = this.fileSvr.sizeLoc;

        var param = jQuery.extend({}, this.fields, this.Config.bizData, { md5: json.md5, id: this.fileSvr.id, lenLoc: loc_len, sizeLoc: loc_size, pathLoc: loc_path, time: new Date().getTime() });

        $.ajax({

            type: "GET"

            , dataType: 'jsonp'

            , jsonp: "callback" //自定义的jsonp回调函数名称，默认为jQuery自动生成的随机函数名

            , url: this.Config["UrlCreate"]

            , data: param

            , success: function (sv)

            {

                _this.svr_create(sv);

            }

            , error: function (req, txt, err)

            {

                _this.Manager.RemoveQueuePost(_this.fileSvr.id);

                alert("向服务器发送MD5信息错误！" + req.responseText);

                _this.ui.msg.text("向服务器发送MD5信息错误");

                _this.ui.btn.cancel.show();

                _this.ui.btn.stop.hide();

            }

            , complete: function (req, sta) { req = null; }

        });

    };

    this.md5_error = function (json)

    {

        this.ui.msg.text(this.Config.errCode[json.value]);

        //文件大小超过限制,文件大小为0

        if ("4" == json.value

              || "5" == json.value)

        {

        this.ui.btn.stop.hide();

        this.ui.btn.cancel.show();

        }

        else

        {           

            this.ui.btn.post.show();

            this.ui.btn.stop.hide();

        }

        this.State = this.Config.state.Error;

        //从上传列表中删除

        this.Manager.RemoveQueuePost(this.fileSvr.id);

        //添加到未上传列表

        this.Manager.AppendQueueWait(this.fileSvr.id);

        this.post_next();

    };

    this.post_next = function ()

    {

        var obj = this;

        setTimeout(function () { obj.Manager.PostNext(); }, 300);

    };

    this.post = function ()

    {

        this.Manager.AppendQueuePost(this.fileSvr.id);

        this.Manager.RemoveQueueWait(this.fileSvr.id);

        if (this.fileSvr.md5.length > 0 || this.fileSvr.lenSvr > 0)

        {

            this.post_file();

        }

        else

        {

            this.check_file();

        }

    };

    this.post_file = function ()

    {

        $.each(this.ui.btn, function (i, n) { n.hide();});

        this.ui.btn.stop.show();

        this.State = this.Config.state.Posting;//

        this.app.postFile({ id: this.fileSvr.id, pathLoc: this.fileSvr.pathLoc, pathSvr:this.fileSvr.pathSvr,lenSvr: this.fileSvr.lenSvr, fields: this.fields });

    };

    this.check_file = function ()

    {

        //this.ui.btn.cancel.text("停止").show();

        this.ui.btn.stop.show();

        this.ui.btn.cancel.hide();

        this.State = this.Config.state.MD5Working;

        this.app.checkFile({ id: this.fileSvr.id, pathLoc: this.fileSvr.pathLoc });

    };

    this.stop = function ()

    {

        $.each(this.ui.btn, function (i, n) { n.hide();});

        this.svr_update();

        this.app.stopFile({ id: this.fileSvr.id });       

    };

    //手动停止，一般在StopAll中调用

    this.stop_manual = function ()

    {

        if (this.Config.state.Posting == this.State)

        {

            this.svr_update();

        this.ui.btn.post.show();

        this.ui.btn.stop.hide();

        this.ui.btn.cancel.hide();

            this.ui.msg.text("传输已停止....");

            this.app.stopFile({ id: this.fileSvr.id ,tip:false});

            this.State = this.Config.state.Stop;

        }

    };

    //删除，一般在用户点击"删除"按钮时调用

    this.remove = function ()

    {

        this.Manager.del_file(this.fileSvr.id);

        this.app.delFile(this.fileSvr);

        this.ui.div.remove();

        if (this.State != this.Config.state.Complete) this.svr_remove();

    };

}

upload:{uploadLimit:5,fileSizeLimit:31744,removeTimeout:0.8}

以上三个变量代表的含义是：

uploadLimit：表示上传文件个数的限制，5表示文件上传个数限制是5个

fileSizeLimit：表示上传文件大小的限制，31744单位是KB，也就是表示31M

removeTimeout：表示移除文件的时间限制

继续查找使用到这些变量的地方，看到了文件大小超出限制等

了解了BJUI前端框架对于上传大文件的限制，可以这样使用，增大文件上传大小和数量，可以按照如下进行修改，我们在bjui-all.js文件看到uploadLimit属性和fileSizeLimit属性的限制，我们在jsp文件中可以这样进行替换，这里使用的是覆盖原则，重新定义uploadLimit属性和fileSizeLimit属性，覆盖bjui-all.js文件的默认值设置。

bjui-all.js文件的uploadLimit属性和fileSizeLimit属性对应到jsp文件中的属性就应该这样写，data-upload-limit属性和data-file-size-limit属性，只需要在后面改写为data-upload-limit=“800”和data-file-size-limit=“5131264”即可，一定要注意这里的单位是KB，以上数字表示501M。

关于Uploadify控件属性可以参考这篇文章也可以直接看官网文档：

http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/

属性名称

默认值

说明

auto

true

设置为true当选择文件后就直接上传了，为false需要点击上传按钮才上传 。

buttonClass

”

按钮样式

buttonCursor

‘hand’

鼠标指针悬停在按钮上的样子

buttonImage

null

浏览按钮的图片的路径 。

buttonText

‘SELECT FILES’

浏览按钮的文本。

checkExisting

false

文件上传重复性检查程序，检查即将上传的文件在服务器端是否已存在，存在返回1，不存在返回0

debug

false

如果设置为true则表示启用SWFUpload的调试模式

fileObjName

‘Filedata’

文件上传对象的名称，如果命名为’the_files’，PHP程序可以用$_FILES['the_files']来处理上传的文件对象。

fileSizeLimit

0

上传文件的大小限制 ，如果为整数型则表示以KB为单位的大小，如果是字符串，则可以使用(B, KB, MB, or GB)为单位，比如’2MB’；

如果设置为0则表示无限制

fileTypeDesc

‘All Files’

这个属性值必须设置fileTypeExts属性后才有效，用来设置选择文件对话框中的提示文本，如设置fileTypeDesc为“请选择rar doc pdf文件”

fileTypeExts

‘*.*’

设置可以选择的文件的类型，格式如：’*.doc;*.pdf;*.rar’   。

formData

JSON格式上传每个文件的同时提交到服务器的额外数据，可在’onUploadStart’事件中使用’settings’方法动态设置。

height

30

设置浏览按钮的高度 ，默认值

itemTemplate

false

用于设置上传队列的HTML模版，可以使用以下标签：
    instanceID –   Uploadify实例的ID
    fileID – 列队中此文件的ID,或者理解为此任务的ID
    fileName – 文件的名称
    fileSize – 当前上传文件的大小
    插入模版标签时使用格式如：${fileName}

method

Post

提交方式Post或Get

multi

true

设置为true时可以上传多个文件。

overrideEvents

设置哪些事件可以被重写，JSON格式，如：’overrideEvents’ : ['onUploadProgress']

preventCaching

true

如果为true，则每次上传文件时自动加上一串随机字符串参数，防止URL缓存影响上传结果

progressData

‘percentage’

设置上传进度显示方式，percentage显示上传百分比，speed显示上传速度

queueID

false

设置上传队列容器DOM元素的ID，如果为false则自动生成一个队列容器。

queueSizeLimit

999

队列最多显示的任务数量，如果选择的文件数量超出此限制，将会出发onSelectError事件。
    注意此项并非最大文件上传数量，如果要限制最大上传文件数量，应设置uploadLimit。

removeCompleted

true

是否自动将已完成任务从队列中删除，如果设置为false则会一直保留此任务显示。

removeTimeout

3

如果设置了任务完成后自动从队列中移除，则可以规定从完成到被移除的时间间隔。

requeueErrors

false

如果设置为true，则单个任务上传失败后将返回错误，并重新加入任务队列上传。

successTimeout

30

文件上传成功后服务端应返回成功标志，此项设置返回结果的超时时间

swf

‘uploadify.swf’

uploadify.swf 文件的相对路径。

uploader

uploadify.php

后台处理程序的相对路径。

uploadLimit

999

最大上传文件数量，如果达到或超出此限制将会触发onUploadError事件。

width

120

设置文件浏览按钮的宽度。

第二步：

后端修改

由于项目后端使用的Spring Boot，本身也就是使用的Spring MVC文件上传部分，Spring MVC使用的是已经对Servlet文件上传封装了的MultipartResolver接口及其相关实现类和一些相关的类，具体的可以看Spring MVC文件上传源码部分，认为Spring源码还是需要读的，我们只要在Spring Boot启动类中注入这个Bean，或者自行写一个WebConfig配置类，注入一些Web相关的Bean即可，这样Spring Boot启动就会加载配置类，也需要自己写拦截器和全局AOP切面，去捕捉文件上传大小超过限制的异常处理等

基于Spring MVC文件上传组件MultipartResolver接口（核心），使用其中的CommonsMultipartResolver（实现了MultipartResolver接口）这个实现类，CommonsMultipartResolver中的maxUploadSize属性是它继承的抽象父类CommonsFileUploadSupport，这个抽象类其中的一个属性是FileUpload类，而这个类又继承自FileUploadBase这个抽象类，其中它的private long sizeMax = -1;就是maxUploadSize属性的最终设置地方。-1表示文件上传大小没有限制，但是我们一般都会设置一个限制值，这里设置的是210763776，这个值的单位是字节，我们将它设置为525336576字节，也就是501M的大小限制。

修改完以上前端和后端，提交修改的代码到git上即可。

第三步：

Nginx配置

进入到项目部署发布所在的Linux下，进入nginx服务器所安装的目录，

进入到nginx服务器所安装的目录

进入到nginx服务器目录下的conf目录

查看nginx.conf配置文件内容中的client_max_body_size配置的大小，这里设置的是300M。

使用vi或者vim打开nginx.conf配置文件，修改client_max_body_size的大小为501M，保存即可

进入到nginx服务器下的sbin目录下，我们使用./nginx -t查看配置文件是否成功使用，然后使用./nginx -s reload重启Nginx服务器即可。

第四步：

Tomcat配置

由于项目使用的是Spring Cloud，自然使用Spring Boot，我们这个项目还是使用外置的Tomcat作为他的服务器，便于我们对Tomcat服务器进行优化和设置。

进入到项目使用的Tomcat服务器的目录

进入到指定项目使用的Tomcat服务器的目录

进入到Tomcat服务器下的conf配置目录中

看到server.xml配置文件后

先行查看Tomcat服务器的配置，其中两个属性对于这次是比较重要的一个是connectionTimeout这个连接超时时间设置以及默认的maxPostSize属性的设置

使用vi或者vim打开server.xml配置文件，修改connectionTimeout的大小为2000000，这个属性的单位是毫秒，换算之后大概是半个小时，我们配置缺省的maxPostSize属性的值，默认情况下它的值是2097152，它的单位是字节，也就是2M的大小，修改完保存即可

修改完服务器之后，使用发布工具重新从git上拉取最新的代码和部署发布，重新启动脚本即可完成修改，再次尝试大文件上传，功能基本实现。

以上需要注意的是maxPostSize属性在各个Tomcat版本中的不同，可以参考我写的这篇文章：http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/

欢迎入群一起讨论：374992201


http://www.niftyadmin.cn/n/1209525.html

相关文章

域管理员新手必看：域环境下DNS设置的常见误解

域管理员新手必看：域环境下DNS设置的常见误解

域管理员新手必看：域环境下DNS设置的常见误解DNS服务是保证机器能够上网浏览的基础。它将形如GOOGLE.COM的名字翻译成IP地址。对于域环境来说，DNS服务器还有一个重要的作用，就是客户机用它来寻找域中的服务。在DNS服务器中，这些记…
阅读更多...
ug二次开发python_NXOpen二次开发.pdf

ug二次开发python_NXOpen二次开发.pdf

NXOpen二次开发NXOpen 二次开发二○一三年十二月目 录第一章 NXOpen 简介11.1 NX API 简介11.1.1 NX API 架构与统一对象模型11.1.2 现有 NX API 11.1.3 NX API 比较11.2 NXOPEN 概述31.2.1 NXOPEN 特性31.2.2 NXOpen API 应用程序层次框架 31.2.3 Block Styled UI31.3 Journam…
阅读更多...
webuploader超大文件上传方案

webuploader超大文件上传方案

文件夹数据库处理逻辑 public class DbFolder { JSONObject root; public DbFolder() { this.root new JSONObject(); this.root.put("f_id", ""); this.root.put("f_nameLoc", "根目录"); this.root.put("f_pid", "…
阅读更多...
中计算均方误差_思考：机器学习中损失函数为什么用2n为底

中计算均方误差_思考：机器学习中损失函数为什么用2n为底

大家好，最近有朋友留言询问为什么在机器学习中的损失函数用2n为底，如下公式所示。损失函数如上图所示，MSE(Mean-square error，均方误差)是比较常用的损失函数方程。确实，MSE公式中，如果使用n替换掉2n&#…
阅读更多...
ECshop彻底去版权（同时适用于2.7.3）

ECshop彻底去版权（同时适用于2.7.3）

前台部分： 1:去掉头部TITLE部分的ECSHOP演示站 Powered by ecshop前者”ECSHOP演示站”在后台商店设置 – 商店标题修改后者” Powered by ecshop”打开includes/lib_main.php$page_title $GLOBALS[_CFG][shop_title] . ‘ – ‘ . ‘Powered by ECShop’;修改这里…
阅读更多...
超大文件上传解决方案

超大文件上传解决方案

一、 功能性需求与非功能性需求 要求操作便利，一次选择多个文件和文件夹进行上传； 支持PC端全平台操作系统，Windows,Linux,Mac 支持文件和文件夹的批量下载，断点续传。刷新页面后继续传输。关闭浏览器后保留进度信息。 支持文件…
阅读更多...
WPF 资源管理器 WPF Explorer

WPF 资源管理器 WPF Explorer

最近项目中有个功能是读取外部设备的中的文件，同时由于项目样式限制，因此需要需要简单实现一个Window资源管理器功能。 由于为了接下来工作更好地完善功能，因此先一步做了一个DEMO用于参照和不断的修正。之所以贴出来大家如果也需要这个功能的…
阅读更多...
datadrip链接redis_数据库管理工具神器-DataGrip,可同时管理多个主流数据库[SQL Server,MySQL,Oracle等]连接...

datadrip链接redis_数据库管理工具神器-DataGrip,可同时管理多个主流数据库[SQL Server,MySQL,Oracle等]连接...

前言DataGrip：Jet Brains出品的一款数据库管理工具(没错，是Jet Brains出品，必属精品)。DataGrip整合集成了当前主流数据库(如:SQL Server, MySQL, Oracle, PostgreSQL, Sybase, Sqlite, DB2, Azure等)的连接，管理等。让开发者或者…
阅读更多...
最新文章

Copyright @ 2022~2023