gofastdfs(分布式文件go-fastdfs初应用)

go-fastdfs是一个基于http协议的分布式文件系统,它基于大道至简的设计理念,一切从简设计,使得它的运维及扩展变得更加简单,它具有高性能、高可靠、无中心、免维护等优点。

此文件系统搭建十分简单,并且性能极佳,相对于fastdfs,go-fastdfs部署运维十分简单,中小型公司使用完全足够。


以window系统下初体验go-fastdfs的使用。下载go-fastdfs的二进制文件后,打开conf/cfg.json配置文件,由于是初使用,所以暂时配置单机应用。主要配置addr端口号,host服务的地址,由于是单机配置,所以peers要和host一样,地址不能使用127.0.0.1,group分组,分组可以认为是web上下文基本路径,其他配置默认即可。返回应用主目录,启动fileserver.exe,界面显示Listen on :端口号代表go-fastdfs启动成功并服务中。在浏览器访问主页


编写网关控制器(如果内网使用,可以不用网关),用于客户端的上传,下载,删除文件等操作,以java的jboot微服务为例

//控制器访问路由路径

@RequestMapping("/file")

public class FileController extends JbootController {

//go-fastdfs的服务地址,形如:http://127.0.0.1:8181/yxjxc

final static String url = Config.getString("file.dfs.url") + "/" + Config.getString("file.dfs.group");

文件上传

public void upload() {

// 声明参数集合

HashMap<String, Object> paramMap = new HashMap<String, Object>();

// 要上传的文件

paramMap.put("file", getFile().getFile());

// 请求返回后以json格式输出

paramMap.put("output", "json");

// 以http协议post方式请求上传至go-fastdfs服务

String result = HttpUtil.post(url + "/upload", paramMap);

JSONObject joResult = JSONUtil.parseObj(result);


//获取上传成功后得到的文件md5码,文件唯一标识码

String md5 = joResult.containsKey("data") ? joResult.getJSONObject("data").getStr("md5") : joResult

.getStr("md5");


//再次读取保存文件的信息

String reqInfoUrl = url + "/get_file_info?md5=" + md5;

result = HttpUtil.post(reqInfoUrl, paramMap);


//得到文件信息的返回结果

joResult = JSONUtil.parseObj(result);


//保存文件信息到网关数据库中(保存数据库可根据自己方式写,以下是本网关自己本身写法)

MbasFilDef fileDef = new MbasFilDef();

fileDef.setFileId(md5);

fileDef.setFileGroup(Config.getString("file.dfs.group"));

fileDef.setFileName(joResult.getStr("name"));

fileDef.setFilePath(joResult.getStr("path"));

fileDef.setFileSize(joResult.getInt("size"));

fileDef.setFileStatus('N');

fileDef.setFileType('I');

BasSaveFileInfoIn fileIn = new BasSaveFileInfoIn();

fileIn.setFile(fileDef);

fileIn.setSaveAction("S");


ServiceOut so = ServiceBeanUtil.getBean(BasSaveFileInfoService.class).SaveFileInfo(fileIn);


//返回到客户端成功信息以及文件标识

renderJson(so);

}

}

删除文件

public void del() {

//获取客户端请求删除的文件唯一码

String md5 = getPara("md5");

if (StrUtil.isBlank(md5)) {

md5 = getPara("fileId");

}


//从文件服务器删除指定文件

String result = HttpUtil.post(url + "/delete?md5=" + md5, new HashMap<String, Object>());

JSONObject joResult = JSONUtil.parseObj(result);

boolean ok = false;


if (joResult.containsKey("status")) {

ok = StrUtil.equals("ok", joResult.getStr("status"));

} else {

ok = 0 == joResult.getInt("retcode");

}

//从数据库删除文件(简略)

ServiceOut so = new ServiceOut();

BasSaveFileInfoIn fileIn = new BasSaveFileInfoIn();

fileIn.setFile(fileDef);

fileIn.setSaveAction("D");

so = ServiceBeanUtil.getBean(BasSaveFileInfoService.class).SaveFileInfo(fileIn);


renderJson(so);

}

查看或下载文件

public void download() {

//客户端请求是文件id参数,文件md5唯一码

String md5 = getPara("md5");

if (StrUtil.isBlank(md5)) {

md5 = getPara("fileId");

}

gofast

//客户端需要的宽和高,针对图片文件显示或下载的缩放

int width = getInt("width", -1);

int height = getInt("height", -1);

//获取文件信息

String reqInfoUrl = url + "/get_file_info?md5=" + md5;

String result = HttpUtil.post(reqInfoUrl, "");

JSONObject joResult = JSONUtil.parseObj(result);

if (joResult.containsKey("status")) {

joResult = joResult.getJSONObject("data");

}

//得到文件在服务上的路径

String path = joResult.getStr("path");

path = path.substring(path.indexOf('/')) + "/" + joResult.getStr("name");

if (width >= 0) {

path += "?width=" + width;

}


//图片缩放

if (height >= 0) {

if (path.contains("?")) {

path += "&height=" + height;

} else {

path += "?height=" + height;

}

}

//执行文件下载,直接将文件写入返回流

HttpUtil.download(url + path, getResponse().getOutputStream(), true);

}


客户端,基于Extjs

用户选择文件调用对应控制器对文档或图片上传,效果图


生产负载或海量存储时,需要进一步架构部署,如线上业务尽量使用nginx+gofastdfs部署架构,使用物理服务器集群部署等。

您可以还会对下面的文章感兴趣

使用微信扫描二维码后

点击右上角发送给好友