go-fastdfs是一个基于http协议的分布式文件系统,它基于大道至简的设计理念,一切从简设计,使得它的运维及扩展变得更加简单,它具有高性能、高可靠、无中心、免维护等优点。
此文件系统搭建十分简单,并且性能极佳,相对于fastdfs,go-fastdfs部署运维十分简单,中小型公司使用完全足够。
以window系统下初体验go-fastdfs的使用。下载go-fastdfs的二进制文件后,打开conf/cfg.json配置文件,由于是初使用,所以暂时配置单机应用。主要配置addr端口号,host服务的地址,由于是单机配置,所以peers要和host一样,地址不能使用127.0.0.1,group分组,分组可以认为是web上下文基本路径,其他配置默认即可。返回应用主目录,启动fileserver.exe,界面显示Listen on :端口号代表go-fastdfs启动成功并服务中。在浏览器访问主页
编写网关控制器(如果内网使用,可以不用网关),用于客户端的上传,下载,删除文件等操作,以java的jboot微服务为例
//控制器访问路由路径
@RequestMapping("/file")
public class FileController extends JbootController {
//go-fastdfs的服务地址,形如:http://127.0.0.1:8181/yxjxc
final static String url = Config.getString("file.dfs.url") + "/" + Config.getString("file.dfs.group");
文件上传
public void upload() {
// 声明参数集合
HashMap<String, Object> paramMap = new HashMap<String, Object>();
// 要上传的文件
paramMap.put("file", getFile().getFile());
// 请求返回后以json格式输出
paramMap.put("output", "json");
// 以http协议post方式请求上传至go-fastdfs服务
String result = HttpUtil.post(url + "/upload", paramMap);
JSONObject joResult = JSONUtil.parseObj(result);
//获取上传成功后得到的文件md5码,文件唯一标识码
String md5 = joResult.containsKey("data") ? joResult.getJSONObject("data").getStr("md5") : joResult
.getStr("md5");
//再次读取保存文件的信息
String reqInfoUrl = url + "/get_file_info?md5=" + md5;
result = HttpUtil.post(reqInfoUrl, paramMap);
//得到文件信息的返回结果
joResult = JSONUtil.parseObj(result);
//保存文件信息到网关数据库中(保存数据库可根据自己方式写,以下是本网关自己本身写法)
MbasFilDef fileDef = new MbasFilDef();
fileDef.setFileId(md5);
fileDef.setFileGroup(Config.getString("file.dfs.group"));
fileDef.setFileName(joResult.getStr("name"));
fileDef.setFilePath(joResult.getStr("path"));
fileDef.setFileSize(joResult.getInt("size"));
fileDef.setFileStatus('N');
fileDef.setFileType('I');
BasSaveFileInfoIn fileIn = new BasSaveFileInfoIn();
fileIn.setFile(fileDef);
fileIn.setSaveAction("S");
ServiceOut so = ServiceBeanUtil.getBean(BasSaveFileInfoService.class).SaveFileInfo(fileIn);
//返回到客户端成功信息以及文件标识
renderJson(so);
}
}
删除文件
public void del() {
//获取客户端请求删除的文件唯一码
String md5 = getPara("md5");
if (StrUtil.isBlank(md5)) {
md5 = getPara("fileId");
}
//从文件服务器删除指定文件
String result = HttpUtil.post(url + "/delete?md5=" + md5, new HashMap<String, Object>());
JSONObject joResult = JSONUtil.parseObj(result);
boolean ok = false;
if (joResult.containsKey("status")) {
ok = StrUtil.equals("ok", joResult.getStr("status"));
} else {
ok = 0 == joResult.getInt("retcode");
}
//从数据库删除文件(简略)
ServiceOut so = new ServiceOut();
BasSaveFileInfoIn fileIn = new BasSaveFileInfoIn();
fileIn.setFile(fileDef);
fileIn.setSaveAction("D");
so = ServiceBeanUtil.getBean(BasSaveFileInfoService.class).SaveFileInfo(fileIn);
renderJson(so);
}
查看或下载文件
public void download() {
//客户端请求是文件id参数,文件md5唯一码
String md5 = getPara("md5");
if (StrUtil.isBlank(md5)) {
md5 = getPara("fileId");
}
//客户端需要的宽和高,针对图片文件显示或下载的缩放
int width = getInt("width", -1);
int height = getInt("height", -1);
//获取文件信息
String reqInfoUrl = url + "/get_file_info?md5=" + md5;
String result = HttpUtil.post(reqInfoUrl, "");
JSONObject joResult = JSONUtil.parseObj(result);
if (joResult.containsKey("status")) {
joResult = joResult.getJSONObject("data");
}
//得到文件在服务上的路径
String path = joResult.getStr("path");
path = path.substring(path.indexOf('/')) + "/" + joResult.getStr("name");
if (width >= 0) {
path += "?width=" + width;
}
//图片缩放
if (height >= 0) {
if (path.contains("?")) {
path += "&height=" + height;
} else {
path += "?height=" + height;
}
}
//执行文件下载,直接将文件写入返回流
HttpUtil.download(url + path, getResponse().getOutputStream(), true);
}
客户端,基于Extjs
用户选择文件调用对应控制器对文档或图片上传,效果图
生产负载或海量存储时,需要进一步架构部署,如线上业务尽量使用nginx+gofastdfs部署架构,使用物理服务器集群部署等。