加入收藏 | 设为首页 | 会员中心 | 我要投稿 温州站长网 (https://www.0577zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

分布式文件存储系统minio

发布时间:2022-12-06 16:02:38 所属栏目:大数据 来源:网络
导读: 结构化数据:也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。
特点:高度组织化和格式化,可以用二维表结构来

结构化数据:也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。

特点:高度组织化和格式化,可以用二维表结构来逻辑表达和实现的数据。

存储形式:关系型数据库

非结构化数据:非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片, HTML、各类报表、图像和音频/视频信息等等。

特点:格式多样,标准多样。

形式:文本,图像,图形,音频,视频等。

存储形式:非关系型数据库。

半结构化数据:是结构化的数据,但是结构变化很大。因为我们要了解数据的细节所以不能将数据简单的组织成一个文件按照非结构化数据处理,由于结构变化很大也不能够简单的建立一个表和他对应。

而minio是对应于互联网海量非结构化数据的存储要求

官网:

英文网站:

中文网站:MinIO | 高性能,对Kubernetes友好的对象存储

推荐英文网站,中文网站更新较慢。

MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。

MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或 MySQL。

使用文档:MinIO | 高性能,对Kubernetes友好的对象存储

minio的安装与部署:

无奈,看其他博客遇到好多坑,记录一下自己的安装过程。

1.连接服务器

ssh -q -l root -p 22 ip地址

2.进入home目录,新建一个minio目录

cd /home

mkdir minio

3.进入minio目录下,安装minio

cd /home/minio

wget https://dl.min.io/server/minio/release/linux-amd64/minio

这个是在外网下载大数据存储系统,下载的很慢,笔者踩了很多坑,下载了很多次,整了好长时间。。。然后再继续,能fq的孩子还是建议去fq,把minio的二进制文件下载下来,再上传到服务器上去。

大数据100分 存储_大数据存储系统_大数据存储难点

大数据100分 存储_大数据存储系统_大数据存储难点

大数据100分 存储_大数据存储系统_大数据存储难点

大数据100分 存储_大数据存储难点_大数据存储系统

大数据100分 存储_大数据存储系统_大数据存储难点

笔者在自己电脑终端整的,还是一如既往的,别人用几行命令丝滑的整好了,我的却一直报错。。。

大数据100分 存储_大数据存储系统_大数据存储难点

大数据100分 存储_大数据存储系统_大数据存储难点

大数据100分 存储_大数据存储系统_大数据存储难点

大数据100分 存储_大数据存储系统_大数据存储难点

好像真的是我电脑系统的原因,各种命令都没用。。。

最后的最后在学长的帮助下,俺也有较为稳定的minio啦。

然后又用了一上午的时间完成springboot对minio的整合,完成了各种方法在swagger上的实现,也成功部署到了数据库上,成功实现的方法有查看桶内某个文件,下载文件,批量删除文件,查看桶内所有文件等等。

原本想通过看视频整合的,但是看的那些视频嗯。。。怎么说,逻辑不清,各种问题。。。

于是就只能一边看官方文档,一边参考其他博客,终于把minio完成了。

当然还是推荐看英文版的minio

中文版的版本太低,有较多坑。

总结:最近一段时间跟闹着玩一样,事情太多了,还好完成了minio,又用了一点时间把minio部署到两个项目上,自己在两个项目上的任务也算完成了,也算是清闲了一点,不过还有期末考试等着自己。。。同时也要开始学习cloud了,在cloud上我和其他孩子进度落下太多了,已经有孩子开始二刷了,我还停留在几个月前,才学一小半,现在也要开始把进度赶上去了,以免那个项目不知道老师什么时候安排下去,自己还没学,就非常难受了。

唉,最近太难了。

(编辑:温州站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!