Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment
spark基本介绍及使用
一.Spark基本介绍Apache Spark是一个快速、通用的大规模数据处理引擎,它提供了高效的分布式计算能力,支持批处理、流处理、机器学习、图计算等多种数据处理模式。Spark的设计理念是”速度、易用性和通用性”,它通过内存计算和优化的执行计划,大大提高了数据处理的效率。
Spark的核心特性
速度:Spark的内存计算能力使得它比传统的MapReduce快100倍以上,即使在磁盘上也能快10倍以上。
易用性:Spark提供了丰富的API,支持Java、Scala、Python和R等多种编程语言,同时还提供了Spark SQL、MLlib、GraphX和Spark Streaming等高级库。
通用性:Spark支持多种数据处理模式,包括批处理、流处理、机器学习、图计算等,可以在同一个应用中组合使用这些模式。
可扩展性:Spark可以扩展到数千个节点,处理PB级的数据。
容错性:Spark通过RDD(弹性分布式数据集)的设计,提供了内置的容错机制。
Spark的实际应用场景Spark作为一个通用的大数据处理引擎,在企业级应用中有着广泛的应用场景:
数据仓库:使用Spa ...
nacos安装及使用
一.Nacos基本介绍Nacos是阿里巴巴开源的一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。它提供了服务注册发现、配置管理和服务管理三大功能,为微服务架构提供了完整的解决方案。
Nacos的核心功能
服务发现与服务健康检查:支持基于DNS和基于RPC的服务发现,提供实时的服务健康检查,防止向不健康的服务实例发送请求。
动态配置服务:集中管理所有环境的应用配置,支持配置的版本管理、灰度发布、一键回滚等功能。
动态DNS服务:支持权重路由,实现更灵活的流量控制。
服务及其元数据管理:支持服务的CRUD操作,管理服务的元数据,如服务版本、服务所属团队等。
Nacos的实际应用场景Nacos作为微服务架构的核心组件,在企业级应用中有着广泛的应用场景:
微服务注册与发现:作为服务注册中心,管理微服务实例的注册和发现。
配置中心:集中管理微服务的配置信息,实现配置的动态更新。
服务治理:通过服务健康检查、流量控制等功能,实现服务的治理。
多环境管理:支持多环境配置的管理,如开发、测试、生产环境。
灰度发布:支持配置的灰度发布,降低发布风险。
个人见解:N ...
springcloud+spring security oauth2+jwt实现单点登录
一、SSO基本介绍 SSO(Single Sign-On,单点登录)是身份管理中的一部分。SSO的一种较为通俗的定义是:SSO是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。它包括可以将这次主要的登录映射到其他应用中用于同一个用户的登录的机制。它是目前比较流行的企业业务整合的解决方案之一。 相关技术主要有:spring security ,shiro
SSO的实际应用场景SSO作为一种身份认证机制,在企业级应用中有着广泛的应用场景:
企业内部系统:企业内部通常有多个系统,如ERP、CRM、OA等,使用SSO可以让员工只需要登录一次就可以访问所有系统。
多应用集成:当企业需要集成多个第三方应用时,SSO可以提供统一的身份认证机制。
SaaS应用:SaaS提供商通常需要为多个客户提供服务,SSO可以让客户使用自己的企业账号登录。
移动应用:移动应用需要与后端系统进行交互,SSO可以提供统一的身份认证机制。
个人见解:SSO的技术价值SSO的出现为企业级应用提供了一种统一的身份认证机制,其技术价值主要体现在:
提高用户体验:用户只需要登录一次就可以访问所 ...
阿里微服务开发相关介绍
一、微服务基本介绍微服务 - 也被称为微服务架构 - 是一种架构风格,它是使一个整合了业务功能的程序成为一个松耦合服务的架构。微服务架构使大型的,复杂的应用程序,可以连续快速的实现和部署。另外,它也使得企业可以发展自己的技术栈体系。
微服务不是银弹微服务架构不是银弹,它有几个缺点。此外,采用这种架构的时候,你必须解决许多问题。微服务架构模式语言是一系列实现微服务架构模式的集合。 它有两个目标:1,模式语言使您能够决定微服务是否一个非常适合你的应用程序。2,模式语言使您能够成功使用微服务架构。
阿里微服务生态系统阿里巴巴作为国内领先的互联网公司,在微服务领域有着丰富的实践经验和完整的技术生态。阿里微服务生态系统主要包括以下组件:
Nacos:服务注册发现和配置中心,提供了服务管理、配置管理和动态DNS服务。
Sentinel:流量控制、熔断降级和系统保护,提供了实时监控和规则配置。
Seata:分布式事务解决方案,支持AT、TCC、SAGA等多种事务模式。
Dubbo:高性能RPC框架,支持服务治理、负载均衡等功能。
RocketMQ:分布式消息队列,提供了高可靠、高吞吐量的消息服务。 ...
hadoop基本介绍和安装使用
一.hadoop基本介绍Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最重要的是底层用于存储集群中所有存储节点文件的文件系HDFS(Hadoop Distributed File System)和上层用来执行MapReduce程序的MapReduce引擎
zookeeper安装使用及集群搭建
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的实际应用场景ZooKeeper作为分布式协调服务,在企业级应用中有着广泛的应用场景:
服务注册与发现:作为服务注册中心,管理微服务实例的注册和发现。
配置管理:集中管理分布式应用的配置信息,实现配置的动态更新。
分布式锁:实现分布式环境下的互斥访问,保证数据一致性。
领导者选举:在分布式系统中选举出一个领导者,负责协调其他节点的工作。
分布式队列:实现分布式环境下的队列功能,保证消息的顺序处理。
命名服务:为分布式系统中的资源提供唯一的命名标识。
个人见解:ZooKeeper的技术价值ZooKeeper的出现为分布式系统提供了一种可靠的协调服务,其技术价值主要体现在:
简化分布式协调:ZooKeeper提供了一套简单而强大的API,简化了分布式协调的实现。
保证数据一致性:通过ZAB(ZooKeep ...
minio安装及集群搭建
Minio 是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口,可以看做是是S3的开源版本,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。
Minio的实际应用场景Minio作为轻量级的对象存储服务,在企业级应用中有着广泛的应用场景:
媒体文件存储:存储和管理图片、视频、音频等媒体文件,支持高并发访问。
备份与归档:作为数据备份和归档的存储解决方案,提供高可靠性和安全性。
容器镜像存储:作为Docker、Kubernetes等容器技术的镜像仓库。
日志存储:存储应用程序和系统的日志文件,方便后续分析和查询。
数据湖:作为数据湖的存储底层,支持大数据分析和处理。
边缘计算:在边缘设备上部署Minio,实现边缘数据的本地存储和处理。
个人见解:Minio的技术价值Minio的出现为企业级对象存储提供了一种轻量级、高性能的解决方案,其技术价值主要体现在:
高性能:基于Go语言开发,具有出色的性能表现,适合处理高并发请求。
易于部署:安装和配置 ...
Hexo博客主题yilia集成utterances评论
一、Utterances基本介绍Utterances是一款基于GitHub Issues的轻量级评论工具,它允许用户使用GitHub账号登录并发表评论。Utterances的特点包括:
极其轻量:Utterances的脚本大小不到100KB,加载速度非常快。
基于GitHub Issues:评论存储在GitHub Issues中,无需搭建额外的数据库。
支持Markdown:支持Markdown语法,方便用户发表格式化的评论。
支持代码高亮:支持代码块的语法高亮,适合技术博客。
支持多种主题:提供多种主题,适应不同网站的风格。
配置简单:配置过程非常简单,只需要几个步骤就可以完成。
二、Utterances的实际应用场景Utterances作为一种评论系统,在以下场景中特别适用:
技术博客:技术博客的读者通常都有GitHub账号,使用Utterances可以方便他们发表评论。
个人网站:个人网站使用Utterances可以减少服务器的负担,无需搭建额外的评论系统。
开源项目:开源项目的文档网站使用Utterances可以让用户直接通过GitHub账号发表评论,方便项目维护者与 ...
Hexo博客主题yilia集成Gitment评论
一、Gitment基本介绍Gitment是一个基于GitHub Issues的评论系统,它允许用户使用GitHub账号登录并发表评论。Gitment的特点包括:
基于GitHub Issues:评论存储在GitHub Issues中,无需搭建额外的数据库。
支持Markdown:支持Markdown语法,方便用户发表格式化的评论。
支持代码高亮:支持代码块的语法高亮,适合技术博客。
支持评论通知:用户可以收到评论回复的通知。
支持多语言:支持多种语言,包括中文。
二、Gitment的实际应用场景Gitment作为一种评论系统,在以下场景中特别适用:
技术博客:技术博客的读者通常都有GitHub账号,使用Gitment可以方便他们发表评论。
个人网站:个人网站使用Gitment可以减少服务器的负担,无需搭建额外的评论系统。
开源项目:开源项目的文档网站使用Gitment可以让用户直接通过GitHub账号发表评论,方便项目维护者与用户交流。
静态网站:静态网站无法使用传统的评论系统,Gitment作为基于GitHub Issues的评论系统,非常适合静态网站。
三、Gitm ...
