数据的力量:构筑现代大型网站之数据库基础与应用

news2025/3/13 17:15:12

目录

数据库基础知识--前言

大型网站架构特点

DBA数据库管理员

什么是数据?

数据存储

什么是数据库

数据表的概念

为什么需要mysql这样的数据库管理工具?★

DBMS

收费数据库与免费数据库

运维和数据库

开发与运维的不同阶段

数据库类别

数据库具体应用场景

相亲网

友情提醒


数据库基础知识--前言

大型网站架构特点

和传统企业应用系统相比,大型网站系统具备如下特点:

  • 高并发,大流量:需要扛得住高并发,大流量的用户访问。Google日均PV数35亿,日均IP访问数3亿;腾讯QQ同时在线用户数过亿;淘宝双11当天活动交易额过百亿,活动开始的第一分钟独立访问用户数达千万。

  • 高可用:网站系统需要7*24小时不间断提供服务,大型网站的宕机事件通常都会成为新闻焦点,例如百度域名曾被黑客劫持无法访问。

  • 海量数据,高可用数据库:需要存储,管理海量数据,使用大量的服务器。

  • 世界各地用户分布广泛,网络环境复杂:大型网站都是为全球用户提供服务,全球各地网络环境千差万别,即使国内也有多个运营商网络互通难的问题,面对海外用户还得假设海外数据中心。

  • 服务器安全问题:互联网的开放性,很容易受到黑客攻击,需要保护服务器安全,保证数据安全。

  • 需求快速变更,发布频繁:和传统应用比较不同,互联网产品为了快速满足市场需求,产品发布率很高,一天内网站发布几十次已是正常。

  • 渐进式发展:即使是世界级大型网站,也都是由小型架构慢慢演变而来,如阿里巴巴本是在马云家中客厅诞生。

总的来说,大型网站的架构特点要求数据库必须具备高性能、高可用性、可扩展性和安全性。这些要求直接影响了数据库的选择、设计和优化策略。

DBA数据库管理员

数据库管理员(Database Administrator,简称DBA),是从事管理和维护数据库管理系统(DBMS)的相关工作人员的统称,属于运维工程师的一个分支,主要负责业务数据库从设计、测试到部署交付的全生命周期管理。

DBA的核心目标是保证数据库管理系统的稳定性、安全性、完整性和高性能。

在国外,也有公司把DBA称作数据库工程师(Database Engineer),两者的工作内容基本相同,都是保证数据库服务7*24小时的稳定高效运转,但是需要区分一下DBA和数据库开发工程师(Database Developer):

  1. 数据库开发工程师的主要职责是设计和开发数据库管理系统和数据库应用软件系统,侧重于软件研发;

  2. DBA的主要职责是运维和管理数据库管理系统,侧重于运维管理。

毋庸置疑,所有互联网网站最头的瓶颈就是企业的后端数据库,而MSQL更是重中之重,谁掌握了数据库技术,谁就能轻松拿到高薪,并且数据库管理岗位比其他岗位更受企业重视,因为数据安全是企业最重要的生命线,没有之一。

并且数据库又分为很多种,包括关系型数据库,缓存数据库,我们重点学习的是企业里最常用的

  • mysql,mariadb

  • redis

什么是数据?

数据就是数值,也就是我们通过观察、实验或计算得出的结果。

数据有很多种,最简单的就是数字

数据也可以是文字、图像、声音等

我们打游戏最怕什么?最怕被盗号,怕自己的账号,密码丢失。

打游戏时候,腾讯为了保护大家的账号安全,提供了密保卡,进行坐标验证登录。

数据存储

很早很早以前,古人是这么存数据的

结绳、契刻、结珠、石头替代法等等,如今纸张是人们广泛使用的信息载体。但是书籍不便于查询、共享、储藏等缺点。

随着计算机的发展,人们将信息转化为二进制数字,存储在磁性存储介质中,也就是磁盘进行数据记录。数据通过文件系统管理,以文件形式显示出来。

但是大量的文件数据,查询内容,还是很不方便。

在这个背景下,一个专门用于数据管理的工具诞生了,它能让我们更简单的管理数据。

什么是数据库

顾名思义,数据库(DB,database)按照数据结构来组织、存储和管理数据的“仓库”,是一个文件或者一组文件。

是数据库中存储数据的基本单位,数据按照分类存储在不同的 表 中,便于查询。

数据库可以通过统一的一些指令对数据进行增、删、改、查(Create,Retrive,Updata,Delete)等操作例

如财务人员使用Excel统计公司资产信息,进行管理,计算账户,Excel是微软推出的一款电子表格软件,提供计算和图标展示。

数据表的概念

数据表可以有很多,存储不同的信息 也就是不同的数据,分别写在不同的数据表中,也就是table的概念,可以理解为excel的表格。

如图:

Excel很强大,但是对于企业来说,业务需求庞大,用Excel可能会有成千上万张,并且存储管理很麻烦,员工和客户想要实时知道企业数据,不可能把一个巨大无比的Excel发送给用户。

因此数据库软件应运而生,

为什么需要mysql这样的数据库管理工具?

因为

  • excel表格难以保存,容易丢失,损坏等等

  • 难以进行复杂的查询,比如多张表的连接查询

DBMS

数据库管理系统Database Management System,数据库管理系统

这一软件用于创建和操作数据库。

主流数据库软件,如Mysal(免费),Oracle(收费,甲骨文公司),Microsoft SQL Server、SQLite (轻型)等。

mysql主要用于大型门户,例如搜狗、新浪等,它主要的优势就是开放源代码,因为开放源代码这个数据库是免费的,他现在是甲骨文公司的产品。

oracle主要用于银行、铁路、飞机场等。该数据库功能强大,软件费用高。也是甲骨文公司的产品。

sql server是微软公司的产品,主要应用于大中型企业,如联想、方正等。

收费数据库与免费数据库

收费数据库与免费数据库在多个方面存在差异,以下是一些主要区别:

1.成本

  • 免费数据库通常是开源的,用户可以免费下载和使用,不需要支付授权费用。例如,MySQL和PostgreSQL都是广泛使用的免费数据库。

  • 收费数据库则需要用户购买使用授权,通常会根据服务器数量、处理器数量或使用的用户数量等来计算费用。

2.支持和维护

  • 免费数据库虽然可以免费使用,但用户需要自行负责数据库的维护和支持。虽然通常有社区支持和文档资源,但可能没有及时的技术支持服务。

  • 收费数据库一般会提供专业的技术支持和维护服务,这对于商业环境中对稳定性和安全性要求较高的应用场景来说非常重要。

3.功能和性能

  • 免费数据库通常具备基本的功能和性能,适合个人学习、开发测试或小型项目使用。

  • 收费数据库可能提供更多高级功能,如数据仓库、高可用性、灾难恢复等,并且可能提供更好的性能优化和扩展能力。

4.定制和灵活性

  • 免费数据库由于是开源的,用户可以根据自己的需求进行定制开发。

  • 收费数据库可能提供更灵活的定制选项,以满足特定的业务需求。

5.社区和生态系统

  • 免费数据库通常拥有活跃的社区,用户可以从社区中获得帮助和资源。

  • 收费数据库可能有更专业的用户群体和合作伙伴网络。

6.风险和责任

  • 使用免费数据库时,所有的维护和问题解决责任都在用户自己,而收费数据库通常由供应商提供保障和服务。

总的来说,免费数据库对于成本敏感和非关键应用是一个不错的选择,而收费数据库则更适合那些需要专业支持、高级功能和高度可靠性的商业环境。在选择数据库时,应根据项目的具体需求、预算和技术能力来决定使用哪种类型的数据库。

数据库,简而言之就是有组织的存储数据的一个仓库(本质就是文件信息管理)。

如同冰箱存储食物,衣柜存放衣物。我们每天登陆QQ,微信,查询支付宝余额,银行卡余额,都是软件去读取查找数据库记录。

日常生活,我们一直一直在使用数据库管理软件,譬如电话簿里找名字,百度搜索"如何变有钱"也是在用数据库。

运维和数据库

说白了,数据库就是存数据的,是一款软件,用专门的数据库语言,增删改查数据。

这就好比我们平时对电脑里的数据管理

  • 多个文件夹,分类管理。

  • 文件夹里的文件,数据,照片,视频,游戏

我们在公司里,和开发对接,对数据进行管理 数据库的形式 自己在linux上,直接安装,例如下图,数据都在linux机器磁盘上,运维自己管理

云服务器RDS产品(数据库安装在阿里巴巴的服务器上,我们通过账号密码,远程使用)

开发与运维的不同阶段

数据库类别

目前主流数据库软件,分为两种

  • 关系型数据库

  • 非关系型数据库

为何出现这2种类型数据库

  • web1.0时代,互联网发展慢,基本只是企业提供网站,用户浏览资料,上网的人还少,互联网还没那么多复杂的功能,网站压力很轻,因此mysql轻松干活

  • 随着互联网Web2.0、Web3.0网站的兴起,传统的关系型数据库在应付这些网站,特别是对于规模日益扩大的海量数据,超大规模和高并发的微博、微信等类型的动态网站时已经显得力不从心,暴露了很多难以克服的问题,例如,传统关系型数据库的I/0瓶颈、性能瓶颈等都难以有效突破。于是出现了大批针对特定场景,以高性能、高并发以及使用便利为目的的功能特异化的数据库产品

  • NoSQL出现,专注于解决高并发场景,大流量的场景,解决部分数据存读写的性能问题

  • 非关系型数据库就是在这样的情景中诞生并得到非常迅速发展的。在这些特定的场景下,NOSQL数据库可以发挥出难以想象的高效率和高性能。近年来,NOSQL这个术语得到了广泛认同。

数据库具体应用场景

相亲网

譬如网站的注册登录功能,正确流程是,注册成功->可以登录。

工程师就要检测在注册成功后,检查数据库是否正确保留了信息。

如百合网的登录页面:

比如我想找个女朋友,果断去注册一个账号。。

以上数据,如果用Excel管理,存储每一条记录如下

如用数据库管理软件(mysql),如下

友情提醒

数据库方面知识,主要以运维、开发分为两个方向,不同的方向所重点学习的内容不一样

  • 运维人员,主要是对数据库架构、设计、维护

    • 单实例、多实例

    • SQL语句基础CURD学习、权限管理

    • 字符集、数据库引擎

    • 备份方案

    • 复制方案

    • 高可用方案

  • 开发人员,主要是对数据进行设计、开发

    • 针对业务进行数据库设计、表结构设计

    • 高性能索引

    • 视图

    • 存储过程

    • 函数

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1453657.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构第十六天(二叉树层序遍历/广度优先搜索(BFS)/队列使用)

目录 前言 概述 接口 源码 测试函数 运行结果 往期精彩内容 前言 从前的日色变得慢,车,马,邮件都慢,一生,只够爱一个人。 概述 二叉树的层序遍历可以使用广度优先搜索(BFS)来实现。具体步骤如下&…

Open CASCADE学习|布尔运算后消除内部拓扑

在CAD建模中,布尔运算是一种逻辑运算方法,通过这种方法,可以创建、修改或组合几何对象。布尔运算主要包括并集(UNION)、交集(INTERSECT)和差集(SUBTRACT)三种运算。 并集…

React18原理: React核心对象之ReactElement对象和Fiber对象

React中的核心对象 在React应用中,有很多特定的对象或数据结构.了解这些内部的设计,可以更容易理解react运行原理列举从react启动到渲染过程出现频率较高,影响范围较大的对象,它们贯穿整个react运行时 如 ReactElement 对象如 Fi…

「函数小课堂」~(C语言)

先赞后看,不足指正! 这将对我有很大的帮助! 所属专栏:C语言知识 阿哇旭的主页:Awas-Home page 目录 引言 1. 函数的概念 2. 函数的类型 2.1 库函数 2.2 自定义函数 2.2.1 语法 2.2.2 举例 3. 函数的参数 3.1 实参 3.2 形参…

International Marine Purchasing Association 7(IMPA7)

​IMPA7物料 物料手持下载链接:https://pan.baidu.com/s/13m0EELpEZWlL55UhsRvI5g?pwd8888 提取码:8888 国际船舶物料准则International Marine Purchasing Association 7(IMPA7)。 IMPA是英文“International Marine Purchasing Association”缩写…

vue-vuex(七)

阅读文章你可以收获: 1 了解什么是vuex 2 知道如何在vue项目中集成vuex 3 知道vuex由什么组成,并如何使用 vuex概述 1. 是什么:vuex 是一个 vue 的 状态管理工具,状态就是数据。 大白话:vuex 是一个插件&#xff0…

Swing程序设计(10)列表框,文本框,文本域,密码框

文章目录 前言一、列表框二、文本框(域) 1.文本框2.文本域三、密码框总结 前言 该篇文章简单介绍了Java中Swing组件里的列表框、文本框、密码框。 一、列表框 列表框(JList)相比下拉框,自身只是在窗体上占据固定的大小…

CSS概述 | CSS的引入方式 | 选择器

文章目录 1.CSS概述2.CSS的引入方式2.1.内部样式表2.2.行内样式表2.3.外部样式表 3.选择器 1.CSS概述 CSS,全称Cascading Style Sheets(层叠样式表),是一种用来设置HTML(或XML等)文档样式的语言。CSS的主要…

文件夹删不掉,显示在另一个文件中打开怎么办

问题: 一、想要删掉这个文件夹,却因为文件夹中的文件打开了删不掉,这里我因为做的测试,所以是知道打开了什么 二、一般情况下文件比较多时,是不知道打开了什么的,长这个样子 解决: 一、打开任…

【C Primer Plus第六版 学习笔记】 第十七章 高级数据表示

有基础&#xff0c;进阶用&#xff0c;个人查漏补缺 链表&#xff1a;假设要编写一个程序&#xff0c;让用户输入一年内看过的所有电影&#xff0c;要储存每部影片的片名和评级。 #include <stdio.h> #include <stdlib.h> /* 提供malloc()的原型 */ #include <s…

数据结构之时空复杂度

一、前言 1&#xff09;什么是数据结构 数据结构(Data Structure)是计算机存储、组织数据的方式&#xff0c;指相互之间存在一种或多种特定关系的数据元素的 集合。 2&#xff09;什么是算法 算法(Algorithm):就是定义良好的计算过程&#xff0c;他取一个或一组的值为输入&am…

Faithful Vision-Language Interpretation via Concept Bottleneck Models (FVLC)

本篇文章发表于ICLR 2024。 文章链接&#xff1a;https://openreview.net/attachment?idrp0EdI8X4e&namepdf 一、概述 这篇文章也是CBMs“大家庭”的一员。众所周知&#xff0c;CBMs需要大量的人工annotation&#xff0c;Label-Free CBM借用pre-trained多模态模型自动生…

Oracle 基础入门指南

一、什么是Oracle&#xff1f; Oracle是一款由美国Oracle公司开发的关系型数据库管理系统。它支持SQL查询语言&#xff0c;并提供了丰富的功能和工具&#xff0c;用于管理大规模数据存储、处理和访问。Oracle被广泛应用于企业级应用中&#xff0c;包括金融、电信、零售等各行各…

Ubuntu Desktop - Details (设备详情)

Ubuntu Desktop - Details [设备详情] 1. OverviewReferences 1. Overview System Settings -> Details -> Overview ​ References [1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/

人力资源智能化管理项目(day10:首页开发以及上线部署)

学习源码可以看我的个人前端学习笔记 (github.com):qdxzw/humanResourceIntelligentManagementProject 首页-基本结构和数字滚动 安装插件 npm i vue-count-to <template><div class"dashboard"><div class"container"><!-- 左侧内…

Code Composer Studio (CCS) - Comment (注释)

Code Composer Studio [CCS] - Comment [注释] References Add Block Comment: 选中几行代码 -> 鼠标右键 -> Source -> Add Block Comment shortcut key: Ctrl Shift / Remove Block Comment: 选中几行代码->鼠标右键->Source->Remove Block Comment s…

AD高速板常见问题和过流自锁

可以使用电机减速器来增大电机的扭矩&#xff0c;低速运行的步进电机更要加上减速机 减速电机就是普通电机加上了减速箱&#xff0c;这样便降低了转速增大了扭矩 HDMI布线要求&#xff1a; 如要蛇形使其等长&#xff0c;不要在HDMI的一端绕线。 HDMI走线时两边拉线&#xff0…

2023年中国数据智能管理峰会(DAMS上海站2023):核心内容与学习收获(附大会核心PPT下载)

随着数字经济的飞速发展&#xff0c;数据已经渗透到现代社会的每一个角落&#xff0c;成为驱动企业创新、提升治理能力、促进经济发展的关键要素。在这样的背景下&#xff0c;2023年中国数据智能管理峰会&#xff08;DAMS上海站2023&#xff09;应运而生&#xff0c;汇聚了众多…

如何清除谷歌浏览器的缓存?这里有详细步骤

如果你想解决加载或格式化问题&#xff0c;以改善你在谷歌Chrome上的浏览体验&#xff0c;那么清除缓存和cookie是一个很好的开始。以下是删除它们的方式和操作。 删除缓存和cookie时会发生什么 当你访问一个网站时&#xff0c;它有时会保存&#xff08;或记住&#xff09;某…

自然语言编程系列(三):自然语言编程工具

自然语言编程工具尝试让用户以更接近日常对话的方式描述任务&#xff0c;然后将其自动转换成合适的代码。 自然语言编程工具&#xff08;Natural Language Programming, NLP&#xff09;旨在降低编程门槛&#xff0c;使得不具备传统编程技能的用户能够以他们习惯的日常对话方式…