Linux MySQL 索引 事务 存储引擎 死锁

news2024/12/29 17:39:22

索引(面试问得多)

索引是一个排序的列表,包含索引字段的值和其相对应的行数据所在的物理地址

作用

加快表的查询速度,还可以对字段排序

如何实现的搜索加速?

没有索引的情况下,要查询某行数据,需要先扫描全表来定位某行数据
有索引后会通过查找条件的字段值找到其索引对应的行数据的物理地址,然后根据物理地址访问相应的数据

副作用

会额外占用磁盘空间,更新包含索引的表效率会更慢

创建索引的依据(面试题)

1)表中的记录行数较多时,一般超过300行的表建议要有索引(看公司要求)
2)建议在 表中的主键字段、外键字段、多表连接使用的字段、唯一性较好的字段,不经常更新的字段、经常出现在where、group by、order by 子语句的字段、小字段 创建索引
3)不建议在 唯一性较差的字段、更新太频繁的字段、大文本字段 上创建索引


创建索引 (面试常问)

使用此表作为索引创建实例

create table member (id int(10),name varchar(10),cardid int(18),phone int(11),address varchar(50),remark text);

(1)普通索引

最基本的索引类型,没有唯一性之类的限制。

create index 索引名 on 表名 (字段[length]);
CREATE TABLE 表名 ( 字段1 数据类型,字段2 数据类型[,...],INDEX 索引名 (列名));
alter table 表名 add index 索引名 (字段[length]);

(字段(length)):length是可选项。
如果忽略 length 的值,则使用整个列的值作为索引。
如果指定,使用列的前 length 个字符来创建索引,这样有利于减小索引文件的大小。
在不损失精确性的情况下,长度越短越好。

●直接创建索引

create index name_index on member (name);
#索引名建议以“_index”结尾。

●创建表的时候指定索引

CREATE TABLE 表名 ( 字段1 数据类型,字段2 数据类型[,...],INDEX 索引名 (列名));

●修改表方式创建

ALTER TABLE 表名 ADD INDEX 索引名 (列名);

(2)唯一索引

与普通索引类似,但区别是唯一索引列的每个值都唯一。唯一索引允许有空值(注意和主键不同)。如果是用组合索引创建,则列值的组合必须唯一。添加唯一键将自动创建唯一索引。

●直接创建唯一索引

create unique index 索引名 on 表名 (字段);
create unique index cardid_index on member(cardid);

●修改表方式创建

alter table 表名 add unique 索引名 (字段);

●创建表的时候指定

CREATE TABLE 表名 (字段1 数据类型,字段2 数据类型[,...],UNIQUE 索引名 (字段));

(3)主键索引

是一种特殊的唯一索引,必须指定为“PRIMARY KEY”。一个表只能有一个主键,不允许有空值。 添加主键将自动创建主键索引。

●创建表的时候指定

CREATE TABLE 表名 ([...],PRIMARY KEY (字段));

●修改表方式创建

alter table 表名 add primary key (字段);
alter table member add primary key (id);

(4)组合索引(单列索引与多列索引)

可以是单列上创建的索引,也可以是在多列上创建的索引。需要满足最左原则,因为 select 语句的 where 条件是依次从左往右执行的,所以在使用 select 语句查询时 where 条件使用的字段顺序必须和组合索引中的排序一致,否则索引将不会生效。

●直接创建组合索引

create index 索引名 on 表名 (字段1, 字段2, 字段3);

●修改表方式创建 

alter table 表名 add index 索引名 (字段1, 字段2, 字段3);

 ●创建表的时候指定

CREATE TABLE 表名 (列名1 数据类型,列名2 数据类型,列名3 数据类型,INDEX 索引名 (列名1,列名2,列名3));

使用组合索引的注意点

select * from 表名 where 列名1='...' AND 列名2='...' AND 列名3='...';
 
用 and 做条件逻辑运算符时,要创建组合索引且要满足最左原则,注意组合索引字段的顺序
例如 
select * from xue where name='zhangsan' and  sex='man' 
需要创建create unique index index_sex_name on xue (name,sex);  而不是(sex, name)
select * from xue where sex='man' and name='zhangsan' 
需要创建create unique index index_sex_name on xue (sex, name);  而不是(name,sex)


用 or 做条件逻辑运算符时,所有字段都要创建索引 
例如 
select * from xue where sex='man' or name='zhangsan' 
需要创建create index index_name on xue (name)
需要创建create index index_sex on xue (sex)

(5)全文索引(FULLTEXT)

适合在进行模糊查询的时候使用,可用于在一篇文章中检索文本信息。在 MySQL5.6 版本以前
FULLTEXT 索引仅可用于 MyISAM 引擎,在 5.6 版本之后 innodb 引擎也支持 FULLTEXT 索引。全文索引可以在 CHAR、VARCHAR 或者 TEXT 类型的列上创建。


●直接创建索引

create fulltext index 索引名 on 表名 (字段);

●修改表方式创建

alter table 表名 add fulltext 索引名 (字段);
alter table member add fulltext remark_index (remark);

●创建表的时候指定索引

CREATE TABLE 表名 (字段1 数据类型[,...],FULLTEXT 索引名 (字段));
#数据类型可以为 CHAR、VARCHAR 或者 TEXT

●使用全文索引查询(模糊查询)

select ... from 表名 where match(字段) against('查询内容');

insert into member values(1,'zhangsan',123123,123123,'nanjing','this is member!');
insert into member values(2,'lisi',456456,456456,'beijing','this is vip!');
insert into member values(3,'wangwu',789789,78979,'shanghai','this is vip member!');
select * from member where match(remark) against('vip');

6.查看索引

show create table 表名;
show index from 表名;
show keys from 表名;

  

各字段的含义如下
Table:表的名称。
Non_unique:如果索引不能包括重复词,则为 0;如果可以,则为 1。
Key_name:索引的名称。
Seq_in_index:索引中的列序号,从 1 开始。
Column_name:列名称。
Collation:列以什么方式存储在索引中。在 MySQL 中,有值‘A’(升序)或 NULL(无分类)。
Cardinality:索引中唯一值数目的估计值。
Sub_part:查看字段指定的显示长度。例如char(4)。字符类型有效,int(4)整数类型无效。如果整列被编入索引,则为 NULL。
Packed:指示关键字如何被压缩。如果没有被压缩,则为 NULL。
Null:如果列含有 NULL,则含有 YES。如果没有,则该列含有 NO。
Index_type:用过的索引方法(BTREE, FULLTEXT, HASH, RTREE)。
Comment:备注。

7.删除索引

●直接删除索引

drop index 索引名 on 表名;

●修改表方式删除索引

alter table 表名 drop index 索引名;

●删除主键索引

alter table 表名 drop primary key;

案例

比如为某商场做一个会员卡的系统。这个系统有一个会员表,有下列字段:

会员编号                    INT
会员姓名                    VARCHAR(10)
会员身份证号码              INT(18)
会员电话                    INT(11)
会员住址                    VARCHAR(50)
会员备注信息                TEXT
create table member (id int(10),name varchar(10),cardid varchar(10),phone int(11),address varchar(50),remark text);

alter table member add primary key (id);
会员编号,作为主键,自动排序切不允许重复

create index name_index on member (name);
会员姓名,如果要建索引的话,那么就是普通的 INDEX

create unique index cardid_index on member(cardid);
会员身份证号码,如果要建索引的话,那么可以选择 UNIQUE (唯一的,不允许重复)

会员备注信息,如果需要建索引的话,可以选择 FULLTEXT,全文搜索。
alter table member add fulltext remark_index (remark);
不过 FULLTEXT 用于搜索很长一篇文章的时候,效果最好。用在比较短的文本,如果就一两行字的,普通的 INDEX 也可以。

explain命令分析索引

使用explain命令分析select语句是否使用索引,或是检验组合索引是否写对了

explain select * from xue where id=10000
可以用于分析select查询语句,看key字段,确定是否使用了索引或索引使用是否正确

有些select命令,例如like模糊查询,就算设置了索引也不会用,还是全部扫描一遍

select查找速度慢怎么办(面试题)?

加上explain查看是否使用了索引,没有就alter添加索引


MySQL事务

事务是一种机制。就是一组操作序列(包含1个或者多个操作命令),事务会把所有操作命令看作一个整体向系统提交或撤销操作,所有操作命令要么都执行,要么都不执行,它是一个不可分割的工作单位。

事务ACID(面试问得多)

ACID,是指在可靠数据库管理系统(DBMS)中,事务(transaction)应该具有的四个特性:

原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。

这是可靠数据库所应具备的几个特性。

原子性事务管理的基础。把事务中的所有操作看作是一个不可分割的工作单元,要么都执行,要么都不执行
一致性事务管理的目的。保证事务开始前和事务结束后数据的完整和一致
隔离性事务管理的手段。使多个事务并发操作同一个表数据时,每个事务都有各自的独立数据空间,可通过隔离级别解决不同的一致性问题
持久性事务管理的结果。当事务被提交以后,事务中的操作命令修改的结果会被持久保存,且不会被回滚

●原子性

指事务是一个不可再分割的工作单位,事务中的操作要么都发生,要么都不发生。
事务是一个完整的操作,事务的各元素是不可分的。
事务中的所有元素必须作为一个整体提交或回滚。
如果事务中的任何元素失败,则整个事务将失败。

案例:A给B转帐100元钱的时候只执行了扣款语句,就提交了,此时如果突然断电,A账号已经发生了扣款,B账号却没收到加款,在生活中就会引起纠纷。这种情况就需要事务的原子性来保证事务要么都执行,要么就都不执行。

●一致性

指在事务开始之前和事务结束以后,数据库的完整性约束没有被破坏。
当事务完成时,数据必须处于一致状态。
在事务开始前,数据库中存储的数据处于一致状态。
在正在进行的事务中,数据可能处于不一致的状态。
当事务成功完成时,数据必须再次回到已知的一致状态。

案例:对银行转帐事务,不管事务成功还是失败,应该保证事务结束后表中A和B的存款总额跟事务执行前一致。

●隔离性

指在并发环境中,当不同的事务同时操纵相同的数据时,每个事务都有各自的完整数据空间。
对数据进行修改的所有并发事务是彼此隔离的,表明事务必须是独立的,它不应以任何方式依赖于或影响其他事务。
修改数据的事务可在另一个使用相同数据的事务开始之前访问这些数据,或者在另一个使用相同数据的事务结束之后访问这些数据。
也就是说并发访问数据库时,一个用户的事务不被其他事务所干扰,各并发事务之间数据库是独立的。

●持久性

在事务完成以后,该事务所对数据库所作的更改便持久的保存在数据库之中,并不会被回滚。
指不管系统是否发生故障,事务处理的结果都是永久的。
一旦事务被提交,事务的效果会被永久地保留在数据库中。


总结:在事务管理中,原子性是基础,隔离性是手段,一致性是目的,持久性是结果。

隔离性——不一致现象

在多个事务并发操作同一个表数据时,不同的隔离级别可能会出现的一致性问题

脏读一个事务可以看到另一个事务没有提交的修改数据
不可重复读在一个事务里的两次查询会看到数据不一致的情况,这种情况可能因为两次查询过程中间有其它事务修改了数据并已提交
幻读在一个事务里的两次查询会看到数据不一致的情况(可能是发现之前没有的数据),这种情况可能因为两次查询过程中间有其它事务插入了新的数据并已提交
丢失更新一个事务修改数据并提交可能会覆盖另一个事务修改和提交的数据 

脏读

当一个事务正在访问数据,并且对数据进行了修改,而这种修改还没有提交到数据库中,这时,另外一个事务也访问这个数据,然后使用了这个数据。
不可重复读

指在一个事务内,多次读同一数据。在这个事务还没有结束时,另外一个事务也访问该同一数据。

那么,在第一个事务中的两次读数据之间,由于第二个事务的修改,那么第一个事务两次读到的的数据可能是不一样的。

这样就发生了在一个事务内两次读到的数据是不一样的,因此称为是不可重复读。(即不能读到相同的数据内容)
幻读

一个事务对一个表中的数据进行了修改,这种修改涉及到表中的全部数据行。

同时,另一个事务也修改这个表中的数据,这种修改是向表中插入一行新数据。

那么,操作前一个事务的用户会发现表中还有一个没有修改的数据行,就好象发生了幻觉一样。
丢失更新

两个事务同时读取同一条记录,A先修改记录,B也修改记录(B不知道A修改过),B提交数据后B的修改结果覆盖了A的修改结果。

隔离性——隔离级别

事务的隔离级别决定了事务之间可见的级别。

MySQL事务支持如下四种隔离,用以控制事务所做的修改,并将修改通告至其它并发的事务:

隔离级别脏读不可重复读幻读
未提交读 Read Uncommitted RU 【最低隔离】
提交读   Read Committed   RC×
可重复读 Repeatable Read  RR××InnoDB ×,others √
串行读   Serializable (相当于表级锁定,会影响数据库读写效率和性能)【最高隔离】×××


未提交读(Read Uncommitted(RU)

不做任何隔离操作
允许脏读,即允许一个事务可以看到其他事务未提交的修改。

提交读        Read Committed(RC)             ---Oracle和SQL Server默认的隔离级别

会话2未提交的修改会话1不可见
允许一个事务只能看到其他事务已经提交的修改,未提交的修改是不可见的。防止脏读。

可重复读        Repeatable Read(RR)        ---mysql默认的隔离级别

不允许会话2更改会话1正在操作的那行数据
确保如果在一个事务中执行两次相同的SELECT语句,都能得到相同的结果,不管其他事务是否提交这些修改。可以防止脏读和不可重复读。

串行读        Serializable                                 ---相当于锁表

直接锁表,防止会话2上方插入行 影响会话1下方读取行
完全串行化的读,将一个事务与其他事务完全地隔离。每次读都需要获得表级共享锁,读写相互都会阻塞。可以防止脏读,不可重复读取和幻读,(事务串行化)会降低数据库的效率。


 

事务隔离级别的作用范围分为两种

●global     全局级   所有会话有效        重新会话生效
●session  会话级   当前会话有效        立刻生效

查询全局事务隔离级别

show global variables like '%isolation%';
SELECT @@global.tx_isolation;

设置全局事务隔离级别

set global transaction isolation level read committed;
set @@global.tx_isolation='read-committed';   #重启服务后失效

查询会话事务隔离级别

show session variables like '%isolation%';
SELECT @@session.tx_isolation; 
SELECT @@tx_isolation;

设置会话事务隔离级别

set session transaction isolation level repeatable read;
set @@session.tx_isolation='repeatable-read';

事务控制语句

开启事务

BEGIN 或 START TRANSACTION
显式地开启一个事务。

提交事务 

COMMIT 或 COMMIT WORK
提交事务,并使已对数据库进行的所有修改变为永久性的。

回退事务 

ROLLBACK 或 ROLLBACK WORK
回滚会结束用户的事务,并撤销正在进行的所有未提交的修改。

 创建回滚点

SAVEPOINT S1
使用 SAVEPOINT 允许在事务中创建一个回滚点,一个事务中可以有多个 SAVEPOINT;“S1”代表回滚点名称。

 回退到回滚点

ROLLBACK TO [SAVEPOINT] S1
把事务回滚到标记点。


案例

准备数据

use mysql;
create table account(
id int(10) primary key not null,
name varchar(40),
money double
);

insert into account values(1,'A',1000);
insert into account values(2,'B',1000);
测试提交事务 在会话2中,只有当会话1 commit后才会改变查询结果

begin;
update account set money= money - 100 where name='A';
commit;
quit

mysql -u root -p
use mysql;
select * from account;
测试回滚事务

begin;
update account set money= money + 100 where name='A';
rollback;

mysql -u root -p
use mysql;
select * from account;
测试多点回滚

begin;
update account set money= money + 100 where name='A';
SAVEPOINT S1;
update account set money= money + 100 where name='B';
SAVEPOINT S2;
insert into account values(3,'C',1000);

select * from account;
ROLLBACK TO S1;
select * from account;

使用 set 设置控制事务自动提交

SET AUTOCOMMIT=0;                        #禁止自动提交
SET AUTOCOMMIT=1;                        #开启自动提交,Mysql默认为1
SHOW VARIABLES LIKE 'AUTOCOMMIT';        #查看Mysql中的AUTOCOMMIT值

如果没有开启自动提交,当前会话连接的mysql的所有操作都会当成一个事务直到你输入rollback|commit;当前事务才算结束。当前事务结束前新的mysql连接时无法读取到任何当前会话的操作结果。
如果开起了自动提交,mysql会把每个sql语句当成一个事务,然后自动的commit。
当然无论开启与否,begin; commit|rollback; 都是独立的事务

use mysql;
select * from account;

设置不自动提交事务
SET AUTOCOMMIT=0;

会话1 开启事务不提交
update account set money= money + 100 where name='B';
select * from account;
quit

再开会话2,只要未提交就不会更改
mysql -u root -p
use mysql;
select * from account;     

   


存储引擎(面试问得多)

存储引擎 是MySQL数据库中的组件,负责执行实际的数据I/O操作,工作在文件系统之上,数据库的数据会先传输到存储引擎,会按照存储引擎的格式保存到文件系统中

常用的存储引擎(面试题)

MyISAM

不支持事务、外键约束,只支持表级锁定,适合单独的查询或插入操作,读写并发能力较弱,支持全文索引,资源占用较小,数据文件(.MYD)和索引文件(.MYI)是分开存储的。
推荐使用场景

适用于不需要事务处理,单独的查询或者插入数据的业务场景


InnoDB

支持事务、外键约束,支持行级锁定(在全表扫描时仍然会表级锁定,例如没有使用索引搜索,或是like模糊查询也会全表搜索),读写并发能力较好,支持全文索引(5.5版本以后的),缓存能力较好可以减少磁盘IO的压力,数据文件也是索引文件。        
推荐使用场景

适用于需要事务的支持,一致性要求较高,数据会频繁更新,高并发读写的业务场景

InnoDB行锁与索引的关系

InnoDB行锁是通过给索引项加锁来实现的,如果没有索引,InnoDB将通过隐藏的聚簇索引来对记录加锁。

MyISAM事务不可分割无法测试事务未完成时数据上的锁,只能用innoDB测试。关闭自动提交,然后设置索引项。

会话1创建事务更改记录不提交,where选择主键索引字段。会话2测试,由于事务只需要对一行进行修改(主键唯一)只有单行被锁定。  对其他行更改不影响。 对应下方(1)

会话1创建事务更改记录不提交,where选择索引字段。会话2测试,由于事务对所有含有aaa的字段进行修改,因此所有包含where中指定的字段的索引行被锁定。对其他行更改不影响。 对应下方(2)

会话1创建事务更改记录不提交,where选择非索引字段。会话2测试,由于没有索引,所以where需要逐行查找全表进行过滤,全表被锁定。对应下方(3)

create table t1(id int primary key, name char(3), age int);
insert into t1 values(1,'aaa',22);
insert into t1 values(2,'bbb',23);
insert into t1 values(3,'aaa',24);
insert into t1 values(4,'bbb',25);
insert into t1 values(5,'ccc',26);
insert into t1 values(6,'zzz',27);
ALTER TABLE t1 ADD INDEX iondex_name (name);

使用InnoDB!MyISAM不支持事务
set session transaction isolation level repeatable read;
set @@session.tx_isolation='repeatable-read';  /*别忘了恢复隔离级别*/
SET AUTOCOMMIT=0; /*并且关闭自动提交(不关闭用begin也行)*/

会话1输入以下命令,会话2再对响应的行进行修改,测试锁定范围。

1)如果id字段是主键,innodb对于主键使用了聚簇索引。主键唯一,会直接锁住整行记录

delete from t1 where id=1;

2)如果name字段是普通索引,包含“aaa”的行不唯一,事务对所有包含aaa的行的字段进行修改,所以要锁住所有包含“aaa”的行

delete from t1 where name='aaa';

3)如果age字段没有索引,会使用全表扫描查找过滤,这时表上的各个记录都将加上锁

delete from t1 where age=23;

MyISAM 表支持 3 种不同的存储格式
静态(固定长度)表
静态表是默认的存储格式。静态表中的字段都是非可变字段,这样每个记录都是固定长度的,这种存储方式的优点是存储非常迅速,容易缓存,出现故障容易恢复;缺点是占用的空间通常比动态表多。

动态表
动态表包含可变字段,记录不是固定长度的,这样存储的优点是占用空间较少,但是频繁的更新、删除记录会产生碎片,需要定期执行 OPTIMIZE TABLE 语句或 myisamchk -r 命令来改善性能,并且出现故障的时候恢复相对比较困难。

压缩表
压缩表由 myisamchk 工具创建,占据非常小的空间,因为每条记录都是被单独压缩的,所以只有非常小的访问开支。

存储引擎管理

查看存储引擎

  • 查看系统支持的存储引擎
show engines;
  • 查看表使用的存储引擎
    • 方法一
      show table status from 库名 where name='表名';
      show table status from 库名 where name='表名'\G  /*纵向显示,用于shell中显示很长的行*/
    • 方法二
      show create table 表名;

修改存储引擎

针对于已经存在的表。通过 alter table 修改

alter table 表名 engine=MyISAM|InnoDB

新建表时指定存储引擎。通过 create table 创建表时指定存储引擎

create table 表名(字段1 数据类型,...)   engine=MyISAM|InnoDB;

针对于还未创建的表。通过修改 /etc/my.cnf 配置文件,指定默认存储引擎并重启服务

修改mysql配置文件设置新建表的默认存储引擎 
vim /etc/my.cnf

[mysqld]
default-storage-engine=MyISAM|InnoDB    
systemctl restart mysql.service
此方法只对修改了配置文件并重启mysql服务后新创建的表有效,已经存在的表不会有变更。

死锁

死锁一般是事务相互等待对方资源,最后形成环路造成的。

案例

create table t1(id int primary key, name char(3), age int);
insert into t1 values(1,'aaa',22);
insert into t1 values(2,'bbb',23);
insert into t1 values(3,'aaa',24);
insert into t1 values(4,'bbb',25);
insert into t1 values(5,'ccc',26);
insert into t1 values(6,'zzz',27);

使用InnoDB!MyISAM不支持事务
set session transaction isolation level repeatable read;
set @@session.tx_isolation='repeatable-read';  /*别忘了恢复隔离级别*/
SET AUTOCOMMIT=0; /*并且关闭自动提交(不关闭用begin也行)*/

session 1                                session 2
  begin;                                   begin;
  delete from t1 where id=5;    
                                           select * from t1 where id=1 for update;
  delete from t1 where id=1; #死锁发生    
                                           update t1 set name='abc' where id=5; #死锁发生


                                    
for update 可以为数据库中的行上一个排它锁。当一个事务的操作未完成时候,其他事务可以读取但是不能写入或更新。

 

共享锁:又叫做读锁,当用户要进行数据的读取时,对数据加上共享锁,共享锁可以同时加上多个。

排他锁:又叫做写锁,当用户要进行数据的写入时,对数据加上排他锁,排他锁只可以加一个,它和其它的排他锁,共享锁都相斥。
 

如何尽可能避免死锁?

  1. 使用更合理的业务逻辑,以固定的顺序访问表和行。
  2. 大事务拆小。大事务更倾向于死锁,如果业务允许,将大事务拆小。
  3. 在同一个事务中,尽可能做到一次锁定所需要的所有资源,减少死锁概率。
  4. 降低隔离级别。如果业务允许,将隔离级别调低也是较好的选择,比如将隔离级别从RR调整为RC,可以避免掉很多因为gap锁造成的死锁。
  5. 为表添加合理的索引。如果不使用索引将会为表的每一行记录添加上锁,死锁的概率大大增大。      

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/657940.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

代码审计——命令执行详解

为方便您的阅读,可点击下方蓝色字体,进行跳转↓↓↓ 01 漏洞描述02 审计要点03 漏洞特征04 漏洞案例05 修复方案 01 漏洞描述 命令注入是指因为系统使用了可以执行命令的危险函数,但是调用这些函数的参数可控,并没有做过滤或过滤不…

Flutter集成Umeng步骤及若干问题总结

由于Flutter项目中用到umeng统计及手机号一键登录功能,但实际集成使用中遇到各种坑,文档及demo却都没有提及,因此写下这篇文章,有遇到同样问题的同学可以参考下。 集成之前,最好先查看一下文档:https://de…

LangChain for LLM Application Development 基于LangChain开发大语言应用模型(上)

以下内容均整理来自deeplearning.ai的同名课程 Location 课程访问地址 DLAI - Learning Platform Beta (deeplearning.ai) 一、什么是LangChain 1、LangChain介绍 LangChain是一个框架,用于开发由大语言模型驱动的应用程序。开发者相信,最强大的、差异…

Ubuntu+Pycharm+QtDesigner,并配置Pyqt5

1. 安装PyQt5 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyqt5 2. 安装ubuntu环境下所需要的依赖包 sudo apt install pyqt5* 3. 安装QtDesigner sudo apt install qttools5-dev-tools 4. 设置Pycharm 步骤: File–>setting–>Tools–&…

ESP32设备驱动-VCNL4040趋近传感器

VCNL4040趋近传感器 文章目录 VCNL4040趋近传感器1、VNCL4040介绍2、硬件准备3、软件准备4、驱动实现1、VNCL4040介绍 VCNL4040 将趋近传感器 (PS)、环境光传感器 (ALS) 和高功率 IRED 集成到一个小型封装中。它通过CMOS工艺将光电二极管、放大器和模数转换电路集成到一个芯片…

Linux->线程库接口

目录 前言: 1 进程和线程 2 线程库接口 2.1 线程库基础理解 2.2 创建线程 2.2 线程资源回收 2.3 线程分离 前言: 本篇主要是对Linux原装线程库的函数接口进行学习,还有一部分的线程概念补充。 1 进程和线程 博主在上一篇文章当中有讲过…

中北大学 - 信息对抗大三下学习课程设计(爬取招标网站,进行招标分析,数据保存execl中)

文章目录 1. 题目描述2. 项目细节分析定时爬取任务思路避免多次爬取数据重复问题网站结构根据爬取信息确认招标地区 3. 项目代码4. 运行截图 1. 题目描述 中北大学信息安全技术爬虫课程设计 题目 5:招投标信息分析系统 (20050441 2005031113&#xff09…

Floyd算法图解,C++实现Floyd算法

Floyd算法简介 Floyd算法是一种多源最短路径算法,是利用动态规划的思想寻找给定的加权图中多源点之间最短路径的算法,与Dijkstra算法类似。该算法名称以创始人之一、1978年图灵奖获得者、斯坦福大学计算机科学系教授罗伯特弗洛伊德命名。 时间复杂度&am…

Python模块multiprocessing 实现多进程并发

简介 multiprocessing模块是Python标准库中提供的一个用于实现多进程编程的模块。它基于进程而不是线程,可以利用多核CPU的优势,提高程序的执行效率,同时也可以实现进程间通信和数据共享。 目录 1. 参数说明 1.1. Process(控制进…

推荐系统初谈

文章目录 简介推荐系统与搜索引擎发展历史所属领域 推荐系统分类概览基于内容的推荐基于协同过滤的推荐基于内存的协同过滤基于模型的协同过滤基于矩阵分解的推荐 推荐系统的评价指标推荐系统存在的问题参考文献 简介 21年笔记迁移,主要介绍了推荐系统的定义、发展…

【IC设计】ICC1 workshop lab guide 学习笔记

文章目录 Lab1 Data Setup&Basic Flow1.1 Create a Milkyway library1.2 Load the Netlist,TLU,Constraints and Controls1.3 Basic Flow:Design Planning1.4 Bsic Flow:Placement1.5 Basic Flow:CTS1.6 Basic Flow:Routing Design Planning2.1 Load the Design2.2 Initial…

算法刷题-字符串-反转字符串II

简单的反转还不够,我要花式反转 541. 反转字符串II 力扣题目链接 给定一个字符串 s 和一个整数 k,从字符串开头算起, 每计数至 2k 个字符,就反转这 2k 个字符中的前 k 个字符。 如果剩余字符少于 k 个,则将剩余字符全部反转。 …

C++笔记之初始化线程的所有方法

code review! C笔记之初始化线程的所有方法 文章目录 C笔记之初始化线程的所有方法一.非类中初始化线程1.使用函数指针初始化线程2.lambda表达式初始化线程3.使用成员函数初始化线程4.使用函数对象(Functor)初始化线程5.使用std::bind绑定函数及其参数初始化线程 二.类中初始化…

滤波电容计算举例

例:输入电压220VAC,功率4W;要求输出电压波动不超过5%,试计算滤波电容容量。 解:(1)电容的储能公式为:Wc1/2CU^2 当电容充电到峰值电压(即220x1.414310V)时&am…

数仓的分层理论

一、简介 2021-4-25 11:04:16 数据仓库分层是数据仓库设计中非常重要的一个环节,一个好的分层设计可以极大地简化数据仓库的操作,提升使用体验。然需要注意的是,分层理论并不绝对,只是提供一种普适的指导思想和原则,…

[Spring Cloud]:Study Notes·壹

文章目录 摘要1 认识微服务1.1 单体架构与分布式架构1.2 分布式架构与微服务1.3 微服务架构 2 nacos2.1 什么是nacos2.2 nacos使用2.2.1 nacos使用逻辑2.2.2 启动下载好的nacos2.2.3 引入依赖2.2.4 各注册服务中配置nacos相关信息2.2.5 测试nacos注册成功 3 Ribbon负载均衡3.1 …

改进YOLO系列 | YOLOv5/v7 引入谷歌 Lion 优化器

论文地址:https://arxiv.org/pdf/2302.06675.pdf 代码地址:https://github.com/google/automl/tree/master/lion 我们提出了一种将算法发现作为程序搜索的方法,并将其应用于发现用于深度神经网络训练的优化算法。我们利用高效的搜索技术来探索一个无限且稀疏的程序空间。为了…

计算机视觉-语义分割: FCN DeepLab Unet

文章目录 1. 概要1.1 什么是语义分割1.2 语义分割作用1.3 全卷积网络1.4 反卷积1.5 上采样三种方式1.6 跳层结构 Skip Layer 2. FCN架构3. DeepLab-v13.1 改进点3.2 空洞卷积(Atrous/Dilated convolution) 4. U-Net参考 1. 概要 1.1 什么是语义分割 从像素水平上理解、识别图…

微信小程序——Echarts使用(保姆式教程)

✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…

从入门到精通!MATLAB基础教程及常用工具箱介绍

文章目录 基础介绍MATLAB窗口介绍MATLAB基本语法变量和数组控制流语句函数的定义和调用绘图MATLAB常用工具箱统计工具箱(Statistics Toolbox)控制系统工具箱(Control System Toolbox)信号处理工具箱(Signal Processing Toolbox&am…