纯净、安全、绿色的下载网站

首页|软件分类|下载排行|最新软件|IT学院

当前位置:首页IT学院IT技术

Java面试题 Java面试题冲刺第三十天--数据库(6)

_陈哈哈   2021-09-12 我要评论
想了解Java面试题冲刺第三十天--数据库(6)的相关内容吗_陈哈哈在本文为您仔细讲解Java面试题的相关知识和一些Code实例欢迎阅读和指正我们先划重点:Java面试题,Java数据库下面大家一起来学习吧

面试题1:有个需求需要快速删除MySQL表中一亿条数据表中有2亿数据能说一下你的思路么?

我们知道MySQL删除数据的方式有多种比如DELETE、TRUNCATE、DROP等都属于物理删除但在实际场景中很多时候是不能直接用的

比如咱们说的这张表中有2亿条数据要删其中1亿条以InnoDB引擎为例直接加WHERE条件DELETE是不现实的因为DELETE是一条一条删要把操作记录到binlog日志(前提开启了binlog)删除少量数据还可以删除1亿条会非常慢并且不会释放出磁盘空间还得用optimize或repair来压缩数据表来释放硬盘空间如果字段内容多IO成本很高CPU各种过高耗时更长不可行

如果我用truncate删数据速度倒是很快能直接释放磁盘空间但这是全表数据删除直接清空数据文件或分区磁盘空间剩下不用删的1亿条又怎么办呢?

因此我们要根据实际情况入手比如表中有2亿条数据要删其中1亿条;

方法一:着急的话可以临时使用逻辑删除选一个字段或加一个字段如is_deleted作为逻辑删除标志然后通过该字段过滤后继续处理数据等到夜深人静

方法二:可以新建一张表结构一致的表把不用删除的数据导进去然后drop原表再把新表名称改为原表名称;这是一种比较常见的方式要注意的是如果索引较多或索引字段较大的话记得先导数据再加索引别问我为什么

我们简单看一下方法二的操作流程:

1、复制表+删除索引

create table new_T like T;
ALTER TABLE new_T DROP INDEX index_name1;
ALTER TABLE new_T DROP INDEX index_name2;

2、分批插入数据

建议为10w-50w一次根据你的MySQL服务器性能来定可以按ID查询后插入也可以null as id按新顺序插入

如:

insert into new_T (select null as id,col1,col2,col3 from T where id>500000 and id<=600000);
insert into new_T (select null as id,col1,col2,col3 from T where id>600000 and id<=700000);
...

3、drop删除掉老表

drop table T;

4、重命名新表为new_T

alter table new_T rename to T;

面试题2:刚才你提到了逻辑删除你是怎么看逻辑删除和物理删除的?

我理解物理删除指的将数据从磁盘中真实删除而逻辑删除则是在代码层面的多是将删除数据行的is_deleted字段置成1后续只操作is_deleted=0的那些未被删除的数据

在严谨的开发环境中实际上是没有删除这一说的订单作废用户禁用优惠券作废都是状态的变化而不应该让数据从磁盘消失所以 SQL 里面 DELETE 在真实生产环境里都不应该出现除DBA账号外的其他用户不应有DELETE、TRUNCATE、DROP权限而只有UPDATE权限

我还见过有单位将MySQL的update命令封装成删除命令的~~然后用户只能看到表中或视图中is_deleted=0的数据好像是实现了权限隔离其实就是闲的慌

当然了逻辑删除其实也是有问题的逻辑删除的设计还会导致常用的unique key 失效;脏数据量大的时候研发人员可能会发现表中明明数据不多但检索速度很慢可能会误导研发人员的维护工作

面试题3:大型项目中mysql的主键需要全局唯一怎么办?

在只使用单数据库时使用自增主键ID无疑是最适合的但在集群、主从架构上时就会有一些问题比如怎么做到主键的全局唯一

使用UUID

这时我们首先想到的解决方法可能是以UUID为主键对于InnoDB这种聚集主键类型的引擎来说数据会按照主键进行排序由于UUID的无序性InnoDB会产生巨大的IO压力此时不适合使用UUID做物理主键但可以把它作为逻辑主键物理主键依然使用自增ID

另外innodb会对主键进行物理排序这对auto_increment_int是个好消息因为后一次插入的主键位置总是在最后但是对uuid来 说这却是个坏消息因为uuid是杂乱无章的每次插入的主键位置是不确定的可能在开头也可能在中间在进行主键物理排序的时候势必会出现大量 IO操作影响效率

使用自增ID

  • 方法一:比如4台数据库第一台mysql主键从1开始每次加4第二台从2开始每次加4以此类推这里的4代表数据库总量我们叫它步长从而保证主键的全局唯一我们需要保证的就是确保自增 ID 起始点(auto_increment_offset)以及 ID 自增步长(auto_increment_increment)的正确性即可

修改MySQL默认自动增长的步长

-- 设置序列的增长值
set global auto_increment_increment=1; 
  • 方法二:通过集群编号加集群内的自增(auto_increment类型)两个字段共同组成唯一主键优点是实现简单维护也比较简单对应用透明缺点是引用关联操作相对比较复杂需要两个字段主键占用空间较大在使用 InnoDB 的时候这一点的副作用很明显(但是这方式仅仅多了一个smallint两个字节100W也就多2M)

总结

本篇文章就到这里了希望能够给你带来帮助也希望您能够多多关注的更多内容!


相关文章

猜您喜欢

  • Java面试题 Java面试题冲刺第二十九天--JVM3

    想了解Java面试题冲刺第二十九天--JVM3的相关内容吗_陈哈哈在本文为您仔细讲解Java面试题的相关知识和一些Code实例欢迎阅读和指正我们先划重点:Java面试题,JavaJVM下面大家一起来学习吧..
  • js网页播放器 JavaScript实现网页播放器

    想了解JavaScript实现网页播放器的相关内容吗信仰柴神的人在本文为您仔细讲解js网页播放器的相关知识和一些Code实例欢迎阅读和指正我们先划重点:js,播放器下面大家一起来学习吧..

网友评论

Copyright 2020 www.sopisoft.net 【绿软下载站】 版权所有 软件发布

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 点此查看联系方式