周刊内容: 对一周内阅读的资讯或技术内容精品(个人向)进行总结,分类大致包含“业界资讯”、“技术博客”、“开源项目”和“工具分享”等。为减少阅读负担提高记忆留存率,每类下内容数一般不超过3条。
更新时间: 星期天
历史收录: shawn-weekly
订阅方式: 微信公众号“肖恩聊技术”,除周刊外还有更多原创技术博文~
开篇图
周末去逛了金沙遗址博物馆,太阳神鸟金饰真的非常精致非常薄(外径12.5厘米,内径5.29厘米,厚度0.02厘米,重20克),难以想象在那个制作工艺如此原始的时代是如何制作出来的。
业界资讯
- 李飞飞亲自撰文,数十名科学家签署联名信,反对加州AI限制法案
SB-1047法案旨在为高风险AI模型建立安全标准,防止滥用和灾难性后果。法案自提出以来,就因其可能对科技创新产生的负面影响而备受争议。法案规定,使用超过10^26次运算能力训练的AI模型,成本超过一亿美元,或利用三倍于此运算能力的模型进行微调,都将被视为存在潜在危险,需要额外监督。
法案要求模型开发者承担法律责任,证明模型不会提供危险功能,并实施保护措施。此外,法案还提出建立一个新监管机构——前沿模型部门,负责制定安全标准和提供法律建议。法案中还包括吹哨人保护条款,以保护内部举报者。
李飞飞和其他科学家反对SB-1047,认为它将损害AI生态系统,惩罚开发者,扼杀开源社区,阻碍学术研究,且无法解决真正的问题。李飞飞在《财富》网站上发表文章,批评法案的武断限制,认为应该采取相反的做法,赋能开源开发,提出合理规则,建立消费者信心。
除了李飞飞,加州大学的师生和来自其他机构的研究人员也签署了一封公开信,反对SB-1047。他们认为法案会给开源模型的发布带来寒蝉效应,损害研究,且法案中的风险预测和能力评估方法不科学。他们还担心法案会阻碍学生的职业发展,限制新兴创新者。
一些研究者在社交媒体上发声,比喻SB-1047像在未知病原体前激活炎症反应。吴恩达也提出,应监管应用而非技术,以合理评估风险。
报道最后提出问题:AI是否已经危险到需要如此监管的地步?这引发了对AI监管必要性和方法的进一步思考。
- TIOBE 8 月榜单:Python 霸权地位已无可争议
TIOBE 2024年8月的编程语言排行榜显示,Python份额首次超过18%,其霸权地位已无可争议。历史上Java曾达到最高点,但Python有望成为最流行的编程语言。C++紧随其后,其他语言如Rust和Kotlin正在接近前10。TIOBE指数反映编程语言受欢迎程度,可作为技术选型参考。
- 程序员就业市场将彻底挤爆!一个年级 60 个班,太原理工带头,十几所高校疯狂扩招软件工程!
文章主要讨论了中国高校在软件工程专业的大规模扩招现象及其可能带来的影响。2024年,太原理工大学计划招收1795名软件工程专业学生,实际录取了1871人,而其他多所高校也在进行类似的扩招计划。这一现象引发了公众对软件工程专业未来教学质量和就业前景的担忧。
文章指出,尽管互联网行业可能面临下行压力,但数字化人才的需求仍然巨大。据报告,中国数字化人才缺口高达数百万,并且随着数字化推进,这一缺口还在扩大。然而,也有观点认为,互联网行业的野蛮增长已经结束,程序员的就业机会将更加困难。
对于扩招的利弊,公众意见不一。一方面,扩招为更多考生提供了进入211高校的机会,如太原理工大学软件工程专业的分数线相对较低。另一方面,扩招可能导致行业竞争加剧,学历门槛提高,以及对教育质量的担忧。
文章还提到了程序员职业的教育模式需要改变,强调了学习能力和理解协作的重要性,而不仅仅是计算机学位。亚马逊CTO Werner Vogels提出,技术变革迅速,教育应适应这种变化,终身学习将成为常态。
最后,文章指出,尽管经济不景气可能影响程序员的需求,但程序员群体仍具有广阔的发展空间。随着技术进步和市场变化,程序员需要不断学习新技能以保持竞争力。同时,教育领域也在适应技术创新,学位学徒制度和行业主导的技能培训计划正在兴起,预示着终身学习的重要性。
技术博客
- 字节跳动开源 Linux 内核网络抓包工具 netcap
字节跳动的STE团队开发并开源了一个名为netcap的Linux内核网络抓包工具,该工具旨在解决在Linux内核网络开发过程中遇到的网络丢包问题。与传统的抓包工具(如tcpdump)相比,netcap利用eBPF技术,能够更高效地跟踪整个内核网络协议栈,提高了问题定位的效率。
netcap通过kprobe/tracepoint实现函数hook,捕获关键结构体skb和sock,并通过bpf map与用户态进行数据传递。它支持使用tcpdump的过滤语法,允许用户根据skb上下文跟踪报文在内核协议栈中的完整路径。例如,用户可以通过netcap观察特定IP地址的ICMP包是否到达预期的内核函数调用点,或者查看特定TCP端口的丢包位置。
netcap的实现原理包括在eBPF程序中过滤数据包,将过滤后的包传递给应用程序,再由应用程序使用tcpdump显示或输出pcap文件。此外,netcap还支持自定义过滤函数和输出函数,允许用户扩展功能。
未来,netcap计划优化对DPDK的支持,统一多内核版本的支持,并解决自定义输出时的数据包打印错乱问题。字节跳动鼓励开发者参与贡献,共同推进项目发展。
- 读友好的缓存淘汰算法
本文讨论了缓存淘汰算法在广告检索系统中的应用和优化。作者首先强调了缓存在提高数据检索速度、加速业务处理中的重要性,尤其是在数据密集型场景下。文章介绍了几种经典的缓存算法,包括LRU(最近最少使用)、LFU(最不经常使用)以及Redis的近似LRU算法,并分析了它们的优势和局限性。
文章重点介绍了SsdEngine,这是一个针对SSD存储优化的引擎,它采用了DIO(直接I/O)来避免系统缓存的干扰,并实现了长尾控制。SsdEngine采用了分层缓存策略,包括线程局部存储(TLS)和中心缓存,并通过一种称为Flying的技术减少了对同一页面的重复读取。
作者还探讨了ARC算法,这是一种自适应的缓存替换策略,以及业务隔离的概念,即不同业务对象可以有独立的缓存配置。文章最后通过一系列实验评估了不同缓存算法在不同数据访问模式下的性能,结果显示LRU在局部访问模式下表现更好,而TinyLFU算法在小缓存情况下提供了更好的性能。
总体来说,文章提供了对缓存淘汰算法的深入分析,并展示了如何在实际系统中应用和优化这些算法以提高性能和效率。
- 基于 MySQL 内核的 SQL 限流设计与实现
本文是关于基于MySQL内核的SQL限流设计与实现的技术文章。文章首先介绍了SQL限流功能的需求背景,指出在生产环境中,由于业务量激增或慢SQL导致CPU使用率过高,可能影响数据库实例的业务运行,因此需要对非核心业务或慢SQL进行限制,以保证核心业务的正常运行。
文章接着从架构设计、功能设计、规则管理、流程控制、限流匹配等方面详细阐述了SQL限流的实现方案。提到了对外提供的管理命令,如开关控制、大小写敏感性控制、预留用户设置等。同时,也讨论了限流规则的读取、移除、解析等操作,以及如何将规则加载到内存中进行管理。
在性能设计部分,文章指出SQL限流功能对系统性能的影响程度与限流规则的数量和复杂度有关,建议在非高峰期修改分隔符,并使用通用、简短、数量少的限流规则以提高效率。
最后,文章总结了SQL限流功能的设计和实现,强调了其嵌入原生MySQL执行原理和字符串匹配规则的实现方式,以及其对原生MySQL的修改较少,功能模块独立且安全可控的特点。作者Peter代表得物技术,声明文章为原创内容,并保留版权。
开源项目
- Kazumi
Kazumi是一个使用Flutter框架开发的跨平台番剧采集与在线观看应用程序,支持自定义规则和Xpath语法选择器,允许用户构建和分享规则。应用程序支持多种功能,包括规则编辑器、视频播放、弹幕、下载等。
- wiseflow
Wiseflow是一个敏捷的信息提取工具,能够从网站、微信公众号和社交媒体平台等多种来源中根据预设的关注点精炼信息,自动分类标签,并上传到数据库。该工具从2024年6月25日起,利用几个大型语言模型(LLM)的在线推理服务,实现“零成本”的信息挖掘。
学习资源
- developer2gwy
这份开源指南是为程序员转公务员的群体量身定制的,涵盖了从备考到上岸的全过程,包括公考知识汇总、备考最佳实践、问题手册以及体制内工作生活访谈等。项目由一群有共同经历的程序员共同参与,分享他们的备考经历、体制内生活以及心路历程。项目旨在帮助备考者了解公务员职业的各个方面,提供实用的备考策略和生活指南。
其他值得看
- 李政道逝世:生或死的道理,物理都知道
著名物理学家、诺贝尔奖得主李政道先生于2024年8月4日在旧金山逝世,享年98岁。他是首位华人诺贝尔奖得主,1956年与杨振宁共同提出"弱相互作用中宇称不守恒理论",次年获得诺贝尔物理学奖。李政道的一生是不断求索科学真理、致力于推动中国基础科学人才培养的一生。
1926年,李政道出生于上海一个富裕家庭,童年时期因战争颠沛流离,但始终对科学充满热情。在浙江大学和西南联大学习期间,得到束星北、吴大猷等名师指导。1946年,李政道赴美深造,在芝加哥大学师从恩里克·费米,23岁获得博士学位。
李政道与杨振宁的合作成就了"宇称不守恒"的重大发现,但两人后来因署名问题产生矛盾。李政道晚年致力于中国科学教育,创立CUSPEA项目,培养了一大批中国物理学人才。他的一生,是探索真理、培养后人的一生,为中国乃至世界科学发展做出了巨大贡献。
- 效率幻觉:“保持忙碌”是没有用的
文章探讨了人们追求忙碌的倾向及其背后的心理原因。研究表明,人们天生喜欢忙碌,即使这种忙碌没有实际意义。文章提出了"效率幻觉"的概念,即人们错误地认为忙碌等同于效率和成长。实际上,忙碌可能只是为了避免面对生活的真相,如布雷内·布朗博士所述,忙碌是一种麻木策略,帮助我们逃避自我反思。
文章还介绍了一个"忙碌矩阵"工具,帮助读者评估自己的日常活动,区分哪些是相关且有意义的,哪些是不相关或无意义的。通过这种方式,人们可以减少无效忙碌,专注于真正重要的事务。
最后,文章建议读者改变对忙碌的看法,学会说"不",安排专门的休息时间,以及专注于真正重要的事项。通过这些方法,我们可以摆脱对忙碌的依赖,更有效地利用时间,实现个人成长和发展。
- AI 介入临终关怀,机器能否决定人类生死
David Wendler,一位美国国立卫生研究院的生物伦理学家,与牛津大学的Brian Earp等人正在开发一款人工智能工具,旨在帮助代理人预测患者在临终时的医疗决策。该工具将利用个人的医疗数据、私人信息和社交媒体帖子来训练,以更准确地推断患者本人的意愿,并减轻家庭成员在做出艰难决策时的情感负担。
目前,约34%的患者因各种原因无法对自己的医疗护理做出决策,尤其在老年人群中这一比例更高。在美国,只有约三分之一的成年人完成了预设医疗意愿书。Wendler估计超过90%的临终决策最终由患者以外的人做出,而这些人通常并不擅长预测患者的意愿。研究表明,代理人准确预测患者决策的比例约为68%。
Wendler和团队提出的新工具,被称为患者个性化偏好预测器(P4),将通过人工智能和机器学习技术,构建个人的“数字心理孪生体”,以预测患者对治疗的偏好。理论上,P4可能比人类代理人更准确,甚至比预设医疗意愿书更能反映患者当前的想法。
然而,该工具也面临伦理和实用性的质疑。批评者担心如何合理利用个人数据,以及是否应由人工智能做出生死攸关的决策。此外,社交媒体帖子等数据可能无法真实反映个人信念和价值观。尽管如此,如果经过严格测试,P4可能成为一个有用的辅助工具,帮助医生和代理人更好地理解患者的意愿。
其他周刊
- 科技爱好者周刊(第 312 期):从英特尔看"美国制造"
文章主要讨论了英特尔公司近期股价大跌的情况,并分析了其对"美国制造"政策的影响。英特尔作为美国半导体制造业的代表,其产品和生产技术未能跟上竞争对手,导致市值大幅缩水。美国政府虽给予英特尔大量补助,但其面临的挑战依然严峻。
周刊还介绍了一些科技动态,如带轮子的机器狗、光纤无人机、奥运百米冠军的争议等。此外,还分享了一些科技文章、工具、资源和言论,涵盖了PDF页面跳转、Go语言学习、向量搜索、TLS证书生成等技术话题。
文章最后包含了一些有趣的言论和往年回顾,以及一些读者留言,反映了科技爱好者社区的活跃讨论氛围。整体而言,本期周刊为读者提供了一个关于科技行业动态和深度见解的综合性视角。
- AIGC Weekly #83
Google发布了两个新模型:多模态的Gemini 1.5 Pro和设备端运行的Gemma 2 2B,后者内置了安全分类器ShieldGemma。FLUX系列模型开源,由前Stability AI成员推出,性能接近Midjourney。Meta推出了SAM 2图像分割模型和SA-V视频分割数据集,提升了分割准确性和效率。其他动态包括Meta的AI功能Playground、Stable Fast 3D模型、Hedra的融资、Runway Gen3 Turbo版本发布等。产品推荐包括360的AI助手、GitHub Models、Miley AI等。精选文章探讨了AI对在线社区的影响、Llama 3.1论文、LLM幻觉指数等。重点研究包括Fotographer ai Fuzer、Apple Intelligence Foundation Language Models等。最后,提供了Stable Diffusion AI画图适配的揽睿星舟信息和AI资讯站点guizang.ai的介绍。