硬核观察 #1071 研究发现更大的上下文对大语言模型来说意义不大
研究发现更大的上下文对大语言模型来说意义不大
在大语言模型中，上下文窗口指的是模型在给定实例中可以处理和响应的文本长度。它可以被视为特定文本分析或聊天机器人对话的工作记忆。许多人都认为，语境窗口变大的趋势将继续提高 大语言模型的性能和在各种应用中的实用性。但根据一项最新研究，大语言模型往往无法访问和使用在较长的上下文窗口中提供给它们的相关信息。当相关信息出现在输入上下文的开头或结尾时，它的性能最佳；而当模型必须在长上下文中间获取相关信息时，性能就会明显下降。此外，随着输入上下文的长度增加，即使是明确的长上下文模型，性能也会大幅下降。
老王点评：可见我们对大语言模型内部到底发生了什么，还是一无所知。
谷歌敦促 Gmail 用户启用 “增强型安全浏览”
这项增强的安全功能已经存在了三年，但谷歌最近开始在 Gmail 收件箱中显示一条信息，建议人们打开 “增强安全浏览” 功能。如果谷歌认为你正在浏览的网站冒充你的银行等，你就会看到一个红色的警告屏幕。一般而言，开启这项安全功能是个好主意，虽然它会收集你的更多信息，但如果你本来就使用了 Gmail 等谷歌服务，其实它已经收集了足够多的信息。如果你开启了该功能，即使你没有登录谷歌账户，谷歌也会对你访问的网站了如指掌。它还会从你访问的网站上收集一些视觉图像，以扫描诈骗网站的特征。
老王点评：你应该自己决定是否愿意放弃部分隐私来换取额外的安全保护，以防止常见的犯罪行为。
五年后，Cython 3.0 发布
Cython 是一种基于 Python 的编程语言和编译器，它可以编译输出原生代码，执行速度可能比 CPython 解释器快得多。它既可用于优化 Python 应用程序，也可用于创建 CPython 可使用的模块，从而在解释器中运行应用程序的主要部分时，编译性能关键的代码。Cython 至今已有 21 年历史。在接近五年的漫长时间后，Cython 3.0 发布，增加了许多新功能，现在支持 Python 3 的所有版本，但放弃了对 Python 2.6 的支持。但 Cython 2.x 和 Cython 3.0 之间的兼容性问题已经造成了一些问题，影响到了包括 AWS CLI 在内的一些重要项目。
老王点评：觉得 Python 慢吗？那就编译好了。