跳到主要内容

科技迷周刊(2024-07-12) : 介绍 Crawlee for Python：一款可靠的网页抓取和浏览器自动化工具

介绍 Crawlee for Python：一款可靠的网页抓取和浏览器自动化工具​

介绍 Crawlee for Python：一款可靠的网页抓取和浏览器自动化工具 介绍 Crawlee for Python：一款可靠的网页抓取和浏览器自动化工具

Crawlee 是一个新的开源工具，擅长网页抓取和浏览器自动化。它能快速收集数据，安全存储，规避封锁。使用无头浏览器和智能代理轮换。

网页抓取：从网站提取数据。无头浏览器：没有图形用户界面的网络浏览器，用于自动化。代理轮换：更改 IP 地址以避免在数据提取过程中被检测到。

Scores

科技新闻​

DotaMath：借助代码辅助的高级数学推理​

DotaMath，一种解决复杂数学问题的新方法，将其分解为更简单的部分。它使用代码来解决这些部分，检查其工作，并纠正错误。经过大量数学问题和答案数据集的训练，DotaMath模型在测试中表现出色，甚至优于其他模型。该方法在解决棘手数学挑战方面显示出潜力。代码在线提供，供任何人使用。

BM25S：通过积极稀疏评分加速词汇搜索​

BM25S 是一个新的 Python 工具。它通过在设置过程中将搜索分数存储在一种特殊的矩阵中，使得搜索速度提升了 500 倍，比流行的 Python 和 Java 工具更快。这种方法使其超级快速。它还能很好地处理不同类型的 BM25 搜索。代码在线提供，任何人都可以使用。

中国展示人工智能实力于上海论坛​

中国展示人工智能实力于上海论坛

李强总理在上海论坛上支持人工智能发展，并强调全球合作确保安全可靠。中国人工智能产业规模超过687亿美元，顶尖科技公司展示尖端产品。习近平主席的目标是到2030年中国领先人工智能。美国对人工智能芯片出口限制促进了国内投资。中国政府通过新资金和监管支持人工智能发展。国内人工智能公司的竞争加剧。OpenAI的ChatGPT应用成功引发全球投资热潮。中国推动自主发展先进技术，强调安全可控的人工智能造福人类。

夸克搜索引擎升级至7.0，推出AI服务​

夸克搜索引擎升级至7.0，推出“超级搜索框”。新增AI写作、文件总结等功能。高考季使用量超1亿次。夸克PC版登陆Windows，整合浏览器、网盘等。技术负责人蒋冠军称，问答内容幻觉率降至5%。

欧盟就苹果支付反垄断调查达成具有约束力的承诺协议​

欧盟关闭了针对Apple Pay的反垄断调查。苹果同意在7月25日前向竞争对手的钱包开放NFC技术，使竞争者能够在iPhone上提供“轻触即付”支付功能，并可使用Face ID、Touch ID和密码进行安全验证。

苹果必须允许用户将第三方钱包设置为默认选项。欧盟最初于2020年对Apple Pay展开调查，重点关注NFC接入问题。2022年，欧盟发现苹果阻止竞争对手使用NFC技术，抑制了市场竞争。

苹果在2024年提出了变更方案，包括通过API免费提供NFC访问权限，但排除了安全元件芯片，并提供了用于安全交易的“主机卡仿真（HCE）”模式。

欧盟在听取行业反馈后，对苹果的承诺进行了细化。主要变更包括取消支付服务提供商（PSP）许可证要求，并使HCE适应行业标准。

苹果的承诺超越了新的欧盟规则——《数字市场法案》（DMA）。这些承诺将约束苹果十年，并可能因不遵守规定而面临处罚。

苹果的声明确认，他们将在保持Apple Pay安全性的同时，为多种服务启用NFC支付功能。

赫尔辛基筹集4.87亿美元用于AI防御在波罗的海地区的扩张​

赫尔辛防御AI公司刚刚筹集了4.87亿美元。他们正扩展到爱沙尼亚，旨在加强防御俄罗斯的措施。这一举措与北约对俄罗斯入侵乌克兰的担忧相呼应。

赫尔辛的技术提升了无人机和战斗机的性能，并辅助战场决策。他们已与空客和多个国防部合作。

公司联合首席执行官冈德伯特·舍夫认为他们的技术对保卫欧洲民主国家至关重要。爱沙尼亚总理卡娅·卡拉斯欢迎赫尔辛的到来。

赫尔辛的另一位联合首席执行官托尔斯滕·赖尔强调了创建“能力差距”以阻止和防御潜在更广泛威胁的紧迫性。

该公司使用自己的计算资源和一些来自未透露姓名的第三方的资源，出于安全考虑。他们还在进行“半人马座计划”，这是一个使用强化学习的空战AI。

这笔最新融资使赫尔辛的估值达到约54亿美元。投资者包括Spotify的丹尼尔·埃克和萨博AB。

防御技术正受到西方投资者的关注，这与不断增长的国防预算相呼应。赫尔辛在这一领域作为欧洲的重要参与者脱颖而出。

OSIRIS-REx小行星样本：生命起源的线索​

OSIRIS-REx小行星样本：生命起源的线索

NASA的OSIRIS-REx任务带回了121.6克的小行星Bennu样本。初步分析显示，样本富含碳、氮和有机化合物——这些是已知生命的关键元素。样本中还包含了原始的镁-钠磷酸盐，这在任何陨石中尚属首次。

Bennu的成分暗示了其过去可能存在水的历史，可能是从一个小型的古老海洋世界分离出来的。这一发现引发了关于这些元素如何聚集的问题，并为Bennu的历史提供了线索。

小行星的元素与太阳的成分高度一致，自太阳系诞生以来未受触动。这使得Bennu成为了一个时间胶囊，提供了对早期太阳系的一瞥，并可能揭示了导致地球上生命出现的原始化学过程。

OSIRIS-REx的首席研究员Dante Lauretta强调了研究此类材料的重要性，这对于理解太阳系的形成和生命的起源至关重要。

未来几年，多个实验室将对Bennu的样本进行分析，期待更多关于类地行星起源和演化的发现。

工具​

简化的移动应用创建工具，适用于 Shopify 商店​

简化的移动应用创建工具，适用于 Shopify 商店

LEO移动应用构建器简化了Shopify应用开发流程。它提供拖放界面、无限通知、应用内过滤器、多货币支持和本地语言选项。该工具使任何人无需编码即可为其Shopify商店创建移动应用。

拖放界面：一种用户友好的设计方法，通过简单的鼠标操作移动和放置屏幕上的元素，消除了对复杂编码的需求。

核模板用于自动化安全扫描​

GitHub上的“projectdiscovery/nuclei-templates”是一个安全测试模板集合。这些模板按类型——云、DNS、HTTP——组织，自动化漏洞扫描。基本文件指导使用和贡献。自2020年4月以来，已有43,949次提交，它是安全专业人员的强大工具。

GitHub是一个用于托管和协作代码项目的平台。仓库（repo）是保存项目文件及其修订历史的存储空间。提交（commits）是对仓库中文件的更新或更改。

OpenAI的Whisper：多功能语音识别模型​

OpenAI的Whisper：多功能语音识别模型

Whisper, OpenAI的模型，在语音任务中表现出色。它能识别、翻译、识别语言。经过多样音频训练。

多任务处理，稳健。在语音技术中很有用。资源在线可得。

  • 多语言：能够理解和处理多种语言。
  • 模型：用于预测或理解数据的数学构造。
  • arXiv：科学论文在发表前的在线存档。
  • Colab：Google提供的免费云服务，用于运行Python代码和Jupyter笔记本。

NATS消息传递系统：源代码和文档​

NATS，一个消息系统，位于GitHub仓库“nats-io/nats-server”中。由“nats-io”管理，它是云原生计算基金会的组成部分。支持40多种语言。

仓库包含：

  • 配置、文档、Docker文件和服务器组件。
  • 关于行为准则、贡献、依赖关系和治理的Markdown文件。
  • 自2012年以来活跃，超过9,389次提交。

关键术语：

  • 云原生计算基金会（CNCF）：一个推广云原生应用的组织。
  • 持续集成/部署（CI/CD）：自动化软件开发流程的实践。

Airclap：快速、离线跨设备文件传输​

Airclap：快速、离线跨设备文件传输

Airclap 快速发送文件，无需互联网。适用于所有设备——Windows、Mac、手机。界面简洁现代，传输速度超快，并能追踪已发送的文件。

"局域网"（LAN）连接附近设备，不通过网络。"跨平台"意味着兼容任何设备。"超快"指文件发送速度比通常更快。"现代用户界面"（UI）意味着外观美观且易于使用。

AI驱动的电子商务品牌管理​

AI驱动的电子商务品牌管理

Krut AI 简化电子商务流程。它能生成产品图片、创作广告文案、编辑视觉和文本内容，并支持多语言交流。这一工具简化了在线品牌管理，服务于全球受众。

资源​

Twitter: Will​

Web 开发资源： https://github.com/riti2409/Resources_for_Web_Development

Twitter: Marc Lou​

我作为独立创业者的所有学习心得：如何寻找创业点子，快速启动，并实现盈利 ↓https://marclou.beehiiv.com/

Twitter: 小互​

教你如何使用 AI 在几秒钟内将 YouTube 视频转换为SEO友好的博客文章https://xiaohu.ai/p/11161

Twitter: Justin Welsh​

需要一些信心来建立自己的精益、盈利的个人企业吗？试试我的通讯《周六独行侠》。每周有超过22万独行侠阅读。免费加入这里：https://www.justinwelsh.me/subscribe

Twitter: Pat Walls​

做得不错，@hieudinh！👏 还有50个独立开发者每月至少赚取1万美元的例子：https://www.starterstory.com/solo?utm_source=twitter&utm_campaign=compressx

Twitter: Wilson Wilson​

我简直不敢相信这是免费的。@posthog 编写了一本极其详尽的手册，详细分享了他们的公司在各个层面的运作方式。包括工程、设计、市场营销、运营等等。对于SaaS团队来说，有很多可以借鉴的想法。https://posthog.com/handbook

Twitter: Justin Welsh​

如果你的网站流量没有转化为购买，那么它就是毫无意义的。最近，我帮助一位朋友通过一个简单的改变提升了27%的转化率。明天，我将分享我的5-4-3-2-1方法，教你如何创造无法抗拒的优惠。加入220K，明天获取这一期内容：https://www.justinwelsh.me/subscribe

Twitter: Go​

通过配置文件引导优化（PGO），您可以通过在运行时为Go编译器提供应用程序的配置文件，帮助其做出更好的优化决策。了解PGO的工作原理以及如何使用它——包括在Google Cloud上：https://cloud.google.com/blog/products/application-development/using-profile-guided-optimization-for-your-go-apps