Show newer

每次看到有新出的大模型都想部署使用,但往往需考虑自己电脑配置是否够用,别辛辛苦苦部署完推理速度确慢得像蜗牛一样,甚至不能用浪费精力与时间。

在此给大家推荐一款能直观预估大模型部署所需的硬件资源的工具:LLM Inference VRAM Calculator。

通过简单设置模型类型、量化精度、批处理大小等参数,就能实时计算出所需显存、生成速度和吞吐量,甚至能看到详细的内存分配情况和多 GPU 扩展性能。

在线使用:apxml.com/tools/vram-calculator

而且上面可选择的模型紧跟主流,包含最新的 Qwen3 系列模型。想要部署大模型又担心硬件不足的开发者可以先到这里预估参考看下。

:icon_weibo: weibo.com/5722964389/Pqhaco4Ev

分享 GitHub 上一份精心整理的机器人模拟器资源列表:best-of-robot-simulators。

涵盖了 9 大类共 110 个优秀工具,包含通用机器人模拟器、2D 模拟器、物理引擎、无人机模拟器等类别。

GitHub: github.com/knmcguire/best-of-robot-simulators

列表中的项目按照 Star、Fork 、Issue 数量以及 Commit 提交活跃数进行质量评分排序,同时保持每周更新,方便大家快速找到优质项目。

如果你是一名机器人模拟器开发者,相信这份资料合集对你有一定帮助,节省了大量筛选时间。

:icon_weibo: weibo.com/5722964389/PqgzFrfw3

平时在处理论文、报告、产品文档这类资料时,为了找到特定信息往往需要逐页查找,或者依赖传统搜索工具,特别是处理大量文档时更是耗时又费力。

面对这一困境,Kotaemon 这个开源项目让我们能直接与文档进行对话,通过聊天方式即可提取所需的各种信息,彻底改变了我们与文档交互的方式!

它采用混合检索技术结合大语言模型,在提供答案的同时还会附上详细引用和文档预览,支持表格和图片识别,甚至能够处理复杂推理需求,让检索体验更精准高效。

GitHub: github.com/Cinnamon/kotaemon

主要功能:

- 支持多用户登录,可将文件整理成私人/公共集合并分享

- 兼容流行的 API 服务商和本地 LLM 模型,保护隐私数据

- 多模态文档解析,支持提取图表和表格中的信息

- 高级引用系统,在浏览器中直接预览原文并高亮相关内容

- 复杂推理支持,能够处理多步骤问题和复杂查询

- 可定制设置界面,允许调整检索和生成过程的关键参数

只需通过 Docker 或 Python 环境安装即可使用,支持本地部署保护敏感数据。

:icon_weibo: weibo.com/5722964389/Pq8IAsPhl

一份精心收集整理的系统设计面试资源列表:system-design,已狂揽 15.4k Star!

旨在帮助大家通过系统设计面试,并提供很多知名科技公司的实战案例,如实时游戏排行榜、缓存一致性、实时协作、数据库迁移策略等。

GitHub: github.com/systemdesign42/syst

另外,还收集了很多有关系统设计的基础知识,以助大家学习。

:icon_weibo: weibo.com/5722964389/Pq883tNKv

在 GitHub 上发现一份从零开始学习机器学习算法教程:Machine-Learning。

包含了神经网络和 Transformer 模型的详细解释,以及关键的 Python 实现代码,如 Neuron、Layer 和 NeuralNetwork 类。

GitHub: github.com/DorsaRoh/Machine-Le

此外,还提供了关于机器学习的视频格式内容和相关的 Jupyter Notebook 文件。

:icon_weibo: weibo.com/5722964389/Pq7Q1kfik

分享 GitHub 上一份收集整理了一站式的大模型微调笔记合集: Unsloth Notebooks。

提供 40+ 份笔记,涵盖了从 Llama 3 到 Phi 4、Mistral、Qwen 2.5 等几乎所有主流开源模型,每个笔记本都有详细的注释和指南,便于我们直接上手微调训练模型。

GitHub: github.com/unslothai/notebooks

主要内容:

- 按模型类型分类的微调笔记本(Llama、Phi、Mistral、Qwen、Gemma 等)

- 多种训练方法(GRPO、DPO、Alpaca、会话微调等)全覆盖

- 视觉模型专用笔记本(Llama 3.2、Qwen 2.5 VL 等)

- 语音合成模型训练资源(如 Orpheus TTS)

- 所有笔记本都为 Colab 和 Kaggle 环境优化

只需点击相应的链接即可开始测试,想快速入门与实践大模型微调的开发者值得一看。

:icon_weibo: weibo.com/5722964389/PpZ5UBJXz

此前分享过的一本开源书籍《动手学大模型》,从基础到高级通俗易懂地讲解了如何理解和应用大模型。

今天发现其 GitHub 仓库上更新补充了一些关于 LLM 视觉教程,帮助我们理解复杂 AI 概念的问题。

这系列教程保持以往书中的可视化风格,通过精美图解讲解 Transformer、Mamba 等高级概念,让抽象理论变得超直观。

GitHub: github.com/HandsOnLLM/Hands-On

包括如下主要内容:

- 通过视觉化图解深入讲解 Transformer LLM 工作原理;

- 直观解释模型量化技术,理解如何高效部署大模型;

- 图解 Mamba 和状态空间模型的创新设计与优势;

- 讲解专家混合系统(MoE)如何实现更大规模模型;

- 可视化解析 Stable Diffusion 图像生成技术原理;

- 深入剖析 DeepSeek-R1 和 LLM 推理能力与 Agent 系统。

在开始这份教程学习之前,建议大家先看完《动手学模型》这本书籍后再来看这里的补充。

:icon_weibo: weibo.com/5722964389/PpYHzdig4

接收新项目或许阅读开源代码库时,往往理解代码结构和功能需要花费大量时间,特别面对缺乏文档介绍的复杂项目更让人头疼。

现在有了 DeepWiki Open 开源项目,这个痛点将彻底被解决,让我们高效理解任何代码库。

它利用 AI 智能分析代码结构,自动生成全面的文档和可视化图表,并将所有内容组织成一个易于导航的 Wiki,让复杂代码库变得一目了然。

GitHub: github.com/AsyncFuncAI/deepwik

主要功能:

- 一键将任何 GitHub 或 GitLab 仓库转换为交互式 wiki 文档

- 支持私有仓库访问,确保项目安全性

- AI 驱动的智能代码分析和关系理解

- 自动生成 Mermaid 图表显示架构和数据流

- 简洁直观的界面方便探索整个项目结构

使用 Docker 只需几行命令即可部署运行,如果你是一名开发者这个工具不妨了解下。

:icon_weibo: weibo.com/5722964389/PpQs81BNK

在选择云储存备份一些大文件时,占用大量存储空间会导致我们成本飙升。

最近发现的一款名为 “Kopia” 开源项目,提供了端到端加密和智能存储功能,能有效帮我们降低存储成本。

它通过高效的压缩和去重技术大幅减少存储空间,同时支持几乎所有主流云存储平台,包括 S3、Azure、Google Cloud 等,还能备份到本地或网络存储。

GitHub: github.com/kopia/kopia

主要功能:

- 端到端”零知识”加密,确保数据绝对安全

- 智能压缩和去重技术,大幅节省存储空间和成本

- 支持多种云存储、网络和本地存储选项,超级灵活

- 同时提供命令行和图形界面,适合各类用户使用

- 错误校正功能,确保备份数据完整可靠

- 增量备份机制,只备份变更部分,速度超快

提供了 Windows、macOS 和 Linux 安装包,可通过 GitHub 发布页直接下载安装使用。

:icon_weibo: weibo.com/5722964389/PpPRBj4bG

每次新装完 Windows 系统后,要一个个手动安装软件、清理臃肿组件、优化各种设置,这个过程既耗时又繁琐。

最近发现一款开源免费的 Windows 系统管理工具:WinUtil,能帮助我们完成大量繁琐操作,节省不少维护时间。

通过简单的 PowerShell 命令一键启动,提供了软件批量安装、系统优化、故障排除和更新修复四大功能模块,整个界面简洁直观,操作起来特别轻松。

GitHub: github.com/ChrisTitusTech/winu

主要功能:

- 一键批量安装常用软件,省去到处找安装包的麻烦

- 系统去臃肿工具,移除无用组件提升性能

- 系统配置优化,自动调整最佳设置

- Windows 更新修复工具,解决更新相关问题

- 简洁直观的图形界面,不需要记忆复杂命令

- 开源且持续更新,跟进最新 Windows 变化

只需在管理员模式下运行 PowerShell 并输入简单命令即可使用,适合刚装完系统或想提升系统性能的 Windows 用户。

:icon_weibo: weibo.com/5722964389/PpPhd9NkC

在 GitHub 上发现一款简直是技术面试者的辅助开源神器:CodeInterviewAssist。

它能够创建一个对 Zoom 等视频软件不可见的窗口,再利用 AI,自动分析截图中的题目,并给出代码解法,甚至还能提供实时调试帮助。

GitHub: github.com/greeneu/interview-c

主要功能:

- 99% 隐形窗口,能绕过大多数屏幕捕获方式;

- AI 驱动的截图分析,自动提取并理解编程问题;

- 生成详细解答,包含时间/空间复杂度分析;

- 实时代码调试,提供结构化反馈和优化建议;

- 灵活的窗口管理,可自由移动、调整透明度;

- 多种编程语言支持,一键切换语言偏好。

通过本地部署安装,简单配置下,即可使用,需要 OpenAI API Key。

:icon_weibo: weibo.com/5722964389/PpMUWfbEf

看到昨天 DeepSeek 开源的 DeepSeek-Prover-V2 模型官方介绍了。

该模型改变了我们处理形式化数学证明的方式,将复杂定理自动分解为简单子目标,并生成严谨的 Lean 4 证明代码。

同时结合了 DeepSeek-V3 模型的推理能力与强化学习,大幅提升了解题效率。

主要信息概括:

- 提供 7B 和 671B 两种参数规模的模型选择;

- 长上下文窗口支持(7B 模型支持 32K 令牌);

- 在 miniF2F 测试集上达到 88.9% 的通过率,斩获第一;

- 能解决 49 个 PutnamBench 难题(共 658 个);

- 包含 325 个形式化数学问题的 ProverBench 测试集。

GitHub: https:// 网页链接

模型下载: 网页链接

数据集: 网页链接

详细介绍可到 GitHub 上查看论文,目前模型以及数据集均已开源。

:icon_weibo: weibo.com/5722964389/PpMnpeHQF

厉害了!这个应该会是老板们喜欢的开源免费工具:ScreenPipe。

它能够对我们的电脑进行 24 小时监控,不仅能录制屏幕、语音、键盘、鼠标和摄像头等数据,还能将这些数据保存到本地数据库。

GitHub: github.com/mediar-ai/screenpip

最后,通过 AI 助手直接对话、总结、回顾我们在电脑上所做过的事情。

提供了 Windows 和 macOS 系统开箱即用的安装包,有需要的不妨安装试试。

:icon_weibo: weibo.com/5722964389/PpH1Dkruc

给喜欢跑步的大家推荐一款开源免费的跑步数据整合工具:Running Page。

它能自动同步 Nike、Keep、佳明等平台的数据,并生成一个简单又美观的个人专属跑步主页。

GitHub: github.com/yihong0618/running_

除了能将轨迹优美地呈现在地图上,还能生成年度、月度的统计图表,让我们的跑步数据可视化。

并且最近还更新了一个实用功能,利用 AI 一键自动生成跑步分享图,超好看。

感兴趣的可通过 Vercel 或 GitHub Pages 一键部署,简单配置平台账号信息即可使用。

:icon_weibo: weibo.com/5722964389/PpGr678wX

五一假期前,DeepSeek 发新模型了!

DeepSeek 刚刚在 HuggingFace 上传了新模型:DeepSeek-Prover-V2-671B。

模型下载:huggingface.co/deepseek-ai/DeepSeek-Prover-V2-671B

该模型是 DeepSeek-Prover-V1.5 的升级版,专注于数学证明领域,此次从 V1.5 仅仅只有 7B 参数的小模型,直接升级到 671B 参数。

相信能力将会有大幅提升,静等待 DeepSeek 官方发公告。

:icon_weibo: weibo.com/5722964389/PpFQNBM0i

GitHub 上 FMHY 这份收集了互联网上众多免费资源的合集,值得收藏!

涵盖了电影、动漫、音乐、书籍、下载、游戏、去广告等等使用资源。

GitHub: github.com/fmhy/edit

此外,还收集了系统、文件、网络、社交媒体、图像、视频、开发者等等实用的工具。

:icon_weibo: weibo.com/5722964389/PpET4eVbe

跟大家分享一款超好用的局域网文件传输开源工具:Snapdrop。

基于浏览器运行,只需在同一网络下,能在任何设备间无障碍共享文件,像苹果 AirDrop 一样。

GitHub: github.com/Snapdrop/Snapdrop

主要功能:

- 同一网络下设备自动发现,无需账号注册

- 支持匿名上传下载,保护个人隐私

- 全程端到端加密,确保文件安全

- 纯浏览器操作,无需安装任何软件

- 支持 PWA,可添加到手机主屏幕随时使用

项目完全开源,可在自己服务器上自部署使用,用来在多设备间传输临时文件颇为不错。

:icon_weibo: weibo.com/5722964389/PpDurrrO3

如果你的英语基础语法比较弱,推荐看一下这份从 0 开始学习英语语法的开源笔记:English Note。

通过生动有趣的插图方式,为我们深入浅出的讲解英语的各种词语(如形容词、名词、副词、介词等)、句子成分(简单句、复合句等)以及句型(定语从句、状语从句等)等等内容。

GitHub: github.com/hzpt-inet-club/engl

通过这份笔记,那些复杂枯燥的语法知识将变得有趣易学,值得大家一看。

:icon_weibo: weibo.com/5722964389/Ppx0BeZxG

跟大家分享一款开源的浏览器 AI 插件:Pagetalk。

在右侧提供便捷的 AI 对话框,自动提取当前网页内容作为上下文,轻松进行总结,自由对话提问,支持自定义多种 AI 助手。

GitHub: github.com/jeanchristophe13v/P

主要功能:

- 一键总结网页内容,快速抓住关键信息

- 支持上下文对话,可直接提问网页相关内容

- 自定义多种 AI 助手,适应不同使用场景

- 多种 Gemini 模型选择,包括最新的 2.5 Flash

- 支持图片上传和粘贴,实现多模态交互

- 富文本渲染,支持代码高亮和各种图表公式

目前插件还未上架到应用商店,需下载压缩包,在开发者模式下加载安装使用。

:icon_weibo: weibo.com/5722964389/PpwAR1jg7

炸裂!阿里重磅发布 Qwen3(千问3) 全球最强开源模型,引爆整个 AI 技术圈!

作为国内首个 “混合推理模型”,在性能上全面超越 DeepSeek R1等一众领先模型,创下国产模型及全球开源模型新高。

为了满足大家各种使用场景,共开源了 8 个不同尺寸千问 3 “混合推理模型”,且每一个在同尺寸模型上性能最优,全部都可免费商用。

其中旗舰版 Qwen3-235B-A22B 模型,仅4张H20即可部署,显存占用仅为性能相近模型的三分之一。

另外千问 3 还原生支持了 MCP 协议,在工具调用能力方面表现相当出色,搭配此前开源的 Qwen-Agent 开发框架使用,可以充分发挥千问 3 的 Agent 能力。

下面,再带大家一起去测试下模型。

我们先来个简单的提问测试:“Qweeeeen 里面有多少个 e?”

测试结果如图 4,可以看到千问 3 轻轻松松就给出了准确答案 “5 个”。

接着加大难度,来一道大厂很喜欢用来面试大家逻辑推理能力的题目:

“烧一根不均匀的绳要用一个小时,如何用它来判断半个小时?烧一根不均匀的绳,从头烧到尾总共需要一个小时。现在有若干条材质相同的绳子,问如何用烧绳的方法来计时一个小时十五分钟呢?”

过程与结果如图 5,差点把CPU 干冒烟,不过在深度思考推理之后,还是给出了正确的答案。

最后,再来测试下模型的多模态推理任务,用一张爆火测试图片 “六个手指图”,让模型告诉我图中有几个手指:

结果如图 6,没能通过测试。然后我试了 OpenAI o3、Gemini 2.5 Pro 和 Claude 3.7 Sonnet 模型,它们也同样失败,这或许将是推理模型下一个迭代优化的方向了。

大家不妨也去试试,目前所有模型均可通过 ModelScope、HuggingFace 等平台下载使用,也可以在通义千问 Web 或 App 上在线体验。

Qwen Chat: 网页链接

Hugging Face: 网页链接

ModelScope: 网页链接

GitHub: https:// 网页链接

:icon_weibo: weibo.com/5722964389/PptENBEVB

Show older
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。