GitHubDaily @[email protected]
Bot
微信公众号「GitHubDaily」
微博自动同步bot，原则上不搬运广告内容呢，如果自动搬运了广告内容麻烦帮忙点一下举报
Joined Aug 2020
由 Hugging Face 分享的一份终极调参指南：在大规模GPU集群上训练大语言模型。
主要目标：
- 系统地讲解如何将大语言模型训练从单 GPU 扩展到数千 GPU 规模
- 让复杂的分布式训练技术变得更容易理解和实践
- 弥补当前开源领域中分布式训练知识零散的问题
三个核心支柱：
- 原理与概念讲解
- 高层次解释每种方法的工作原理和优劣势
- 详细说明模型训练中的显存使用情况
- 介绍各种并行技术(数据并行、张量并行、流水线并行等)
- 代码实现参考
- picotron：教学用简化实现，便于学习
- nanotron：Hugging Face的生产级实现
- 实际训练基准
- 提供真实硬件环境下的性能评测
- 包含在最多512个GPU上运行的4100多个分布式实验数据
中文地址: https://huggingface.co/spaces/Ki-Seki/ultrascale-playbook-zh-cn
英文地址: https://huggingface.co/spaces/nanotron/ultrascale-playbook
在学习之前对我们有一些知识要求：
- 需要对LLM架构有基本了解
- 需要熟悉深度学习模型训练原理
- 分布式训练方面可以是新手
分享 GitHub 上一个开源免费的浏览器插件：MultiPost。
它能够将我们所分享的内容，一键同步发布到多个社交平台上，如微博、知乎、小红书等十多个主流平台。
GitHub: https://github.com/leaper-one/MultiPost-Extension
支持发布文字、图片、视频等多种内容形式，支持自动抓取网页内容、定时发布、结合 AI 生成内容等功能。
TinyTroupe：一个基于大语言模型（LLM）的多智能体人物模拟库，旨在增强想象力和商业洞察力。
用于模拟具有特定性格、兴趣和目标的人物，这些人物可以进行互动，并在模拟的环境中进行行动。
GitHub: https://github.com/microsoft/TinyTroupe
适用于广告评估、软件测试、数据生成、产品和项目管理以及头脑风暴等应用场景。
GitHub 上一个基于 WeChaty + 大模型实现的微信机器人：WeChat Bot。
可以用来帮助我们自动回复微信消息，或者管理微信群/好友，检测僵尸粉等。
GitHub: https://github.com/wangrongding/wechat-bot
目前已支持接入 DeepSeek、ChatGPT、Kimi、讯飞 等模型的 API 服务。
不过提醒下，建议使用小号来尝试。
GitHub 上一个可用于批量下载并备份已购买的 Kindle 电子书籍工具：Amazon Kindle eBook Bulk Downloader。
GitHub: https://github.com/treetrum/amazon-kindle-bulk-downloader
值得注意的是：该工具不支持最新的 2024 款 Kindle 设备。
吴恩达在 GitHub 上开源的一个 Python 库：aisuite，旨在提供一个统一接口，让开发者可以轻松使用不同大语言模型。
项目为不同模型 API 提供了一个标准化接口，进而使开发者与 LLM 互动变得更为简单高效，可方便无缝对比不同大模型的输出结果。
GitHub: https://github.com/andrewyng/aisuite
目前已支出 OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace Ollama, Sambanova 和 Watsonx 等模型。
一个现代化的开源 Markdown 编辑器：NeuraPress，专注于提供优质的微信公众号排版体验。响应式设计，支持移动设备。
搭配 DeepSeek 和微信公众号助手使用，碎片时间也能用手机发有排版的文章了。
GitHub: https://github.com/tianyaxiang/neurapress
🎨 实时预览 - 所见即所得的编辑体验
📱 移动端支持 - 支持手机上直接编辑，搭配 DeepSeek和微信公众号助手使用
🎯 微信风格 - 完美适配微信公众号样式
🔧 样式定制 - 灵活的样式配置选项
📋 一键复制 - 支持复制带格式的预览内容
🎭 模板系统 - 内置多种排版模板，一键切换
🚀 快速高效 - 基于 Next.js 构建，性能优异
GitHub 上一个用于 BiliBili 的浏览器扩展：BewlyBewly，旨在通过重新设计 BiliBili 用户界面来提升用户体验。
GitHub: https://github.com/BewlyBewly/BewlyBewly
设计灵感来自于 YouTube、Vision OS 和 iOS，从而实现了更具视觉吸引力和用户友好性的界面。
Vercel 开源的一款 AI 聊天机器人：AI ChatBot。
项目基于 Next.js 和 Tailwind CSS 构建，界面清晰简洁，具备完整的 AI 聊天功能。
GitHub: https://github.com/vercel/ai-chatbot
有需要搭建自己 AI 聊天机器人的开发者，可以从这个项目里面学到不少东西。
GitHub 上一款基于 AI 构建的开源文档搜索引擎：RAGFlow。
该项目是一个基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。
可为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
GitHub: https://github.com/infiniflow/ragflow
项目主要功能特性如下：
🍭 “Quality in, quality out”
- 基于深度文档理解，能够从各类复杂格式的非结构化数据中提取真知灼见。
- 真正在无限上下文（token）的场景下快速完成大海捞针测试。
🍱 基于模板的文本切片
- 不仅仅是智能，更重要的是可控可解释。
- 多种文本模板可供选择
🌱 有理有据、最大程度降低幻觉（hallucination）
- 文本切片过程可视化，支持手动调整。
- 有理有据：答案提供关键引用的快照并支持追根溯源。
🍔 兼容各类异构数据源
- 支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据、网页等。
🛀 全程无忧、自动化的 RAG 工作流
- 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
- 大语言模型 LLM 以及向量模型均支持配置。
- 基于多路召回、融合重排序。
- 提供易用的 API，可以轻松集成到各类企业系统。
微软在 GitHub 开源的一款 Python 工具：MarkItDown。
可用于将文件和办公文档，快速转换为 Markdown 格式，使内容更加易于维护与编辑。
GitHub: https://github.com/microsoft/markitdown
主要支持 PDF、Word、Excel、PPT、HTML、图像音频等多种格式，使用便捷。
麻省理工出版社出品的一本的 AI 书籍：《深入了解机器学习》。
无论是对于初学者，还是有一定开发经验的人群，该书都有着极大的阅读价值。
书中覆盖深度学习的诸多知识点，如监督学习、卷积网络、图像生成、扩散模型、图神经网络等。
地址: https://udlbook.github.io/udlbook/
另外，里面还包含了不少 Python 笔记，可帮助学生通过编程的方式，进一步巩固基础知识。
GitHub 上一款强大的本地网页版 PDF 文件处理工具：Stirling-PDF，可 Docker 部署。
提供了丰富的 PDF 文件操作功能，包括拆分、合并、格式转换、内容排列、添加图片、旋转、压缩等。
GitHub: https://github.com/Frooodle/Stirling-PDF
其安全私密性非常高，所有文件和 PDF 操作都是在客户端进行，或者仅在服务器内存中临时处理，任务完成后即刻删除。
一旦用户下载了文件，该文件就会从服务器上删除。 #AI创造营
Ollama-Scan，一个基于 Ollama 的命令行工具，提供友好的交互式界面来管理和使用 Ollama 模型。
GitHub: https://github.com/b3nguang/Ollama-Scan
主要功能特性如下：
📃 列出所有可用的模型
📥 拉取新的模型
🔍 查看模型详细信息
💬 与模型进行对话
⚡️ 查看运行中的模型进程
🎨 美观的命令行界面（使用 Rich 库）
🔄 交互式命令补全
GitHub 上一份开源的技术学习资料：build-your-own-x，自己动手，丰衣足食。
该库收集了诸多优质资源，教你如何构建一些属于自己的东西，内容主要分为人工智能、增强现实、机器人、编辑器、命令行工具、神经网络、操作系统等几大类别。
一份精心收集整理的优秀 AI 助手列表：Awesome assistants。
这里收集了各种各样类型的 AI 助手，比如营销助理、赚钱助手、代码助手、英语家教、Excel 助手等等。
GitHub: https://github.com/awesome-assistants/awesome-assistants
收集的列表提供了 json、csv、tsv、html 文件格式，方便你集成使用。 #AI创造营
一个可帮你在家快速搭建 AI 集群的开源项目：exo。
该项目支持将现有设备统一到一个功能强大的GPU中，支持 iPhone，iPad，Android，Mac，Nvidia，树莓派等等几乎所有设备。
GitHub: https://github.com/exo-explore/exo
在项目部署成功后，一旦有新设备联网，即可接入使用，充当 AI 算力集群的一部分。
一个带 Web 界面简单易用的 AI 声音克隆工具。
可使用任何人类音色，将一段文字合成为使用该音色说话的声音，或者将一个声音使用该音色转换为另一个声音。
GitHub: https://github.com/jianchang512/clone-voice
支持中、英、日、韩、法、德、意等 16 种语言，另外还可以在线从麦克风录制声音。
使用非常简单，提供 exe 整合包，开箱即用。 #AI创造营
近日，随之 DeepSeek V3/ R1 火爆全网，基于原始模型的解决方案和 API 服务已随处可见，陷入低价和免费内卷。
为了帮助更多开发者，以低成本打造高质量私有模型，提升业务竞争力与价值。
GitHub 上知名开源项目 Colossal-AI 通过后训练（post-training）结合专业领域数据，正式发布了「开源大模型后训练工具箱」！
GitHub: https://github.com/hpcaitech/ColossalAI
该工具箱包括以下内容：
- DeepSeek V3/ R1 满血 671B LoRA 低成本 SFT 微调；
- 完整的强化学习工具链 PPO，GRPO，DPO，SimPO 等；
- 无缝适配 DeepSeek 系列蒸馏模型在内的 HuggingFace 开源模型；
- 兼容支持英伟达 GPU、华为昇腾 NPU 等多种硬件；
- 支持混合精度训练，gradient checkpoint 等训练加速降低成本；
- 灵活的训练配置接口，支持自定义奖励函数、损失函数等；
- 提供灵活的并行策略配置接口，包括数据并行、模型并行、专家并行、ZeRO 和 Offload 等，以适应不同硬件规模。
DeepSeek V3/R1 满血版参数高达 6710 亿，通过该项目，开发者仅需简单几步，即可快速实现低成本微调。
目前，该方案已在 GitHub 正式开源，感兴趣的同学可以深入了解，学习一下。
GitHub 上一个开源的音频、音乐和语音生成整合工具包：Amphion。
支持如下功能：
- 文本转语音（TTS）：高性能，支持主流模型及架构，可生成自然的声音。
- 歌声转换（SVC）：可将某人歌声转换成其他人歌声，内置张学友、陈奕迅、王菲等已训练好的声音。
- 文本转音频（TTA）：可通过文本提示，生成逼真的声效、语音以及音乐，类似于 AudioLDM。
Bot
微信公众号「GitHubDaily」
微博自动同步bot，原则上不搬运广告内容呢，如果自动搬运了广告内容麻烦帮忙点一下举报
Joined Aug 2020
