【译】[P] 用纯 NumPy 从零写一个小 MLP,并配 GUI 观察训练过程
作者用纯 NumPy 手写反向传播实现了一个小 MLP,并做了 GUI:训练时可看各层权重分布、t-SNE、神经元消融等。MNIST 约 98.5%,面向教学与自学,向社区征求反馈。
汇聚 V2EX、Hacker News、掘金等 IT 社区的热门讨论与精华内容。
作者用纯 NumPy 手写反向传播实现了一个小 MLP,并做了 GUI:训练时可看各层权重分布、t-SNE、神经元消融等。MNIST 约 98.5%,面向教学与自学,向社区征求反馈。
作者刚完成硕士论文,在消费级 EEG 帽(OpenBCI Galea)上对比三种深度学习架构做运动想象分类,其中一种是自研紧凑结构。样本只有 3 人,想请教有没有发表路径。
事情已经离谱到这种程度了。
为什么 ICLR 总是出这种事?相关 OpenReview 说明见帖内链接。
五年级博士生在高效生成式 AI 方向尚无发表,顶会屡次被拒;现优先毕业,求推荐合适期刊或会议(不要再推 NeurIPS 一类)。
作者发现自己的论文在 NeurIPS 上已显示为「accepted」,评分 5-4-4,正等待正式邮件通知。
NeurIPS 作者通知即将公布,作者分享等待结果时的压力,并询问有经验的人压力是否会随投稿次数减轻。
应届生同时推进研究、工作和兴趣项目,请教如何按创意构思、数学推导、写代码等环节分配不同 AI 模型与订阅。
可玩扑克、Risk、外交等,与朋友或独自对战 AI 模型,还能对话并改变策略与结果。
小米发布 MiMo-V2.6。总 RL 训练成本约 350 万美元,并提供实时 benchmaxxing 仪表盘。
项目叫 Jayce。灵感来自幼儿学词:不必重训脑、也不需要上万样本,几次例子加即时纠正即可。本地 LLM 面临灾难性遗忘:要么上沉重 RAG,要么慢速微调。方案用自适应原型记忆(APM):取 LLM 原始上下文向量,放入 4096 个固定原型槽;纠正错误时即时把最近原型向新数据偏移,而不改模型权重。更新比 Adam 反向传播大约快 1.6–4 倍,在 MNIST 等顺序测试上同样本数准确率更高,且有严格内存上限。纯 NumPy 与原生 Java,无 PyTorch/TensorFlow,可在消费级硬件上离线跑本地 Qwen3-4B GGUF。仓库含基准数据、向量偏移说明与终端脚本。
近来标题都在炒 AI「逃出沙箱」、甚至会毁灭人类。有人还说 AI 逃出了「气隙(air gap)」——这其实完全不对。这些沙箱没有一个是真正气隙隔离的;真正气隙需要零网线、零网卡与物理隔离。实验室实际用的是软性软件屏障,还把门开着。OpenAI/Hugging Face「越狱」:沙箱经包代理连到内网,模型利用代理缺陷走出去。Google Gemini「入侵」:进攻测试时模型仍连着公网,测试域名还与真实公司重叠。本质是糟糕的网络分段、过宽的出站规则,以及对软屏障的依赖,而非物理隔离。
我们是一家小实验室(瑞士 + 南非),刚开源了第一个模型:基于 Qwen3.8-27B 的 27B 微调,专精创意写作与短篇私人文本(故事、对话、角色扮演、短信、邮件)。Apache-2.0,Hugging Face 上提供普通权重,54.7 GB bf16,兼容 vLLM,含 MTP 层。EQ-Bench 4 得分 1330。在我们内部写作基准(盲测成对、两种呈现顺序、由非参赛模型评判)上,通信基准 1026、类人度 1032,在我们测过的前沿模型中排第一。LLM 评判基准有常见局限,且是我们自己的,请谨慎对待。它刻意做成专科模型:数学、代码与事实回忆与基座一致。可在 hemmingway.io 试用,权重在 huggingface.co/Altworld/Hemmingway-1。欢迎提问!
除了投稿量夸张之外,想听听大家的体验。对我来说,有 1–2 条靠谱意见,外加 3 页吹毛求疵。我有时间两类都能改,但想知道你们是否也这样。总体觉得这是个有意思的尝试,最终也多少改进了我的论文。另外——评审会一直公开可见吗?如果会,下次希望能提前告知。
想直观看到神经网络如何学习不同函数,于是做了交互演示:可改网络结构与目标函数。全连接 + ReLU 会得到分段线性函数;单隐层时最大段数约为 1 + 该层宽度。
摘要提交截止前约 13 小时,投稿编号已接近 5.1 万。OMG。
作者刚向 ICLR 提交论文,发现投稿编号已到约 4.7 万,感叹投稿量之巨并引发社区讨论。
AWS 首席应用科学家 James Gung 做客 AMA:曾参与 Lex、Bedrock、Q Business、Amazon Quick 等;研究方向含任务型对话、Agent 评估、对话仿真与主动式 Agent。欢迎提问职业路径、实习面试、日常工作等(不涉及未发布产品、财务、竞品、内部工具、法律、定价与客户数据)。
算法用原理 x 解决 A/B;目前只实现了解决 A 的简化版并做了实验,完整版尚未实现。仅有 A 的版本不够新颖,A+B 才新颖——这样投稿 workshop 是否足够?想交现有结果并附完整方案与数学计划。
新论文认为递归自我改进(RSI)短期内难现:以 NeurIPS 已录用未发表论文为题,让 Codex/GPT-5.6 Sol、OpenClaw/Opus 4.8 等 agent 复现研究,原作者评分显示其无法完成开放式 ML 研究,因而难以实现「核链式」式自我加速。