1*1卷积
https://www.zhihu.com/question/56024942 可以实现升维和降维 一个1 1 卷积核把3个通道压缩成1个，2个kernel形成2个，只要kernel数小于原来通道数，降维，反之升维，其实相当于全连接层，图上的降维一开始是3个神经元，权重是kernel的值，然后经过全连接变成2个神经元
COMP 6211J slide
Empty memo body in source data.
normal
M
Timeline-first capture
Memos
Quick private memos live in this browser. Owner mode unlocks add and delete controls.
COMP 6211J slide
https://docs.google.com/presentation/d/1u-HweKcox0a6mzhpBX1aF55HlwWEF95kW5vUzvNNvic/edit?usp=sharing
normalOpen link
welcome
welcome
normal
yyyy
yyyy
normal
hello
hhh
normal
hh
hh
normal
Academic
Academic
Daily arXiv reading and Zotero Planning paper list.
Daily Paper
Daily Paper
每日 arXiv agent paper 解读。
Waiting for the first Daily Paper update.
1
TL;DR
Notes
Zotero
Paper List
Zotero Planning 论文整理。
Waiting for Zotero paper list.
Research notes
Notes
Showing 36 of 36 posts
Notebook
Motion & Urban AI
Unraveling Spatio Temporal Foundation Models viathe Pipeline Lens A Comprehensive Review
Preserved Markdown note from the old site.
Motion & Urban AI
Motion Forecasting in Continuous Driving
背景 自动驾驶中的智能体运动预测极具挑战性，因为每个智能体的下一步行动有多种可能性，并且它们在时空上存在复杂的交互 。 在实际应用中，运动预测是随着自动驾驶汽车的移动而重复连续地进行的 。 然而，现有的预测方法通常独立处理每个特定范围内的驾驶场景，完全忽略了连续驾驶场景之间的情境和上下文关系 。 这种简化使得解决方案次优且在实践中效率低...
Motion & Urban AI
MotionDiffuser Controllable Multi Agent Motion Prediction using Diffusion
本文介绍了 MotionDiffuser，一种基于去噪扩散模型（Denoising Diffusion Models）的创新框架，用于可控的多智能体未来轨迹预测。该模型旨在解决自动驾驶中运动预测的固有挑战：多模态性、联合推理和可控性 。 1. 核心思想与优势 扩散模型基础 ：MotionDiffuser 利用去噪扩散模型学习多智能体未来...
Motion & Urban AI
MULTIPATH++ EFFICIENT INFORMATION FUSION ANDTRAJECTORY AGGREGATION FOR BEHAVIOR PREDICTION
MultiPath++ 通过以下几个关键升级来应对这些挑战： 放弃了基于栅格化和 CNN 的方法，转而直接从紧凑的状态描述中建模稀疏世界状态对象 。 引入了一种新颖的上下文感知融合形式，称为多上下文门控（MCG） 。 开发了一种学习潜在锚点嵌入的方式，以简化模型创建并提高性能 。 通过应用集成技术获得了显著的额外收益 。 交互代理编码的...
Motion & Urban AI
DenseTNT End to end Trajectory Prediction from Dense Goal Sets
密集和稀疏概率分布区别 Sparse context encoder :文章使用了vectorNet,VectorNet是一种分层图神经网络，由子图模块（subgraph module）和全局图模块（global graph module）组成。其中，子图模块用于编码车道（lanes）和交通参与者（agents）的特征，全局图模块 使用...
Motion & Urban AI
HiVT Hierarchical Vector Transformer for Multi Agent Motion Prediction
背景 近年来，矢量化方法（vectorized approaches）因其能够捕捉交通场景中复杂的交互作用，在运动预测领域占据了主导地位。 然而，现有方法忽略了问题的对称性，并面临着高昂的计算成本，因此在不牺牲预测性能的前提下，实现实时多智能体运动预测仍然面临挑战。 通过将问题分解为局部上下文提取和全局交互建模，我们的方法能够高效地对场...
Motion & Urban AI
MotionLM Multi Agent Motion Forecasting as Language Modeling
这篇论文提出了一种名为 MotionLM 的新方法，用于预测道路上多个智能体（如车辆、行人、自行车）的未来运动 。其核心创新在于将这个复杂的预测任务类比为 语言建模 。模型学习预测代表智能体轨迹的“运动标记”序列，而不是像传统语言模型那样预测文本序列中的下一个词 。 关键概念与方法详解 1. 运动标记 (Motion Tokens) 离...
Notebook
Multiple Futures Prediction
历史输入 + 地图上下文 ↓ PoV 标准化 + 编码器（RNNEnc） ↓ 动态注意力编码器（DynEnc） ↓ 推断离散 latent 模式 z^n（每个 agent 一个） ↓ →→→ 解码器（RNN） →→→ 多步未来轨迹预测 y {t+1:t+T} ↑ 交互状态更新（所有 agent 协同预测） 输入模块：多 agent 状态...
Research Notes
公式推导
对于原来的log sum 穷尽Z复杂度太高了
Motion & Urban AI
LATENT VARIABLE SEQUENTIAL SET TRANSFORMERSFOR JOINT MULTI AGENT MOTION PREDICTION（特点：推理和训练很快）
AutoBot 是一种用于预测多智能体未来轨迹的生成式模型，它结合了： Set Transformers ：处理集合结构（如不定数量的代理人）。 Sequential Modeling ：处理时间序列依赖。 Latent Variables ：使用 离散隐变量 捕捉多模态未来。 Transformer Encoder Decoder 架...
Research Notes
training
混合精度训练 FP16 (Half Precision) : 占用内存小（16 bits），可以节省显存空间，提升计算吞吐量。 缺点是表示范围较小，容易出现梯度下溢（underflow）和溢出（overflow）问题。 FP32 (Single Precision) : 占用内存相对较大（32 bits），但表示范围更广，数值更稳定。...
Research Notes
benchmark
封闭式评估与基准测试 许多 NLP 任务是“封闭式”的，这意味着潜在答案数量有限1，通常只有一个或少数几个正确答案。 例子包括：情感分类（例如情感标签）和抽取式问答（文档中包含答案的部分）。 封闭式任务的特点是便于自动评估，这与通常的机器学习评估方法相似。 单任务基准测试 专注于评估模型在特定任务上的表现：情感分析：SST, IMDB；...
Notebook
PyTorch Layer and Tensor Notes
nn.linear w = nn.linear(4,2) w.weight.shape (2,4) nn.embedding 常用参数： ① num embeddings (int)： 词典中词的总数 ② embedding dim (int)： 词典中每个词的嵌入维度 ③ padding idx (int, optional)： 填充...
Engineering Log
pyenv解除，优先conda
在zshrc注释即可，需要的时候取消注释 在vscode终端上 多次deactivate，然后activate即可
Motion & Urban AI
DeMo Decoupling Motion Forecasting intoDirectional Intentions and Dynamic States
Motivation 过去的方法对轨迹表示能力以及轨迹和时空环境的交互能力较弱，如只使用一种mode查询 文章的方法使用多个modes进行查询，同时将查询分成两部分：基于原始mode查询来捕获方向意图，和动态状态查询覆盖未来轨迹的多步，然后合起来就是图1(c)，多个状态和方向，覆盖多个可能状态，然后使用attention 和mamba来...
Motion & Urban AI
AMP Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving
一、研究背景与动机 运动预测是自动驾驶系统的关键模块之一，任务是预测周围交通参与者（如车辆、行人等）在未来几秒内的位置。这有助于下游模块（如规划器）做出安全路径决策。 传统方法分为两类： （1）自回归预测（Autoregressive Prediction） 思想：像人一样“边思考边行动”，模型逐步地预测每一个时间步：
Motion & Urban AI
Motion Transformer with Global IntentionLocalization and Local Movement Refinement
论文核心思想 目标： 为自动驾驶系统预测道路参与者（车辆、行人、自行车等）在复杂道路环境下的未来轨迹。 创新点： 提出一种新的预测框架 MTR，它结合了： 1. 全局意图定位（Global Intention Localization） ：确定可能的运动模式（如左转、右转、直行等）； 2. 局部运动细化（Local Movement R...
Research Notes
mathjax渲染问题
发现 会导致网页端显示问题，需要转义，加上\即可
Notebook
Signed Graph Neural Ordinary Differential Equation for ModelingContinuous Time Dynamics
背景与问题 连续时间动态建模 ：许多现实世界的系统（如交通流量、基因调控、生态系统等）需要建模随时间连续变化的动态。现有的方法通常基于图神经网络（GNN）结合普通微分方程（ODE），如NDCN、STGODE和STG NCDE，但这些方法忽略了图中边的正负信息（例如，合作或竞争关系）。 问题 ：忽略正负信息可能导致模型无法准确捕捉复杂系统...
Motion & Urban AI
2025-4-23-UrbanGPT_Spatio-Temporal Large Language Models
Motivation 目前的大多数方法都基于大量的标签数据进行训练，然后在一些的城市场景内的数据存在缺失性，我们需要构建一个泛化性强的时空大模型来进行优化流量，减少拥堵，提高移动性 目前的模型，如llama对于复杂的时空关系难以处理，对于baseline model, 他很容易出现overfit 在zero shot 场景 文章通过将时...
Engineering Log
校园网连接问题（mac版）
讲WIFI设置里面的私有wifi地址关闭或者改成固定 这样子mac地址就不会一直变，然后校园网的无感知服务就能连接，不需要一直设置
Motion & Urban AI
Trajectory Representation Learning on Grids andRoad Networks with Spatio-Temporal Dynamics
Motivation 目前的轨迹表示学习是基于这两个方法：基于网格的方法和基于道路的方法，这两个方法，两种模态在本质上是不同的，因此能够捕捉不同的轨迹特征并具有独特的优势。同时目前缺乏这两个模态的对比研究 此外，当前的路网表征学习（TRL）方法在很大程度上忽略了时空动态性。尽管最近的一些方法已经纳入了时间数据，但它们仍然将路网视为静态的...
Motion & Urban AI
FlightBERT++ A Non autoregressive Multi Horizon FlightTrajectory Prediction Framework
这边的pt = [Lont, Latt, Altt, V xt, V yt, V zt] 包含了经纬度海拔，及其对应向量 由于这边是飞行任务，需要海拔，对于路面数据，只需经纬度 文章的问题是给定n给,输出未来n步 文章讲飞行轨迹预测任务转化为一个多元二分类任务，也就是讲经纬度变成二元序列，但是二元序列的高位会导致误差巨大，以及...
Engineering Log
pyenv丝滑配置环境
安装 pyenv： 安装 Python 3.11（比如 3.11.7）： 为项目设置 Python 版本： 在 zsh 中配置 然后 最后 🎁 bonus：pyenv + virtualenv（可选增强） 然后
Engineering Log
Mac app中无法获取系统权限问题
Mac app中无法获取系统权限问题 猜测可能是因为删除app的时候没删干净，重新下载发现出现这个权限问题 使用swish即便打开系统设置，app依然显示无法获取系统设置，这个时候 获取bundle ID 然后 重新启动即可 Conda 安装requirement.txt中的pandas和numpy问题 problem 在pandas使...
LLM Notes
LLM for Data Management --Paper reading
LLM for Data Management Paper reading Abstract 感觉文章多次提到NL2SQL，目前也有很多工作是这个，似乎是LLM和DB结合的一个热点 RAG：将输入分成很多chunks，然后嵌入到vector databases,来增强查询，也是LLM和DB的结合 Fine tuning，微调可以来做一些...
Engineering Log
申请Azure云服务器
申请云服务器 在github的学生权益中，可以申请Microsoft Azure的云服务器，有100美刀的券 在这个过程中，需要登录认证，使用校园邮箱即可，收到验证信息即可认证成功 在主页创建虚拟机 点击虚拟机 创建虚拟机 具体配置 这个是找来的图，我自己配置的时候，虚拟机命名是us，选择是us west，ubuntu 22.04，使用...
Engineering Log
Linux分区调整--gparted
分区分配上，/相当于windows的C盘，/home可以理解为d盘，在/目录下是需要sudo，软件的安装大多是在/目录，所以建议大一些，但是个人的数据是存在/home，以及一些配置文件（./zshrc，/.jdk等等）。 分区空间调整：用你之前的启动U盘，（我当时直接进入f12 manager发现没有disk启动项）先f2进入bios，...
LLM Notes
LLM-Evaluation
Perplexity of fixed length models PPL(perplexity) is one of the most common metrics for evaluating models. If we have a tokenized sequence
Notebook
RHLF（基于人类反馈的强化学习）
在监督式微调之后，RLHF 是一个用于使大型语言模型（LLM）的答案与人类期望对齐的步骤。这个想法是从人类（或人工）反馈中学习偏好，这可以用来减少偏见、审查模型或使它们以更有用的方式行动。它比SFT更复杂，通常被视为可选的。 偏好数据集 ：这些数据集通常包含几个答案，并附有某种排名，这使得它们比指令数据集更难制作。 近端策略优化 近端策...
LLM Notes
Lora
Lora LoRA (Low Rank Adaptation) 是一种参数高效微调方法，主要目标是通过低秩矩阵分解高效地微调预训练语言模型。 核心思想 ： 冻结预训练模型的原始权重 WWW，通过引入低秩矩阵 AAA 和 BBB 来表示权重更新： 其中：
LLM Notes
LLM Notes
Configuring the Learning Rate base lr sqrt(supervised tokens in batch / pretrained bsz) 假设在微调 Mistral 模型，以下是已知的条件： base lr ：5e 5（预训练 Mistral 模型的学习率）。 总监督性标记数：2百万个标记（2,00...
Notebook
搭建个人网站进行记录
申请域名及配置阿里云 DNS 首先在阿里云上申请一个域名，我这边申请了junle.cc，需要一系列的实名认证，然后交钱即可 在阿里云域名管理中，将域名指向 GitHub Pages 的服务器，点击 解析 或 DNS设置 添加以下解析记录： 主机记录 ： @ 记录类型 ： CNAME 记录值 ： .github.io TTL ：默认（通常...
Motion & Urban AI
Are Language Models Actually Useful for Time Series Forecasting?
First, let's read some popular and recent LLM based time series forecasting CALF：基于跨模态微调的LLM时间序列预测框架
Motion & Urban AI
URBANDIT A FOUNDATION MODEL FOR OPEN WORLD URBAN SPATIO TEMPORAL LEARNING
Preserved Markdown note from the old site.
No matching notes.
Comments
GitHub Discussions comments. Markdown is supported after Giscus is installed for this repository.