Simon Shi的小站

人工智能,机器学习 学习记录


  • Home

  • About

  • Tags

  • Categories

  • Archives

LLM RAG

Posted on 2024-04-01 | In LLM , RAG
RGA RAG:全称Retrieval-Augmented Generation,检索增强生成。我们知道本次由ChatGPT掀起的LLM大模型浪潮,其核心就是Generation生成,而 Retrieval-augmented 就是指除了 LLM 本身已经学到的知识之外,通过外挂其他数据源的方式来增强 LLM 的能力,这其中就包括了外部向量数据库、外部知识图谱、文档数据,WEB数据等。 架构 如上图所示,经过Doc Loader,加载各种数据源的数据,经过embedding向量化后存储进向量数据库。这是Retrieval-augmented基础数据处理器。用户通过 QA向LLM提问,会通过QA问题向向量数据库召回相似度较高的上下文,通过Prompt提示词一起发给LLM,LLM通过问题与上下文一起生成答案返回给用户。 我们不经会问,为什么大模型动不动就千亿参数级别,涵盖了PB级的数据,还需要自己外挂数据源。这里面主要几方面的原因: 数据更新: LLM数据来源截止日期一般都是在2022年,而且它无法实时了解最新的信息。外挂知识库可以提供更新的、实时的信息,确保模型对新兴事实和领域内的最 ...
Read more »

OpenCV 相机标定

Posted on 2024-04-01
Opencv 相机内参标定及使用一、功能描述1.本文用于记录通过 Opencv 进行相机内参标定和对内参的使用来进行图像畸变矫正。 1)相机矩阵:包括焦距(fx,fy),光学中心(Cx,Cy),完全取决于相机本身,是相机的固有属性,只需要计算一次,可用矩阵表示如下:[fx, 0, Cx; 0, fy, cy; 0,0,1]; 2) 畸变系数:畸变数学模型的5个参数 D = (k1,k2, P1, P2, k3); 3)相机内参:相机矩阵和畸变系数统称为相机内参,在不考虑畸变的时候,相机矩阵也会被称为相机内参; 4) 相机外参:通过旋转和平移变换将3D的坐标转换为相机2维的坐标,其中的旋转矩阵和平移矩阵就被称为相机的外参;描述的是将世界坐标系转换成相机坐标系的过程。 二、标定板制作方法一: 标定板可以直接从opencv官网下载:标定板 方法二:Matlab DIY 制作 12J = (checkerboard(300,4,5)>0.5);figure, imshow(J); 打印完成后,测量实际打印出的网格边长,备用(本人制作的标定板网格边长为 26mm)。将打印纸贴附在硬纸板上 ...
Read more »

通义千问

Posted on 2024-03-26
README.md · LanguageBind/MoE-LLaVA-Qwen-1.8B-4e at main 训练-微调服务化部署LangChain + 向量数据库LangChain+通义千问+AnalyticDB向量引擎保姆级教程_langchain 通义千问-CSDN博客 如果直接使用通义千问API从0到1来构建应用,技术成本还是相对比较高的。幸运的是,当前已经有非常优秀的框架LangChain来串联AIGC相关的各类组件,让我们轻松构建自己的应用。 小应用Demo, 比如基于通义和向量数据库的ChatBot; Langchain-Chatchat + 阿里通义千问Qwen 保姆级教程 | 次世代知识管理解决方案 - ToolAI 세계에서 가장 완전하고 포괄적인 인공 지능 도구 모음 构建每日金融资讯收集和分析的AI Agent。 REF: 模型方法-Qwen的Agent -zhihu 开源模型应用落地-LangChain试炼-CPU调用QWen1.5(一)_langchain qwen-CSDN博客 51OpenLab Intel CPU 实战 ...
Read more »

ADAS DEV LINE

Posted on 2024-03-25 | In ADAS
感知模块发展CNN(2011-2016)—— RNN+GAN(2016-2018)—— BEV(2018-2020)—— Transformer+BEV(2020至 今)—— 占用网络(2022至今) 可以看一下特斯拉智能驾驶迭代历程: BEV + Transformer鸟瞰图为2D图像,会缺失一些空间高度信息,无法真实反映物体在3D空间的实际占用体积, 故而在BEV中更关心静止物体(如路沿、车道线等),而空间目标的识别(如物体3D结构)难以识别 占用网络 占用网络:现存三维表示方法(体素、网格、点云)在储存、结构和是否利于学习方面均不够完全理想,而占用网络基于学习将三维曲面表示为深度神经网络分类器的连续决策边界,可以在没有激光雷达提供点云数据的情况下对3D环境进行重建,且相较于激光雷达还可以更好地将感知到的3D几何信息与语义信息融合,得到更加准确的三维场景信息 # 一文聊聊大模型技术在自动驾驶的应用与影响
Read more »

Pytorch-lightning

Posted on 2024-03-08
- 累积梯度默认情况是每个batch 之后都更新一次梯度,当然也可以N个batch后再更新,这样就有了大batch size 更新的效果了,例如当你内存很小,训练的batch size 设置的很小,这时候就可以采用累积梯度: 12# 默认情况下不开启trainer = Trainer(accumulate_grad_batches=1) ModelCheckpoint12345678910111213141516from pytorch_lightning import Trainer, ModelCheckpoint # 初始化 ModelCheckpoint 回调函数 checkpoint_callback = ModelCheckpoint( dirpath='checkpoints/', # 检查点保存的路径 filename='my_model_{epoch:02d}_step{global_step:05d}_{val_loss:.4f}', # 自定义文件名模板 save_ ...
Read more »

LLM大模型训练

Posted on 2024-03-06
我们提供了基于AutoGPTQ的量化方案,并开源了Int4和Int8量化模型。量化模型的效果损失很小,但能显著降低显存占用并提升推理速度。 KV cache量化 Lora : 全参数微调 Q-Lora: 使用4比特量化模型以及paged attention等技术实现更小的显存开销。 Deepspeed Megatron-LM # 图解大模型训练之:张量模型并行(TP),Megatron-LM Fine-Tune小白入门大模型:LangChain # [大模型微调技术] LoRA、QLoRA、QA-LoRA 原理笔记 LLM微调(Finetune) 技术–LoRA # 大规模语言模型–LLaMA 家族 # LLaMA及其子孙模型概述 # 低秩自适应的参数高效LLM微调(LoRA)技术拆解
Read more »

FaceSwap

Posted on 2024-03-06 | In Face
[DeepFaceLab](GitHub - iperov/DeepFaceLab: DeepFaceLab is the leading software for creating deepfakes.) faceswap-GAN faceshifter simswip hififace # 深度解密换脸应用Deepfake faceswap-GAN之reconstruction_loss(重建loss)_reconstruction loss-CSDN博客 依赖库Deep3DFaceRecon insightface-archFace GitHub - insightface: STOA 2D and 3D Face Analysis Project insightface/recognition/arcface_torch at master · deepinsight/insightface · GitHub Flame 3DMM Deca Nvdiffrast 可微渲染框架Nvdiffrast(一):配置与入门 - 简书
Read more »

动手做SLAM

Posted on 2024-03-06 | In SLAM
2024-Plan 自己动手做一台SLAM导航机器人 http://www.xiihoo.com/ GitHub - xiihoo/DIY_A_SLAM_Navigation_Robot: 自己动手做一台SLAM导航机器人 从零开始搭建一台开源农作物巡视机器人 Gazebo 11分类教程——开始使用Gazebo(一)
Read more »

Tradition CV Process

Posted on 2024-03-06
图像处理(十二)图像融合(1)Seamless cloning泊松克隆-Siggraph 2004-CSDN博客
Read more »

Math Base

Posted on 2024-03-06 | In Math
Math 高斯分布(Gaussian Distribution)的概率密度函数(probability density function) - amoyzhu - 博客园
Read more »
1…345…29

Simon Shi

286 posts
132 categories
243 tags
RSS
© 2024 Simon Shi
Powered by Hexo
|
Theme — NexT.Muse v5.1.4