【iOS ARKit】手动配置环境探头

        在上节中我们已经了解了环境探头以及如何使用自动环境探头,这节一起了解如何使用手动配置环境探头。

     在使用自动环境反射时,开发人员无须进行有关环境反射的任何操作,只需要设置自动环境反射即可,其余工作完全由 RealityKit 自动完成,这适用于基本的常见环境反射。但这种环境反射方案是一种普适性的反射,并没有专门针对某特定虚拟元素进行优化,在某些情况下效果并不精细,并且我们也无法进行干预调优,如一辆行驶的赛车对环境的反射就需要更精细的控制,这时就需要手动控制环境探头的生成及更新。

     使用手动控制环境探头时,我们需要将配置中 environmentTexturing 属性设置为 manual,并决定在什么地方、什么时候设置与更新环境探头。通常而言,可以遵循以下流程:

(1) 在场景中某个特定位置创建 AREnvironmentProbeAnchor 锚点。

(2)将创建的 AREnvironmentProbeAnchor 锚点添加到 ARSession 中。

(3)使用 session(_:didUpdate:)代理方法根据需要更新环境探头。

使用手动方式控制环境探头的示例代码如下所示。

//
//  ManualEnvirmentTexturing.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/1/30.
//

import SwiftUI
import ARKit
import RealityKit

struct ManualEnvirmentTexturing: View {
    @State var automatic: Bool = true
    var body: some View {
        ManualEnvirmentTexturingContainer(automatic: $automatic)
            .overlay(content: {
               
                VStack {
                    Spacer()
                    HStack{
                        Text(automatic ? "HDR" : "HDR Off")
                            .background(GeometryReader{ _ in
                                Color.white
                            })
                            .padding(10)
                            .offset(x: 0)
                        Toggle(isOn: $automatic) {}
                            .frame(width: 50)
                            .offset(x: 0)
                    }
                    
                    Spacer().frame(height: 40)
                }
                

            })
            .edgesIgnoringSafeArea(.all)
            .navigationTitle("环境探头")
        
    }
       
}

struct ManualEnvirmentTexturingContainer:UIViewRepresentable {
    @Binding var automatic: Bool
    func makeUIView(context: Context) -> ARView
    {
        let arView = ARView(frame: .zero)
        
        return arView
    }
    
    func updateUIView(_ uiView: ARView, context: Context) {
        let config = ARWorldTrackingConfiguration()
        config.planeDetection = .horizontal
        
        config.environmentTexturing = .manual
        
        context.coordinator.arView = uiView
        uiView.session.delegate = context.coordinator
        
        if automatic {
           
            config.wantsHDREnvironmentTextures = true
            
        }else{
            config.wantsHDREnvironmentTextures = false
        }
        uiView.session.run(config, options: [])
       
        
        
    }
    
    func makeCoordinator() -> Coordinator {
        Coordinator(parent: self)
    }
    
    class Coordinator: NSObject,ARSessionDelegate {
        var manualProbe: ManualProbe?
        var arView: ARView? = nil
        var parent: ManualEnvirmentTexturingContainer
        init(parent: ManualEnvirmentTexturingContainer) {
            self.parent = parent
        }
        func session(_ session: ARSession, didAdd anchors: [ARAnchor]) {
            guard let anchor = anchors.first as? ARPlaneAnchor else {
                return
            }
            //球体
            let mesh = MeshResource.generateSphere(radius: 0.05)
            let meterial = SimpleMaterial(color: .blue, isMetallic: true)
            let modelEntity = ModelEntity(mesh: mesh, materials: [meterial])
            
           
            
            let planAnchor = AnchorEntity(anchor: anchor)
            //放在正上方5cm处
            modelEntity.transform.translation = [0, planAnchor.transform.translation.y + 0.05,0]
            manualProbe = ManualProbe(shpereEntity: modelEntity)
            
            updateProbe()
            planAnchor.addChild(manualProbe!.shpereEntity)
            arView?.scene.addAnchor(planAnchor)
            
            //只添加一次
            session.delegate = nil
            session.run(ARWorldTrackingConfiguration())
            
            manualProbe?.isPlaced = true
        }
        func session(_ session: ARSession, didUpdate frame: ARFrame) {
            if let manualProbe = manualProbe,
                manualProbe.requireRefresh,
                Date().timeIntervalSince1970 - manualProbe.lastUpadateTime > 1{
                
                self.manualProbe?.lastUpadateTime = Date().timeIntervalSince1970
                updateProbe()
                
            }
        }
        
        
        func  updateProbe() {
            guard let manualProbe = manualProbe else {
                return
            }
            //移除旧的
            if let probAnchor = manualProbe.objectProbeAnchor {
                self.arView?.session.remove(anchor: probAnchor)
                self.manualProbe?.objectProbeAnchor = nil
            }
            
            var extent = (manualProbe.shpereEntity.model?.mesh.bounds.extents)! * manualProbe.shpereEntity.transform.scale
            extent.x *= 3
            extent.y *= 3
            extent.z *= 2
            
//            let verticalOffset = SIMD3(0, extent.y, 0)
//            var probeTransform = manualProbe.shpereEntity.transform
//            probeTransform.translation += verticalOffset
            
            let  position = simd_float4x4(
               
                SIMD4(1,0,0,0),
                SIMD4(0,1,0,0),
                SIMD4(0,0,1,0),
                SIMD4(manualProbe.shpereEntity.transform.translation,1)
                        
            )
            
            self.manualProbe?.objectProbeAnchor = AREnvironmentProbeAnchor(name: "objectProbe",transform: position, extent:extent)
            self.arView?.session.add(anchor: (self.manualProbe?.objectProbeAnchor)!)
        }
    }
    
    
    
}


struct ManualProbe {
    var objectProbeAnchor: AREnvironmentProbeAnchor?
    var requireRefresh = true
    var lastUpadateTime = Date().timeIntervalSince1970
    var dateTime = Date()
    var shpereEntity: ModelEntity
    var isPlaced = false
}

       在代码中,为更好地组织代码,我们自定义了 ManualProbe 类管理环境探头。在 ARKit 检测到水平平面并放置圆球后,将生成的环境探头放置在園球上方5cm 的地方以更精准地反射圆球的周边环境。在 session(_:didUpdate:)代理方法中我们对环境探头更新率进行了控制,设置为每秒更新一次,与所有的 ARAnchor一样,AREnvironmentProbeAnchor 锚点无法修改,更新时只能移除原锚点信息,创建新的锚点使用。updateProbe()方法负责所有的环境探头更新操作(具体细节稍后详述)。通过及时地更新就能反射用户环境中动态的变化,效果如图所示。

       手动放置环境探头主要是为了获得对特定虚拟对象的最精确环境反射信息,绑定环境探头与虚拟对象位置可以提高反射渲染的质量,因此,手动将反射探头放置在重要的虚拟对象中或其附近会产生为该对象生成最准确的环境反射信息。通常而言,自动放置可以提供对真实环境比较好的宏观环境信息,而手动放置能提供在某个特定点上对周围环境更准确的环境映射从而提升反射的质量。

      反射探头负责捕获环境纹理信息,每个反射探头都有一个比例(Scale)、方向(Orientation)、位置(Position) 和大小(Size)。比例、方向和位置属性定义了反射探头相对于 ARSession 空间的空间信息,大小则定义了反射探头反射的范围,无限大小表示环境纹理可用于全局,而有限大小表示反射探头只能捕获其周围特定区域的环境信息。

在手动放置时,为了使放置的反射探头能更好地发挥作用,通常反射探头的放置位置与大小设置应遵循以下原则:

(1)反射探头的位置应当放在需要反射的虚拟物体顶部中央,高度应该为虚拟物体高的两倍,如下图所示。这可以确保反射探头下部与虚拟物体下部对齐,并捕获到虚拟物体放置平面的环境信息。

(2)反射探头的长与宽应该为虚拟物体长与宽的3倍,确保反射探头能捕获到虚拟物体周边的环境信息。

  • 提示:使用手动处理环境反射时,我们也可以使用 wantsHDREnvironmentTextures 提高反射质量。

性能优化

       在AR 中使用反射探头反射环境可以大大增强虚拟物体的可信度,但由于AR摄像头获取的环境信息不充分,ARKit 只能得到摄像头拍摄的真实环境部分数据,而无法获取摄像头未拍摄部分的环境数据,需要利用人工智能的方式对不足信息进行补充,需要补充的信息计算量大,对资源要求高,这对移动平台的性能与电池续航提出了非常高的要求,因此为更好的扬长避短,在AR 中使用反射探头反射真实环境需要注意以下几点。

1. 避免精确反射

     如上所述,AR中从摄像头获取的信息不足以对周围环境进行精准再现,因此反射体对环境的反射也不能做到非常精准,希望利用反射探头实现对真实环境的镜面反射是不现实的。因为在 AR 中不能获取完全的立方体贴图并且立方体贴图更新也不实时(为降低硬件消耗),通常在小面积上可以使用高反射率而在大面积上使用低反射率,达到既营造反射效果又避免反射不准确而带来的负面作用。

2. 对移动对象的处理

     烘焙的环境贴图不能反映环境的变化,实时的反射探头又会带来过大的性能消耗,对移动对象的反射处理需要特别进行优化。在设置反射探头时可以考虑以下方法:

(1)如果移动物体移动路径可知或可以预测,可以提前在其经过的路径上放置多个反射探头并进行烘焙,这样移动物体可以根据距离的远近对不同的反射探头生成的立方体贴图采样。

(2)创建一个全局的环境反射,如Skybox,这样当移动物体移动出某个反射探头的范围时仍然可以反射而不是突然出现反射中断。

(3)当移动物体移动到一个新的位置后重新创建一个反射探头并销毁原来位置的反射探头。

3. 防止滥用

     在AR中,当用户移动位置或者调整虚拟对象大小时,应用程序都会重新创建反射探头,因此我们需要限制此类更新,如更新频率不应大于1次每秒。

4.避免突然切换

      突然地移除反射探头或者添加新的反射探头会让用户感到不适。在 ARKit 中使用自动放置反射探头的模式下,只要 ARSession启动,就会创建一个全局的类似 Skybox 的大背景以防止反射突然切换。在手动放置时,开发者应该确保反射的自然过渡,确保虚拟物体始终能反射合适的环境,或者使用一个全种环境下都能适应的静态立方体贴图作为过渡手段。

具体代码地址:https://github.com/duzhaoquan/ARkitDemo.git

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/362444.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

ArcGIS Pro字段编号相关代码

字段属于SHP文件的重要组成部分,在某些时候需要对字段进行编号,这里为大家介绍一下字段编号相关的代码,希望能对你有所帮助。 数据来源 教程所使用的数据是从水经微图中下载的POI数据,除了POI数据,常见的GIS数据都可…

全面掌握Django的web框架Django Rest_Framework(一)

文章目录 Django Rest_Framework1. DRF介绍2.DRF特点3.环境安装与配置(1)DRF需要以下依赖(2)创建django项目 4.序列化器的使用(1)创建序列化器 5. 反序列化器使用 Django Rest_Framework 1. DRF介绍 Djan…

springboot141夕阳红公寓管理系统的设计与实现

基于Spring Boot的夕阳红公寓管理系统的设计与实现 摘 要 如今社会上各行各业,都在用属于自己专用的软件来进行工作,互联网发展到这个时候,人们已经发现离不开了互联网。互联网的发展,离不开一些新的技术,而新技术的…

【爬虫专区】批量下载PDF (无反爬)

天命:只要没反爬,一切都简单 这次爬取的是绿盟的威胁情报的PDF 先看一下结构,很明显就是一个for循环渲染 burp抓包会发现第二次接口请求 接口请求一次就能获取到了所有的数据 然后一个循环批量下载数据即可,其实没啥难度的 imp…

使用Postman做API自动化测试

Postman最基本的功能用来重放请求,并且配合良好的response格式化工具。 高级点的用法可以使用Postman生成各个语言的脚本,还可以抓包,认证,传输文件。 仅仅做到这些还不能够满足一个系统的开发,或者说过于琐碎&#…

【鸿蒙】大模型对话应用(三):跨Ability跳转页面

Demo介绍 本demo对接阿里云和百度的大模型API,实现一个简单的对话应用。 DecEco Studio版本:DevEco Studio 3.1.1 Release HarmonyOS SDK版本:API9 关键点:ArkTS、ArkUI、UIAbility、网络http请求、列表布局、层叠布局 页面跳…

谷歌seo如何发布外链?

在谷歌SEO中发布外链就像是在网络世界中搭建桥梁,你需要在别人的网站里上精心放置通往你网站的路径,这种路径一般是单向的,可能只使用一次,但这依然是个需要花心思的工作 而对于谷歌seo的外链,很多人都会有一个误解&am…

pnpm : 无法加载文件 D:\tool\nvm\nvm\node_global\pnpm.ps1,因为在此系统上禁止运行脚本

你们好,我是金金金。 场景 新创建的项目,在vscode编辑器终端输入 pnpm i,显示报错如上 解决 在终端输入get-ExecutionPolicy(查看执行策略/权限) 输出Restricted(受限的) 终端再次输入Set-ExecutionPolicy -Scope CurrentUser命令给用户赋予…

Oracle篇—普通表迁移到分区表(第五篇,总共五篇)

☘️博主介绍☘️: ✨又是一天没白过,我是奈斯,DBA一名✨ ✌✌️擅长Oracle、MySQL、SQLserver、Linux,也在积极的扩展IT方向的其他知识面✌✌️ ❣️❣️❣️大佬们都喜欢静静的看文章,并且也会默默的点赞收藏加关注❣…

【乳腺肿瘤诊断分类及预测】基于PNN概率神经网络

课题名称:基于PNN的乳腺肿瘤诊断分类及预测 版本日期:2023-06-15 运行方式: 直接运行PNN0501.m 文件即可 代码获取方式:私信博主或QQ:491052175 模型描述: 威斯康辛大学医学院经过多年的收集和整理,建…

JAVASE进阶:内存原理剖析(1)——数组、方法、对象、this关键字的内存原理

👨‍🎓作者简介:一位大四、研0学生,正在努力准备大四暑假的实习 🌌上期文章:首期文章 📚订阅专栏:JAVASE进阶 希望文章对你们有所帮助 技术栈我已经基本上是学完了的,这段…

LeetCode 828. 统计子串中的唯一字符

一开始想的是两次前缀和,发现自己蠢了 看了灵神的题解,类似于DP的思想 我们维护以每个字符串结尾的子字符串对答案的贡献,s[i]的贡献是多少?首先我们知道他需要自己单独一个串或者接在以s[i-1]结尾的那些字符串的后面&#xff0c…

【C++】类和对象(1)

上节我们学习了C入门的一些语法知识,这篇博客来学习类和this指针。 目录 面向过程和面向对象的初步认识 类的引入 类的定义 类的访问限定符及封装 访问限定符 封装 类的作用域 类的实例化 类对象大小 this指针 this指针特性 面向过程和面向对象的初步认识…

Transformer 自然语言处理(二)

原文:Natural Language Processing with Transformers 译者:飞龙 协议:CC BY-NC-SA 4.0 第五章:文本生成 基于 Transformer 的语言模型最令人不安的特点之一是它们生成的文本几乎无法与人类写的文本区分开。一个著名的例子是 Ope…

Redis 管道技术——Pipeline

背景 面试官:Redis 管道技术pipeline用过吗?为什么要用?解决什么问题?使用过程中应该注意什么? 我:一键三连,内心gg了,没听说过,也不知道用来干什么的,我只能…

C++ //练习 3.10 编写一段程序,读入一个包含标点符号的字符串,将标点符号去除后输出字符串剩余的部分。

C Primer(第5版) 练习 3.10 练习 3.10 编写一段程序,读入一个包含标点符号的字符串,将标点符号去除后输出字符串剩余的部分。 环境:Linux Ubuntu(云服务器) 工具:vim 代码块 /**…

Pycharm 关闭/退出烦人的Pytest模式

Pycharm 遇到:Run Python tests in ***.py ,但很多时候我们并不需要,真心烦人! 如何解决: 1 打开File-Settings (图片是新版界面,旧版同样操作) 2 Tools 中的Python Integrated Tools 在Tes…

[office] excel2010双向条形图制作 #经验分享#微信

excel2010双向条形图制作 本教程为大家介绍一下excel2010中excel2010双向条形图制作方法。 1.选中工作区域 2.点击插入-->图表,选择条形图 3.为美观可将中间竖线可去掉 4.方法是选中竖线,右击-->删除 5.接下来将图例靠上,选中图例,右击-->设置图例格式-->图例选项…

独立按键控制LED(基于51单片机)

师从江科大 独立按键 轻触按键: 相当于是一种电子开关,按下开关接通,松开开关断开,实现原理是通过轻触按键内部的金属弹片受力弹动来实现接通好和断开 独立按键原理图: 注:没有按下独立按键是高电平&am…

对同一文件多次mmap

abstract 问&#xff1a;对同一个文件多次mmap&#xff0c;返回的地址相同吗? 答&#xff1a;不相同 code #ifdef __linux__#include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <sys/mman.h> …