开发：用GPT开发了一个相机APP

开发：用GPT开发了一个相机APP 开发：用GPT开发了一个相机APP No access RPReplay Final1703728601 00:00 后端开发 1. 选用Stable Diffusion作为AIGC后台的原因。 ◦ DallE缺乏室内设计能力。 ◦ MidJourney出图效果很好，但无法基于现实环境重绘。 ◦ Stable Diffusion出图成功率较低，但可调用controlnet的MLSD插件，捕捉现实环境线条特征，做二次设计。 2. 安装Stable Diffusion WEB UI https://github.com/AUTOMATIC1111/stable diffusion webui GitHub AUTOMATIC1111/stable diffusion webui: Stable Diffusion web UI Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable diffusion webui development by creating an account on GitHub. 3. 修改webui user.bat文件加上listen和API参数，让Stable Diffusion处于网络服务状态。代码如下： @echo off set PYTHON= set GIT= set VENV DIR= set COMMANDLINE ARGS= xformers no half vae listen api git pull call webui.bat 4. 让Stable Diffusion具有AI室内设计能力。 a. 下载室内设计模型(checkpoint类型），放到stable diffusion目录/models/stable diffusion下面。 https://civitai.com/models/28112/xsarchitectural interiordesign forxslora civitai.com b. 安装controlnet插件，使用MLSD插件，实现空间学习。 https://www.bilibili.com/video/BV18o4y1b73p/?spm id from=333.337.search card.all.click&vd source=c9c37a9df0798c5655ccd8a46fd4d281 Stable Diffusion ControlNet MLSD直线检测模型 | segmentation分块检测模型 |小案例：SD从入门到精通课程的第9集哔哩哔哩 bilibili 这期我们讲两个ControlNet的模型，MLSD直线检测模型 | segmentation分块检测模型，并以装修为案例演示两个模型的一些简单用法。, 视频播放量 1695、弹幕量 0、点赞数 31、投硬币枚数 4、收藏人数 80、转发人数 4, 视频作者 AI 魔法师, 作者简介 AI 魔法时代，正式开启。，相关视频:【Midjourney】V6版本大更新!王炸新功能详解，Stable 5. 通过API方式让前端连接到Stable Diffusion后台，具体代码在前端开发详细展开。API参考文档如下，选读。 https://github.com/AUTOMATIC1111/stable diffusion webui/wiki Home Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable diffusion webui development by creating an account on GitHub. 前端开发通过Prompt让GPT输出Python代码，然后在iOS的Pythonista编译器上运行，成为手机APP。选择Pythonista原因 • GPT有很强Python编程能力，可灵活调用各类库和模型。 • Pythonista属于开箱即用，无需审核发布，适合做DEMO。不选择GPTs原因： 1. 在ChatGPT拍照上传的图片，无法传给第三方服务器，迫使要做一个前端。 2. GPTs通过Action可调用第三方API，但自己没将这个服务部署到公网。前端实现： 1. 通过Prompt自然语言让GPT输出Python代码，若GPT对不了解SD API文档，可指定网址让它学习。 import photos import requests import base64 import io from PIL import Image def capture image(): img = photos.capture image() if img: byte arr = io.BytesIO() img.save(byte arr, format='JPEG') encoded img = base64.b64encode(byte arr.getvalue()).decode('utf 8') return encoded img return None def send to api(image, prompt): url = "http://192.168.1.31:7860/sdapi/v1/img2img" 指定服务器网址 payload = { "prompt": prompt, "init images": [image], "sd model checkpoint": "interiordesignsuperm v2.safetensors [febd448316]", 指定模型及MD5 "sampler name": "DDIM", "steps": 20, "alwayson scripts": { "controlnet": { "args": [{ "input image": image, "module": "mlsd", 指定controlnet类型 "model": "control v11p sd15 mlsd fp16 [77b5ad24]", 指定controlnet模型 }] } } } response = requests.post(url, json=payload) return response def display result(response): img data = base64.b64decode(response.json()['images'][0]) img = Image.open(io.BytesIO(img data)) img.show() def main(): encoded img = capture image() if encoded img: response = send to api(encoded img, "interior design") 指定prompt内容，例如设计风格。 display result(response) else: print("No image captured") if name == ' main ': main() 2. 将python代码复制到Pythonista，运行即可。若要一个单独app图标，可参考： https://www.bilibili.com/video/BV1Na411r7ME/?spm id from=333.337.search card.all.click&vd source=c9c37a9df0798c5655ccd8a46fd4d281 怎样使用Pythonista在苹果手机里编写一个App 哔哩哔哩 bilibili , 视频播放量 2340、弹幕量 1、点赞数 27、投硬币枚数 10、收藏人数 43、转发人数 0, 视频作者同学张兮兮, 作者简介，相关视频:Python 真正的可视化开发工具 IDE 提供了可视化的界面设计器再也不用无需手动编写大量的界面代码，【比刷剧还爽】清华大佬198小时讲完的Python数据分析教程，全程干货这还学不会，我不教Python了!，【122集付费!】CNN、RNN、经验总结这个实践利用LLM的知识压缩、学习和复现能力。 • Stable Diffusion对优秀的室内设计学习，包括线条、色系、图案等。若指定波斯利亚风，可看到大量中亚图案。 • GPT将自然语言转为python，降低开发成本。 You don't have permission to access this synced block. Please log in and try again. Log In No access RPReplay Final1703728601 00:00 No access RPReplay Final1703728601 00:00 后端开发 1. 选用Stable Diffusion作为AIGC后台的原因。 ◦ DallE缺乏室内设计能力。 ◦ MidJourney出图效果很好，但无法基于现实环境重绘。 ◦ Stable Diffusion出图成功率较低，但可调用controlnet的MLSD插件，捕捉现实环境线条特征，做二次设计。 ◦ DallE缺乏室内设计能力。 ◦ MidJourney出图效果很好，但无法基于现实环境重绘。 ◦ Stable Diffusion出图成功率较低，但可调用controlnet的MLSD插件，捕捉现实环境线条特征，做二次设计。 2. 安装Stable Diffusion WEB UI https://github.com/AUTOMATIC1111/stable diffusion webui GitHub AUTOMATIC1111/stable diffusion webui: Stable Diffusion web UI Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable diffusion webui development by creating an account on GitHub. 3. 修改webui user.bat文件加上listen和API参数，让Stable Diffusion处于网络服务状态。代码如下： @echo off set PYTHON= set GIT= set VENV DIR= set COMMANDLINE ARGS= xformers no half vae listen api git pull call webui.bat @echo off set PYTHON= set GIT= set VENV DIR= set COMMANDLINE ARGS= xformers no half vae listen api git pull call webui.bat @echo off set PYTHON= set GIT= set VENV DIR= set COMMANDLINE ARGS= xformers no half vae listen api git pull call webui.bat 4. 让Stable Diffusion具有AI室内设计能力。 a. 下载室内设计模型(checkpoint类型），放到stable diffusion目录/models/stable diffusion下面。 https://civitai.com/models/28112/xsarchitectural interiordesign forxslora civitai.com b. 安装controlnet插件，使用MLSD插件，实现空间学习。 https://www.bilibili.com/video/BV18o4y1b73p/?spm id from=333.337.search card.all.click&vd source=c9c37a9df0798c5655ccd8a46fd4d281 Stable Diffusion ControlNet MLSD直线检测模型 | segmentation分块检测模型 |小案例：SD从入门到精通课程的第9集哔哩哔哩 bilibili 这期我们讲两个ControlNet的模型，MLSD直线检测模型 | segmentation分块检测模型，并以装修为案例演示两个模型的一些简单用法。, 视频播放量 1695、弹幕量 0、点赞数 31、投硬币枚数 4、收藏人数 80、转发人数 4, 视频作者 AI 魔法师, 作者简介 AI 魔法时代，正式开启。，相关视频:【Midjourney】V6版本大更新!王炸新功能详解，Stable a. 下载室内设计模型(checkpoint类型），放到stable diffusion目录/models/stable diffusion下面。 https://civitai.com/models/28112/xsarchitectural interiordesign forxslora civitai.com b. 安装controlnet插件，使用MLSD插件，实现空间学习。 https://www.bilibili.com/video/BV18o4y1b73p/?spm id from=333.337.search card.all.click&vd source=c9c37a9df0798c5655ccd8a46fd4d281 Stable Diffusion ControlNet MLSD直线检测模型 | segmentation分块检测模型 |小案例：SD从入门到精通课程的第9集哔哩哔哩 bilibili 这期我们讲两个ControlNet的模型，MLSD直线检测模型 | segmentation分块检测模型，并以装修为案例演示两个模型的一些简单用法。, 视频播放量 1695、弹幕量 0、点赞数 31、投硬币枚数 4、收藏人数 80、转发人数 4, 视频作者 AI 魔法师, 作者简介 AI 魔法时代，正式开启。，相关视频:【Midjourney】V6版本大更新!王炸新功能详解，Stable 5. 通过API方式让前端连接到Stable Diffusion后台，具体代码在前端开发详细展开。API参考文档如下，选读。 https://github.com/AUTOMATIC1111/stable diffusion webui/wiki Home Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable diffusion webui development by creating an account on GitHub. 前端开发通过Prompt让GPT输出Python代码，然后在iOS的Pythonista编译器上运行，成为手机APP。选择Pythonista原因 • GPT有很强Python编程能力，可灵活调用各类库和模型。 • Pythonista属于开箱即用，无需审核发布，适合做DEMO。不选择GPTs原因： 1. 在ChatGPT拍照上传的图片，无法传给第三方服务器，迫使要做一个前端。 2. GPTs通过Action可调用第三方API，但自己没将这个服务部署到公网。前端实现： 1. 通过Prompt自然语言让GPT输出Python代码，若GPT对不了解SD API文档，可指定网址让它学习。 import photos import requests import base64 import io from PIL import Image def capture image(): img = photos.capture image() if img: byte arr = io.BytesIO() img.save(byte arr, format='JPEG') encoded img = base64.b64encode(byte arr.getvalue()).decode('utf 8') return encoded img return None def send to api(image, prompt): url = "http://192.168.1.31:7860/sdapi/v1/img2img" 指定服务器网址 payload = { "prompt": prompt, "init images": [image], "sd model checkpoint": "interiordesignsuperm v2.safetensors [febd448316]", 指定模型及MD5 "sampler name": "DDIM", "steps": 20, "alwayson scripts": { "controlnet": { "args": [{ "input image": image, "module": "mlsd", 指定controlnet类型 "model": "control v11p sd15 mlsd fp16 [77b5ad24]", 指定controlnet模型 }] } } } response = requests.post(url, json=payload) return response def display result(response): img data = base64.b64decode(response.json()['images'][0]) img = Image.open(io.BytesIO(img data)) img.show() def main(): encoded img = capture image() if encoded img: response = send to api(encoded img, "interior design") 指定prompt内容，例如设计风格。 display result(response) else: print("No image captured") if name == ' main ': main() import photos import requests import base64 import io from PIL import Image def capture image(): img = photos.capture image() if img: byte arr = io.BytesIO() img.save(byte arr, format='JPEG') encoded img = base64.b64encode(byte arr.getvalue()).decode('utf 8') return encoded img return None def send to api(image, prompt): url = "http://192.168.1.31:7860/sdapi/v1/img2img" 指定服务器网址 payload = { "prompt": prompt, "init images": [image], "sd model checkpoint": "interiordesignsuperm v2.safetensors [febd448316]", 指定模型及MD5 "sampler name": "DDIM", "steps": 20, "alwayson scripts": { "controlnet": { "args": [{ "input image": image, "module": "mlsd", 指定controlnet类型 "model": "control v11p sd15 mlsd fp16 [77b5ad24]", 指定controlnet模型 }] } } } response = requests.post(url, json=payload) return response def display result(response): img data = base64.b64decode(response.json()['images'][0]) img = Image.open(io.BytesIO(img data)) img.show() def main(): encoded img = capture image() if encoded img: response = send to api(encoded img, "interior design") 指定prompt内容，例如设计风格。 display result(response) else: print("No image captured") if name == ' main ': main() import photos import requests import base64 import io from PIL import Image def capture image(): img = photos.capture image() if img: byte arr = io.BytesIO() img.save(byte arr, format='JPEG') encoded img = base64.b64encode(byte arr.getvalue()).decode('utf 8') return encoded img return None def send to api(image, prompt): url = "http://192.168.1.31:7860/sdapi/v1/img2img" 指定服务器网址 payload = { "prompt": prompt, "init images": [image], "sd model checkpoint": "interiordesignsuperm v2.safetensors [febd448316]", 指定模型及MD5 "sampler name": "DDIM", "steps": 20, "alwayson scripts": { "controlnet": { "args": [{ "input image": image, "module": "mlsd", 指定controlnet类型 "model": "control v11p sd15 mlsd fp16 [77b5ad24]", 指定controlnet模型 }] } } } response = requests.post(url, json=payload) return response def display result(response): img data = base64.b64decode(response.json()['images'][0]) img = Image.open(io.BytesIO(img data)) img.show() def main(): encoded img = capture image() if encoded img: response = send to api(encoded img, "interior design") 指定prompt内容，例如设计风格。 display result(response) else: print("No image captured") if name == ' main ': main() import photos import requests import base64 import io from PIL import Image def capture image(): img = photos.capture image() if img: byte arr = io.BytesIO() img.save(byte arr, format='JPEG') encoded img = base64.b64encode(byte arr.getvalue()).decode('utf 8') return encoded img return None def send to api(image, prompt): url = "http://192.168.1.31:7860/sdapi/v1/img2img" 指定服务器网址 payload = { "prompt": prompt, "init images": [image], "sd model checkpoint": "interiordesignsuperm v2.safetensors [febd448316]", 指定模型及MD5 "sampler name": "DDIM", "steps": 20, "alwayson scripts": { "controlnet": { "args": [{ "input image": image, "module": "mlsd", 指定controlnet类型 "model": "control v11p sd15 mlsd fp16 [77b5ad24]", 指定controlnet模型 }] } } } response = requests.post(url, json=payload) return response def display result(response): img data = base64.b64decode(response.json()['images'][0]) img = Image.open(io.BytesIO(img data)) img.show() def main(): encoded img = capture image() if encoded img: response = send to api(encoded img, "interior design") 指定prompt内容，例如设计风格。 display result(response) else: print("No image captured") if name == ' main ': main() 2. 将python代码复制到Pythonista，运行即可。若要一个单独app图标，可参考： https://www.bilibili.com/video/BV1Na411r7ME/?spm id from=333.337.search card.all.click&vd source=c9c37a9df0798c5655ccd8a46fd4d281 怎样使用Pythonista在苹果手机里编写一个App 哔哩哔哩 bilibili , 视频播放量 2340、弹幕量 1、点赞数 27、投硬币枚数 10、收藏人数 43、转发人数 0, 视频作者同学张兮兮, 作者简介，相关视频:Python 真正的可视化开发工具 IDE 提供了可视化的界面设计器再也不用无需手动编写大量的界面代码，【比刷剧还爽】清华大佬198小时讲完的Python数据分析教程，全程干货这还学不会，我不教Python了!，【122集付费!】CNN、RNN、经验总结这个实践利用LLM的知识压缩、学习和复现能力。 • Stable Diffusion对优秀的室内设计学习，包括线条、色系、图案等。若指定波斯利亚风，可看到大量中亚图案。 • GPT将自然语言转为python，降低开发成本。 You don't have permission to access this synced block. Please log in and try again. Log In 作者：邬嘉文源地址：用GPT开发了一个APP 用GPT开发了一个APP 作者：邬嘉文源地址：用GPT开发了一个APP 用GPT开发了一个APP 产品场景 💡 AI利用室内设计规则和现实布局特点，重新渲染一个更协调的室内设计方案。 AI利用室内设计规则和现实布局特点，重新渲染一个更协调的室内设计方案。优点： • 自动选定室内设计主要风格和色系。 • 找出风格不协调家具，指导调整。例如现实图中，原木风餐桌与周边色系色差过大。缺

在小宇宙note 阅读完整内容