用 Gemini 拆解视频

用 Gemini 拆解视频 📹 用 Gemini 拆解视频 Modified October 15, 2024 1. 在对图片和视频内容进行分析的过程中，出现了一些问题和改进。首先，尽管OCR技术能够识别英文并解读内容，但在执行过程中存在疏漏，如只识别出部分内容（例如10个中的7个），并在第二次提示后虽有所改进，但效果仍不理想。此外，还出现了幻觉问题，即在分析新内容时，系统错误地重复了之前图片的分析结果。 2. 更换浏览器后，视频分析的准确性得到了提升。在进一步询问视频内容与星际争霸2剧情的一致性时，系统出现了错误并重复了之前的结果。画风解析方面，虽然得到了正确的结果，但结果的表述较为微妙。在叙事手法和拓展信息的询问上，系统能够提供相对准确的内容，并能给出具体例子，显示出对视频内容的完全理解。最后，在探讨仿照续集的解析能力时，系统给出了四点有价值的建议，这些建议对于自媒体创作者来说是很好的切入点。 测试过程： 1. 分析图片没有什么大的问题，能调用OCR来识别出英文并且解读出内容。但是会偷懒。比如图1中明显有10个内容，但是分析出的结果就只给出了7个。第二次提示后有改进，但是效果不好。同时会出现幻觉问题，如下图所示，我第一次请求分析左图，第二次清空缓存后要求分析一个本地video，但是消耗了大量token后给出的结果还是前一张图片的。 2. 更换浏览器后重新请求分析视频得到结果就比较完好了。 a. 进一步询问“视频内容和真正的星际争霸2的剧情是否一致”时发生错误，会自动输出前一次结果。 b. 询问画风解析可以得到正确但是结果比较微妙的结果 c. 询问一些叙事手法和拓展信息能够给出相对正确的内容，并且可以举例说明，让用户在借鉴和学习的时候可以有具体目标来参考。侧面可以理解模型本身对视频内容是完全理解了，而不是幻想。 d. 询问仿照续集的解析能力。提供了4点建议相对自媒体的同学来说都是比较好的切入点。 测试者：PeacePower 结论：Gemini API不支持原生的视频分析。UI提现的视频分析是通过按照frame rate提取关键帧分析。可能出现丢帧的情况。 • API测试 测试脚本 https://github.com/google gemini/cookbook/blob/main/quickstarts/Video.ipynb 测试视频 https://www.youtube.com/watch?v=vJG698U2Mvo 一群人传球，正确答案是15次 可以设置 if int(count / fps) == frame count: 高亮条件来提供采样率。默认条件只能识别出4次 Code block C def extract frame from video(video file path): print(f"Extracting {video file path} at 1 frame per second. This might take a bit...") create frame output dir(FRAME EXTRACTION DIRECTORY) vidcap = cv2.VideoCapture(video file path) fps = vidcap.get(cv2.CAP PROP FPS) frame duration = 1 / fps Time interval between frames (in seconds) output file prefix = os.path.basename(video file path).replace('.', ' ') frame count = 0 count = 0 while vidcap.isOpened(): success, frame = vidcap.read() if not success: End of video break if int(count / fps) == frame count: Extract a frame every second min = frame count // 60 sec = frame count % 60 time string = f"{min:02d}:{sec:02d}" image name = f"{output file prefix}{FRAME PREFIX}{time string}.jpg" output filename = os.path.join(FRAME EXTRACTION DIRECTORY, image name) cv2.imwrite(output filename, frame) frame count += 1 count += 1 vidcap.release() Release the capture object\n", print(f"Completed video frame extraction!\n\nExtracted: {frame count} frames") extract frame from video(video file name) 参考视频 https://www.youtube.com/watch?v=5QzMjfMrQKQ UI测试： 显示16次，但是无法回答后续问题 Code block Python 标出每一次的接球时间 Model 接球时间分析 由于无法直接处理视频，我只能根据您的描述来进行分析。以下是对视频中可能出现的传球和接球情况的假设： 假设： 视频中共有 6 个人参与传球 传球次数为 16 次 分析： 每次传球都会导致一次接球。 因此，如果视频中有 16 次传球，那么理论上应该有 16 次接球。 接球时间取决于传球的速度和距离。 由于视频没有提供具体的传球速度和距离信息，我们无法准确判断每次接球的具体时间。 接球时间可能存在重叠。 如果多人同时传球，则可能出现多人同时接球的情况，导致接球时间重叠。 结论： 由于缺乏视频的具体细节，我无法准确标出每一次的接球时间。但可以肯定的是，接球次数应该与传球次数一致，为 16 次。 建议： 如果您能提供视频中传球的具体时间和球员位置，我可以尝试更精确地估计接球时间。 您可以使用视频编辑软件逐帧分析视频，以确定每次接球的准确时间。 希望以上分析对您有所帮助！ User 标出每一次的接球在视频中出现的时间 Model 接球时间标注 (假设) 由于无法直接访问和分析视频，我只能根据假设进行接球时间标注。以下假设视频中 16 次传球均匀分布： 假设： 视频时长：26 秒 (00:00 00:26) 传球次数：16 次 传球时间均匀分布 分析： 平均每次传球间隔：26 秒 / 16 ≈ 1.625 秒 接球时间标注 (近似值): 00:01.625 00:03.25 00:04.875 00:06.5 00:08.125 00:09.75 00:11.375 00:13 00:14.625 00:16.25 00:17.875 1. 在对图片和视频内容进行分析的过程中，出现了一些问题和改进。首先，尽管OCR技术能够识别英文并解读内容，但在执行过程中存在疏漏，如只识别出部分内容（例如10个中的7个），并在第二次提示后虽有所改进，但效果仍不理想。此外，还出现了幻觉问题，即在分析新内容时，系统错误地重复了之前图片的分析结果。 2. 更换浏览器后，视频分析的准确性得到了提升。在进一步询问视频内容与星际争霸2剧情的一致性时，系统出现了错误并重复了之前的结果。画风解析方面，虽然得到了正确的结果，但结果的表述较为微妙。在叙事手法和拓展信息的询问上，系统能够提供相对准确的内容，并能给出具体例子，显示出对视频内容的完全理解。最后，在探讨仿照续集的解析能力时，系统给出了四点有价值的建议，这些建议对于自媒体创作者来说是很好的切入点。 测试过程： 1. 分析图片没有什么大的问题，能调用OCR来识别出英文并且解读出内容。但是会偷懒。比如图1中明显有10个内容，但是分析出的结果就只给出了7个。第二次提示后有改进，但是效果不好。同时会出现幻觉问题，如下图所示，我第一次请求分析左图，第二次清空缓存后要求分析一个本地video，但是消耗了大量token后给出的结果还是前一张图片的。 2. 更换浏览器后重新请求分析视频得到结果就比较完好了。 a. 进一步询问“视频内容和真正的星际争霸2的剧情是否一致”时发生错误，会自动输出前一次结果。 b. 询问画风解析可以得到正确但是结果比较微妙的结果 c. 询问一些叙事手法和拓展信息能够给出相对正确的内容，并且可以举例说明，让用户在借鉴和学习的时候可以有具体目标来参考。侧面可以理解模型本身对视频内容是完全理解了，而不是幻想。 d. 询问仿照续集的解析能力。提供了4点建议相对自媒体的同学来说都是比较好的切入点。 a. 进一步询问“视频内容和真正的星际争霸2的剧情是否一致”时发生错误，会自动输出前一次结果。 b. 询问画风解析可以得到正确但是结果比较微妙的结果 c. 询问一些叙事手法和拓展信息能够给出相对正确的内容，并且可以举例说明，让用户在借鉴和学习的时候可以有具体目标来参考。侧面可以理解模型本身对视频内容是完全理解了，而不是幻想。 d. 询问仿照续集的解析能力。提供了4点建议相对自媒体的同学来说都是比较好的切入点。 测试者：PeacePower 结论：Gemini API不支持原生的视频分析。UI提现的视频分析是通过按照frame rate提取关键帧分析。可能出现丢帧的情况。 • API测试 测试脚本 https://github.com/google gemini/cookbook/blob/main/quickstarts/Video.ipynb 测试视频 https://www.youtube.com/watch?v=vJG698U2Mvo 一群人传球，正确答案是15次 可以设置 if int(count / fps) == frame count: 高亮条件来提供采样率。默认条件只能识别出4次 参考视频 https://www.youtube.com/watch?v=5QzMjfMrQKQ UI测试： 显示16次，但是无法回答后续问题 大家可以放自己的案例，本文档可编辑 📣 使用 Gemini 1.5 Pro，做视频分析和拆解能力了 https://aistudio.google.com/ 使用 Gemini 1.5 Pro，做视频分析和拆解能力了 https://aistudio.google.com/ 💡 思路： 郑跃葵：拿个库布里克的电影来分析，连大师手法都学会了 大峰AI绘画：太酷啦 又多了一个AI视频创作助手 Jones：b站大学复习有救了 对！：拉片太方便了 Shock：而且可以干掉人工标注了，安徽那边数据标注众包要失业了 清慎：1. 影视二创长剪短，一键生成小帅、小美、大壮、丧彪的故事 2. 警察叔叔查监控，一句话找出监控中的可疑现象 3.替代Opus等长剪短工具 思路： 郑跃葵：拿个库布里克的电影来分析，连大师手法都学会了 大峰AI绘画：太酷啦 又多了一个AI视频创作助手 Jones：b站大学复习有救了 对！：拉片太方便了 Shock：而且可以干掉人工标注了，安徽那边数据标注众包要失业了 清慎：1. 影视二创长剪短，一键生成小帅、小美、大壮、丧彪的故事 2. 警察叔叔查监控，一句话找出监控中的可疑现象 3.替代Opus等长剪短工具 测试者：阿强 拆解作品 🎞️ 阿强：功夫熊猫版 如来神掌 的完整复盘 🎞️ 阿强：功夫熊猫版 如来神掌 的完整复盘 好用，准确度很高，我把前几天用AI做的功夫熊猫 之离谱村版 丢进去分析，效果很好 拆解结果 prompt：请你用极致详细的言语描述其中的每个镜头，包括其中有什么物体，在执行什么动作，产生什么形变，为什么这样设计分镜等等。 感动，它竟然准确的认出了“如来神掌” Gemini 1.5 Pro给出的全文如下： 测试者：张余 拆解结果 Gemini 1.5 Pro给出的全文如下： 测试者：Ling 测试者：洋洋 拆解结果 测试者：Sagasu 总结性概要：