AI PM 在工作中会面临什么样的难题?

除去常规 PM 都需要面临的用户场景中的各个问题,AI PM 在产品或项目的算法研发阶段,主要会面临算法研发周期较长和数据(训练集、测试集等)处理的一些问题。

而不同行业、不同公司或岗位的 AI PM 还会有其他不同的问题,而我属于 创业公司+toC+AI+NLP,面临的问题有这些交叉学科的知识背景,也有行业应用场景,更有算法研发过程中的各种坑。

问题

我做写匠,和之前做计算机视觉领域的产品还不太一样,写匠主要用的技术是自然语言处理(NLP)和机器学习(ML)。

NLP 是一个交叉学科,难度很大,有些问题从语言学角度都没有解决,导致技术受限,产品本身要分解到底层又牵扯到语言学领域的问题,对 PM 初学者来说水很深,不太建议一转行就进来踩坑到底层,看多了资料真的会盲目,十分受挫。

而我在接触 NLP 产品的早期(入职0-6个月)会有这些工作:

(1)理解用户场景和需求背景:

  • 理解产品本身的需求场景、做同类竞品分析和测试…
  • 进行一些用户调研、访谈、…
  • 思考写匠产品本身核心竞争力是什么,核心功能和辅助功能分配?
  • 产品结构,整体规划…

(2)拆解需求,哪些和 AI 相关:

  • 核心功能:要反馈给用户哪些写作建议,
    • 如:基于认知科学的xx原理、涉及到的某些文学属性和评价指标、语言风格、…
  • 如何拆解这些需求?基于规则还是基于统计?比如:提取并抽象出各种语言规则…
  • 算法研发过程中有哪些问题?评价指标有哪些?如:
    • 准确率(全文找到错别字是不是有误报的情况)
    • 召回率(全文找到的错别字的数量是不是漏了)
    • 容量和速度(一次可以容纳多少字数、速度如何,会不会卡)
  • 如何提升这些指标?比如:提高数据量…
  • 如何扩大语料库规模和训练数据?
    • 比如:从网上获取语料库,建立通用语料库,专用语料库、各行业的词表…然后处理数据集,数据整理,…
  • 根据需求拆解,算法的输入和输出是什么?数据如何显示?哪些是用户需要,哪些是后台需要?…
  • 新旧版本的算法评测如何对比?比如:
    • 制定算法评测指标,进行评测集标注,做算法评测,分析结果…

(3)产品终于从 0 ~ 1 进入到工程开发阶段:

  • 产品逻辑、原型设计、交互设计…
  • 算法、前端、后端的业务逻辑拆分…
  • 团队写作、项目管理、各种开会…
  • 测试用例,功能测试、性能测试、…
  • 版本管理,后续迭代哪些功能…
  • 偶尔申请一些第三方服务…
  • 偶尔组织聚餐和团建…

这就需要我额外学习:

  • AI 在 自然语言处理中的应用有哪些,如问答系统、文本摘要、情感分析、…
  • 自然语言处理本身的基础能力,如分词、词性标注、句法分析、…
  • 读一些和 NLP、ML、PM 工作直接或间接相关的书,如:
    • AI+NLP:《NLP汉语自然语言处理原理与实践》、《机器学习》、《认知语言学》、《面向机器学习的自然语言处理标注》、…
    • PM:《认知与设计》、《破茧成蝶》、《设计心理学》、…
  • 工作方法要高级批量化,提升认知水平,帮助自己理性思维的认知科学理论,应用到自己的学习中…(推荐老板的公众号:【开智学堂】、【心智工具箱】)

困难

上述工作中,最开始对我来说最难的地方是:拆解需求,如何根据目标,提取出抽象规则,制定算法能力的评价标准,…比如:怎么把这些文学底层理论知识变成算法硬性的指标,如果底层的问题没想清楚或者是解决不了,即使把代码写好了,模型训练好了,最后用户也会觉得怎么那么硬邦邦的,很奇怪,就觉得这产品很不实用。而即使有了思路和方法, 在执行过程也发现很大阻力,比如数据各种问题。后来就给自己挖到坑里面了,浪费了很多时间,虽然在这个坑里自己也蛮大收获的。

除了算法本身的问题,研发过程中需要 AI PM 一起做语料库获取、数据处理、算法评测、测试集标注等需要耐心和细节的活。然后算法接入工程的各个环节也会有许多技术难题,这里不多赘述。

在整个周期,最开始自己比较容易跑偏的是,我没有理解 AI PM 真正的角色定义。

比如:

我当时是迷茫和沉浸在算法逻辑和文学评价中,就闷头看论文和语言学书籍,我对用户场景思维没有掌握透彻,忽略了产品定位、没有做用户测试,没有思考需求场景,只想解决方案,这条木有目标的路一直走不下去还死磕各种学习和知识上,后来就发现自己走歪了,自己和产品都变成四不像。

解决

当时 PM Leader 就帮助我梳理,还是要回归到用户场景来思考写匠在文学中要解决的这些问题。然后我才开始采访或者访谈一些潜在客户,比如作文培训场景、出版社编辑、微信编辑、写作爱好者、…

但是,访谈完之后,用户需求比我们预期的要高、也很难、比如作文场景的评分标准没法很好的量化变成算法解决的规则,产品本身短期内没法解决用户的人工、时间成本,AI 提供的智能反馈也没法达到对方人工反馈的水平。

但是这也是现在 NLP 的技术无法突破的问题,toC 产品如果达不到用户的预期,导致竞争力就卡在这里,要么大量投入和研发,要么就转变方向做更容易的事情。

也会面临研发周期很长的问题,所以要强大的心理素质和准备,整个 NLP 行业,大家也都处于探索和尝试,还是先做浅层分析,深层的只能慢慢积累了。


  • created,180409
这是我的原创文章,如果觉得不错,可以打个赏~